熵 (统计物理学)

在经典统计力学中，由克劳修斯所早先提出的熵函数为引入概率论的统计熵；对统计熵之洞察，则于1870年由物理学家玻尔兹曼的工作导出。

吉布斯熵公式

一个系统的宏观态是微观态（英语：microstate (statistical mechanics)）分布的体现。该分布的吉布斯熵，则由以吉布斯命名的吉布斯熵公式给出。对具有离散微观态的经典系统（即经典粒子构成的系统）而言，若设 ${\displaystyle E_{i}}$  为第 ${\displaystyle i}$  个微观态的能量， ${\displaystyle p_{i}}$ 为事件“系统的能量取${\displaystyle E_{i}}$ ”发生的概率，则该系统的熵为

${\displaystyle S=-k_{\text{B}}\,\sum _{i}p_{i}\ln \,p_{i}}$ 

正则状态下的系统熵变化

一个具明确定义之温度的系统，即与热库处于热平衡状态的系统，处于第 ${\displaystyle i}$  个微观态的概率由玻尔兹曼分布给定。

外在约束之变化所引起的熵的变化为

${\displaystyle dS=-k_{\text{B}}\,\sum _{i}dp_{i}\ln p_{i}}$ 

${\displaystyle \,\,\,=-k_{\text{B}}\,\sum _{i}dp_{i}(-E_{i}/k_{\text{B}}T-\ln Z)}$ 

${\displaystyle \,\,\,=\sum _{i}E_{i}dp_{i}/T}$ 

${\displaystyle \,\,\,=\sum _{i}[d(E_{i}p_{i})-(dE_{i})p_{i}]/T}$ 

其中我们将概率的守恒性

${\displaystyle \sum _{i}dp_{i}=0}$ 

应用了两次。

现在，

${\displaystyle \sum _{i}d(E_{i}p_{i})}$ 

表示系统总能量变化的期望值。

若变化之缓慢足以使系统保持于相同的微观状态，但是其状态却缓慢地（并可逆地）更改，则

${\displaystyle \sum _{i}p_{i}dE_{i}}$ 

为系统于此可逆过程期间作功的期望值 ${\displaystyle dw_{\text{rev}}}$  。

然而依热力学第一定律，有

${\displaystyle dE=\delta w+\delta q}$ 

于是

${\displaystyle dS={\frac {\delta \langle q_{\text{rev}}\rangle }{T}}}$ 

在热力学极限下，宏观量的涨落相对于平均值显得可以忽略不计；此一结果再次体现出上述给出的经典热力学中熵的定义。

物理常数 ${\displaystyle k_{\text{B}}}$  称为玻尔兹曼常数，与熵类似地，有热容量的量纲。而概率的对数是无量纲的。

此一定义对远离平衡态的系统仍然存在意义。其它定义假定系统处于热平衡状态，它可以是孤立系统，又或为与环境有交换的系统。求和遍历的微观态的集合（与概率分布一起）被称为统计系综。各类统计系综（诸如微正则系综、正则系综及巨正则系综）描述了系统与外部交换的不同组态；从孤立系统到可与环境交换能量、交换分子或改变自身体积的系统不等。对各个系综而言，依热力学第二定律（参见统计力学），系统的平衡态由系统与热库之总熵的最大化所决定。

若略去单独粒子间状态的相关性（或更一般地，统计不独立性）将导致不正确的微观态的概率分布，从而引起熵的高估。^[1] 此种关联乃发生于具非平凡相互作用的粒子构成的系统，即所有较理想气体复杂的系统。

此符号 ${\displaystyle S}$  几乎普遍地简称为「熵」。它也可以用来指涉「统计熵」或「热力学熵」而不变其涵义。注意到统计熵的上述表达式为香农熵的离散形式。冯诺依曼熵公式为吉布斯熵公式在量子力学下的扩展。

事实表明^[1]吉布斯熵等于以 ${\displaystyle dS={\frac {\delta Q}{T}}\!}$  所表征之经典热机的熵。

玻尔兹曼原理

主条目：波兹曼熵公式

在玻尔兹曼的定义下，一个热力学平衡系统的熵代表其可能出现的微观状态（或「微观态」）的数量之测度，这些微观状态必须同宏观热力学性质（或「宏观态」）保持一致。为求微观态与宏观态之理解，试考虑一容器中的气体作为例子。在微观尺度下，气体由大量自由移动的原子所组成；它们偶然相互碰触，或者与容器壁撞击。此系统的微观态由全体原子之位置及动量来表述；整的来说，此系统的一切物理性质由微观态所决定。然而，因原子数量过大，故单一原子的运动细节与系统的整体行为无甚关联。若系统处于热力学平衡，则其可以用一些宏观量进行充分描述；这些宏观量称为热力学量，诸如总能 ${\displaystyle E}$  ，体积 ${\displaystyle V}$  ，压强 ${\displaystyle P}$  及温度 ${\displaystyle T}$  。系统的宏观态由其热力学量所描述。

有三点需要注意。其一，欲指定任一个微观态，我们需要写下一个长度不切实际的数字列表，而指定一个宏观态只需要几个数字（如 ${\displaystyle E}$  、${\displaystyle V}$  ）。其二，然而通常的热力学方程仅当系统处于平衡状态时才充分描述系统的宏观态；在非平衡的情况下，通常无法以少量变量来描述。作为一个简单的例子，试考虑于一杯水中添加一滴食用色素。因食用色素扩散之复杂性，对这一现象的精确预测难以实践。然而韶光易逝，该系统内各处的色彩也将趋于一致；要将其描述变得简单得多。实际上，仅当系统处于整体热平衡状态时，系统的宏观状态才能以少量变量描述，其三，多个微观态可以对应于单个宏观态。实际上，对于任何给定的宏观态，将有大量的微观态与 ${\displaystyle E}$  、${\displaystyle V}$  等的给定值相容。

上文为熵的定义做好了准备。熵 ${\displaystyle S}$  被定义为

${\displaystyle S=k_{\text{B}}\ln \Omega }$ 

其中

${\displaystyle k_{\text{B}}}$  为玻尔兹曼常数，以及

${\displaystyle \Omega }$  为给定宏观态对应的微观态的数量。

当系统中所有可及的微观态具有相同的可能性时，统计熵退化为玻尔兹曼熵。它还是在给定一组可及的微观态（英语：microstate (statistical mechanics)）下，系统的熵最大化时所对应的组态，即信息匮乏最大化下的宏观组态。如此一来，依热力学第二定律，它是孤立系达到热力学平衡时的组态。玻尔兹曼熵为正则系综下热力学平衡时熵的表达式。

此假设被称为玻尔兹曼原理，被认为是统计力学——以系统组成之统计行为描述热力学系统的学科——的基础。结果表明，${\displaystyle S}$  与 ${\displaystyle E}$  和 ${\displaystyle V}$  同样为热力学量，从而成为联系微观和宏观世界的桥梁。${\displaystyle S}$  的一个重要特性性质乃据其定义：因 ${\displaystyle \Omega }$  为 自然数 （1,2,3,...）之故，遂 ${\displaystyle S}$  为零或正（${\displaystyle \ln 1=0}$ ，${\displaystyle \ln \Omega \geq 0}$ 。）

系综

各类统计力学里的系综与熵有以下联系：^{[需要解释]}

${\displaystyle S=k_{\text{B}}\ln \Omega _{\rm {mic}}=k_{\text{B}}(\ln Z_{\rm {can}}+\beta {\bar {E}})=k_{\text{B}}(\ln {\mathcal {Z}}_{\rm {gr}}+\beta ({\bar {E}}-\mu {\bar {N}}))}$ 

${\displaystyle \Omega _{\rm {mic}}}$  为微正则配分函数
${\displaystyle Z_{\rm {can}}}$  为正则配分函数
${\displaystyle {\mathcal {Z}}_{\rm {gr}}}$  为巨正则配分函数

认识的匮乏和热力学第二定律

我们可以视 ${\displaystyle \Omega }$  为我们对系统状态的认识的匮乏程度的一种量度。作为此想法的一个例子，考虑一组100枚硬币，每枚硬币是正面向上或反面向上。宏观状态由正面及反面的总数指定，而微观状态则由每枚单独硬币的正反面情况作指定。对于100枚正面或100枚反面的宏观状态，只有一种可能的组态，故我们对系统的认识为完整。在相反的极端情形下，如果系统的宏观状态为50枚正面和50枚反面，则可能有100,891,344,545,564,193,334,812,497,256（100取50）≈ 10²⁹种与之对应的微观状态，因此我们对这个系统的微观状态知之甚少。

即使系统与外部影响完全隔离，其微观状态也在不断变化。气体中的粒子不断移动，因此在每个时刻占据不同的位置；当它们相互碰撞或与容器壁碰撞时，它们的动量也在不断变化。假设我们准备一个高度有序的平衡态系统。例如，将一个容器以隔板分开并在隔板的一侧放置气体，而使另一侧处于真空状态。如果我们移除隔板并观察气体的后续行为，我们将发现其微观状态根据一些混乱和不可预测的模式演变，并且就平均而论，这些微观状态整体将对应于比以往更加无序的宏观状态。气体分子要彼此反弹以使它们保留在容器的一半中，是可能的，但是发生的概率极低。在极大可能性下，气体会扩散并均匀地填充整个容器，达成系统新的宏观平衡状态。

这是一个说明热力学第二定律的例子：

「任何孤立的热力学系统的总熵都会随着时间的推移而增加，接近最大值。」

自从它被发现以来，这个想法一直是大量思考的焦点，其中一些令人困惑。引起混淆的一个主要问题是第二定律仅适用于孤立的系统。例如，地球不是一个孤立的系统，因为它不断地以阳光的形式接收能量。相比之下，宇宙可能被认为是一个孤立的系统，因此它的总熵不断增加。（待确认。参见：热力学第二定律#cite note-Grandy 151-21）

微观态的计数

在经典统计力学中，由于经典系统的连续性，微观态的数量实际上为不可数无穷大。例如，经典理想气体的一个微观态由全体原子的位置和动量所确定，而这些量连续地充满于实数中间。如欲定义 ${\displaystyle \Omega }$ ，则须用将微观态分组以致可数集之法来达成；此过程被称为粗粒化（英语：Granularity）。在理想气体的情况下，只要原子两个态的位置和动量之差分别小于 ${\displaystyle \delta x}$  和 ${\displaystyle \delta p}$ ，就计二态为同一。系 ${\displaystyle \delta x}$  和 ${\displaystyle \delta p}$  乃任取之故，熵并非是唯一确定的；它仅确定到相差一个常数。（正如经典热力学定义的熵同样确定到相差一个常数）

为避免粗粒化，可以采用H定理定义熵：^[2]

${\displaystyle S=-k_{\rm {B}}H_{\rm {B}}:=-k_{\rm {B}}\int f(q_{i},p_{i})\,\ln f(q_{i},p_{i})\,dq_{1}dp_{1}\cdots dq_{N}dp_{N}}$ 

然而，此模糊性可以通过量子力学来解决。系统的量子态可以表示为“基”态的叠加，后者可被选择为能量的本征态（即量子哈密顿量的本征态）。通常，量子态是离散的，即使它们的数量可能无限。对于具有一些指定能量 ${\displaystyle E}$  的系统，就将 ${\displaystyle \Omega }$  取为 ${\displaystyle [E,E+\delta E]}$  这个宏观小能量范围内的能量本征态的数量。在热力学极限下，按上述方式定义的熵与 ${\displaystyle \delta E}$  的选择无关。

能斯特定理或热力学第三定律做为一个重要的结果，表明系统在绝对零度下的熵是一个明确定义的常数。这是因为零温度的系统处于其最低能量状态（又称基态），因此其熵由基态的简并度决定。许多系统，例如晶体，具有非简并的基态，并且（由于 ${\displaystyle \ln 1=0}$ ）这意味着它们在绝对零度下具有零熵。其他系统拥有多个最低能量状态，并有非零的“零点熵”。例如，普通冰的零点熵为 3.41 J/(mol·K)，因为其内在晶体结构具有相同能量的多重组态（几何不稳定性现象）。

热力学第三定律指出绝对零度（即零开尔文）下完美晶体的熵为零。这意味着在零开尔文的完美晶体中，几乎所有的分子运动都应该停止以达到 ${\displaystyle \Delta S=0}$ 。 完美的晶体是内部晶格结构始终相同的晶体；换句话说，它是固定的和不移动的，并且没有旋转或振动能量。这意味着只有一种方法可以实现这种有序结构：让结构中的每个粒子都处于适当的位置。

然而，量子谐振子方程表明即使当振动量子数为零时，分子仍然具有振动能量。这意味着无论温度多冷，晶格都会一直振动。这符合海森堡不确定性原理，该原理指出在给定时刻无法同时准确知道粒子的位置和动量：

${\displaystyle E_{\nu }=h\nu _{0}(n+{\begin{matrix}{\frac {1}{2}}\end{matrix}})}$ 

其中 ${\displaystyle h}$  是普朗克常数，${\displaystyle \nu _{0}}$  是振动的特征频率，而 ${\displaystyle n}$  是振动量子数。请注意即使 ${\displaystyle n=0}$ （零点能量），${\displaystyle E_{n}}$ 也不等于零。

参见

• 玻尔兹曼常数
• 构象熵（英语：Conformational entropy）
• 焓
• 混合熵
• 热力学自由能
• 熵
• 熵的历史（英语：History of entropy）
• 熵（经典热力学）（英语：Entropy (classical thermodynamics)）
• 熵（能量扩散）（英语：Entropy (energy dispersal)）
• 熵（信息论）
• 熵（有序与无序）（英语：Entropy (order and disorder)）
• Tsallis熵（英语：Tsallis entropy）
• 位形熵（英语：Configuration entropy）
• 信息论

参考文献

1. E.T. Jaynes; Gibbs vs Boltzmann Entropies; American Journal of Physics, 391, 1965
2. E. T. Jaynes, Gibbs vs Boltzmann Entropies, American Journal of Physics 33, 391 (1965); https://doi.org/10.1119/1.1971557

• Boltzmann, Ludwig (1896, 1898). Vorlesungen über Gastheorie : 2 Volumes - Leipzig 1895/98 UB: O 5262-6. English version: Lectures on gas theory. Translated by Stephen G. Brush (1964) Berkeley: University of California Press; (1995) New York: Dover ISBN 0-486-68455-5