吉布斯不等式

吉布斯不等式說明：

約西亞·吉布斯

若 ${\displaystyle \sum _{i=1}^{n}p_{i}=\sum _{i=1}^{n}q_{i}=1}$，且${\displaystyle p_{i},q_{i}\in (0,1]}$，則有：

${\displaystyle -\sum _{i=1}^{n}p_{i}\log p_{i}\leq -\sum _{i=1}^{n}p_{i}\log q_{i}}$，等號成立若且唯若${\displaystyle p_{i}=q_{i}\forall i}$

在信息論和概率論，它能應用在法諾不等式和訊號源編碼定理的證明。

約西亞·吉布斯在19世紀提出它。

證明

吉布斯不等式等價於：

${\displaystyle 0\geq \sum _{i=1}^{n}p_{i}\log q_{i}-\sum _{i=1}^{n}p_{i}\log p_{i}=\sum _{i=1}^{n}p_{i}\log(q_{i}/p_{i})=-D_{\mathrm {KL} }(P\|Q)}$ （見相對熵）

證明最右的項小於或等於0的方法有幾種：

• 已知 ${\displaystyle \ln(x)\leq x-1}$ ，等號成立若且唯若 ${\displaystyle x=1}$ ：

${\displaystyle \sum _{i=1}^{n}p_{i}\log(q_{i}/p_{i})\leq \sum _{i=1}^{n}p_{i}(q_{i}/p_{i}-1)=\sum _{i=1}^{n}(q_{i}-p_{i})=\sum _{i=1}^{n}q_{i}-\sum _{i=1}^{n}p_{i}=0}$ 

• 根據對數求和不等式或延森不等式：

${\displaystyle \sum _{i}p_{i}\log {\frac {q_{i}}{p_{i}}}\leq \log \sum _{i}p_{i}{\frac {q_{i}}{p_{i}}}=\log \sum _{i}q_{i}\leq 0}$ 

引理

對於n個變數的概率分布P，其熵的最大值是：

${\displaystyle H(p_{1},\ldots ,p_{n})\leq \log n}$