联合熵

联合熵是一集变量之间不确定性的衡量手段。

独立的(H(X),H(Y)), 联合的(H(X,Y)), 以及一对带有互信息 I(X; Y) 的相互关联的子系统 X,Y 的条件熵。

定义

两个变量${\displaystyle X}$  和 ${\displaystyle Y}$  的联合信息熵定义为：

${\displaystyle \mathrm {H} (X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}$ 

其中 ${\displaystyle x}$  和 ${\displaystyle y}$  是 ${\displaystyle X}$  和 ${\displaystyle Y}$ 的特定值, 相应地, ${\displaystyle P(x,y)}$  是这些值一起出现的联合概率, 若${\displaystyle P(x,y)=0}$  为0，则${\displaystyle P(x,y)\log _{2}[P(x,y)]}$  定义为0。

对于两个以上的变量 ${\displaystyle X_{1},...,X_{n}}$  ，该式的一般形式为：

${\displaystyle \mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}$ 

其中 ${\displaystyle x_{1},...,x_{n}}$  是 ${\displaystyle X_{1},...,X_{n}}$  的特定值，相应地，${\displaystyle P(x_{1},...,x_{n})}$  是这些变量同时出现的概率，若${\displaystyle P(x_{1},...,x_{n})=0}$ 为0，则 ${\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}$  被定义为0.

性質

大于每个独立的熵

一集变量的联合熵大于或等于这集变量中任一个的独立熵。

${\displaystyle \mathrm {H} (X,Y)\geq \max[\mathrm {H} (X),\mathrm {H} (Y)]}$ 

${\displaystyle \mathrm {H} (X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]}$ 

少于或等于独立熵的和

一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在${\displaystyle X}$ 和${\displaystyle Y}$ 均为统计独立的时候相等。

${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$ 

${\displaystyle \mathrm {H} (X_{1},...,X_{n})\leq \mathrm {H} (X_{1})+...+\mathrm {H} (X_{n})}$ 

与其他熵测量手段的关系

在条件熵的定义中，使用了联合熵

${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,}$ 

互信息的定义中也出现了联合熵的身影：

${\displaystyle I(X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,}$ 

在量子信息理论中， 联合熵被扩展到联合量子熵（英语：joint quantum entropy）。