全变差距离

在概率论中，全变差距离（英語：total variation distance）是概率测度的一种距离。它也是一种统计距离度量，有时也称为统计距离（英語：statistical distance）或变差距离（英語：variational distance）。

定义

设${\displaystyle {\mathcal {F}}}$ 是样本空间${\displaystyle \Omega }$ 的一个子集上的σ代数，两个概率测度${\displaystyle P}$ 与${\displaystyle Q}$ 在${\displaystyle {\mathcal {F}}}$ 上的全变差距离定义为^[1]

${\displaystyle \delta (P,Q)=\sup _{A\in {\mathcal {F}}}\left|P(A)-Q(A)\right|.}$ 

粗略地说，这是两个概率分布在同一事件上取值的最大差值。

性质

与其他距离的关系

全变差距离通过Pinsker不等式与Kullback-Leibler散度相联系：

${\displaystyle \delta (P,Q)\leq {\sqrt {{\frac {1}{2}}D_{\mathrm {KL} }(P\parallel Q)}}.}$ 

当样本空间${\displaystyle \Omega }$ 是可数集的时候，全变差距离与${\displaystyle L^{1}}$ 范数有等式关系^[2]：

${\displaystyle \delta (P,Q)={\frac {1}{2}}\|P-Q\|_{1}={\frac {1}{2}}\sum _{\omega \in \Omega }|P(\omega )-Q(\omega )|.}$ 

另见

• 全变差
• 柯尔莫哥洛夫-斯米尔诺夫检验

参考文献

1. Chatterjee, Sourav. "Distances between probability measures" (PDF). UC Berkeley. Archived from the original (PDF) on July 8, 2008. Retrieved 21 June 2013.
2. David A. Levin, Yuval Peres, Elizabeth L. Wilmer, 'Markov Chains and Mixing Times', 2nd. rev. ed. (AMS, 2017), Proposition 4.2, p. 48.