离散程度

在统计学里，离散程度（英語：statistical dispersion，scatter，spread）或离散度，又稱统计变异性（statistical variability）^[1]，简称 變異、變差（variation）、变率，是指一个分布或随机变量的拉伸或压缩程度^[2]。习惯上，“离散”常用来描述数据分布^[3]，而“變異”（指：變異數、方差）更常用来描述随机变量的变异程度^[4]。^{[需要解释]}用以描述离散程度或變異的量主要有方差、標準差、變異系数和四分位距等。

离散程度与集中趋势相对，因此，离散度就是指各个变量值与集中趋势的偏离程度。

衡量

衡量离散程度的值，通常是非负实数：当衡量值取零时，表示分布集中在同一个值上；随着衡量值的增加，随机变量的取值越来越分散。

部分描述离散程度的量是带单位的，并且，这些量的单位与随机变量本身的单位相同。也就是说，如果随机变量的单位是米或秒，则这些量的单位也是米或秒。这些量举例如下：

• 标准差
• 四分位距
• 全距
• 平均绝对偏差（英语：Mean_absolute_difference）
• 绝对差中位数（英语：Median_absolute_deviation）
• 平均差
• 间隔关系（英语：Distance_correlation）

此外，也有一些无量纲量：

• 變異係數
• 四分位離散係數（英语：Quartile_coefficient_of_dispersion）
• 基尼系数
• 熵

另外，还有一些带单位的量，但是他们的单位和随机变量本身的单位不同：

• 方差
• 离散指数（英语：Index_of_dispersion）

可解释性

变差的可解释性，通常是对于一个随机变量而言的。当观测到随机变量的一些取值（例如训练集中的标签可视作是一个随机变量的一些观测值），需要推断随机变量服从的分布时，就会遇到这个问题。一般而言，推断有限观测值的随机变量服从的分布的过程，即是建立模型的过程。

假设有随机变量${\displaystyle \mathbf {X} }$ 及其服从的真实分布${\displaystyle \mathbf {X} \sim D}$ 。则对于该随机变量的观测值，可计算其变差（以方差表示）${\displaystyle {\text{SS}}_{\text{total}}:={\text{Var}}(\mathbf {X} )}$ ；对于分布，亦可计算其变差${\displaystyle {\text{SS}}_{\text{distribution}}:={\text{Var}}(D)}$ 。则${\displaystyle {\text{SS}}_{\text{distribution}}}$ 是相对该随机变量的可解释變異（英语：explainable variation），其余的部分则是不可解释變異（英语：unexplainable variation）。为了衡量不可解释變異，可引入不可解释變異分数（英语：fraction of unexplainable variation）${\displaystyle {\text{FUV}}:=1-{\tfrac {{\text{SS}}_{\text{distribution}}}{{\text{SS}}_{\text{total}}}}}$ 。不可解释變異亦称为统计噪声。

假设${\displaystyle D'}$ 是模型给出的随机变量的分布。则对于该预测分布，我们可以计算器變異（以方差表示）${\displaystyle {\text{SS}}_{\text{model}}:={\text{Var}}(D')}$ 。则${\displaystyle {\text{SS}}_{\text{model}}}$ 是该模型相对该随机变量的已解释變異（英语：explained variation），其余部分则是未解释變異（英语：unexplained variation）。同样，为了衡量未解释變異，可引入未解释變異分数（英语：fraction of unexplained variation）${\displaystyle {\text{FUV}}:=1-{\tfrac {{\text{SS}}_{\text{model}}}{{\text{SS}}_{\text{total}}}}}$ 。

参考资料

1. 贺睿杰. 统计活动视角下的高中生统计学习研究[D]. 华东师范大学, 2020.
2. NIST/SEMATECH e-Handbook of Statistical Methods. 1.3.6.4. Location and Scale Parameters. www.itl.nist.gov. U.S. Department of Commerce. [2022-11-14]. （原始内容于2022-11-14）. 
3. 米小琴. 统计计算与分析. 清华大学出版社有限公司. 2004: 68–75. ISBN 9787302064343. 
4. 安德森. 王峰 , 编. 商务与经济统计. 中信出版社. 2003: 202. ISBN 9787800738753.