共變異數矩阵有不同的术语。有些统计学家,沿用了概率学家威廉·费勒的说法,把这个矩阵称之为随机向量的變異數(Variance of random vector X),这是从一维随机变量方差到高维随机向量的自然推广。另外一些则把它称为共變異數矩阵(Covariance matrix),因为它是随机向量里头每个标量元素的协方差的矩阵(或者说它是多维随机变量各维度两两之间的协方差组合而成的矩阵)。不幸的是,这两种术语带来了一定程度上的冲突:
协方差矩阵, 在统计学与概率论中, 也称离差矩阵, 方差, 是一个矩阵, 位置的元素是第, 个与第, 个随机变量, 英语, multivariate, random, variable, 之间的协方差, 这是从标量随机变量到高维度随机向量的自然推广, 中心为, 的一个二元高斯概率密度函数, 一个左下右上方向标准差为, 正交方向标准差为, 的多元高斯分布的样本点, 由于, 分量共变, 即相关, 的方差不能完全描述该分布, 箭头的方向对应的的特征向量, 其长度为特征值的平方根, 目录, 定义, 术语与符号分歧, 性质,. 在统计学与概率论中 协方差矩阵 也称离差矩阵 方差 协方差矩阵 是一个矩阵 其 i j 位置的元素是第 i 个与第 j 个随机变量 英语 Multivariate random variable 之间的协方差 这是从标量随机变量到高维度随机向量的自然推广 中心为 0 0 的一个二元高斯概率密度函数 协方差矩阵为 1 00 0 50 0 50 1 00 一个左下右上方向标准差为 3 正交方向标准差为 1 的多元高斯分布的样本点 由于 x 和 y 分量共变 即相关 x 与 y 的方差不能完全描述该分布 箭头的方向对应的协方差矩阵的特征向量 其长度为特征值的平方根 目录 1 定义 2 术语与符号分歧 3 性质 4 複随机向量 5 估计 6 外部链接定义 编辑假设X displaystyle X 是以n displaystyle n 个随机变量组成的列向量 X X 1 X 2 X n displaystyle mathbf X begin bmatrix X 1 X 2 vdots X n end bmatrix 并且m i displaystyle mu i 是X i displaystyle X i 的期望值 即 m i E X i displaystyle mu i mathrm E X i 协方差矩阵的第 i j displaystyle i j 項 第 i j displaystyle i j 項是一个协方差 被定义为如下形式 S i j c o v X i X j E X i m i X j m j displaystyle Sigma ij mathrm cov X i X j mathrm E begin bmatrix X i mu i X j mu j end bmatrix 而协方差矩阵为 S E X E X X E X T displaystyle Sigma mathrm E left left mathbf X mathrm E mathbf X right left mathbf X mathrm E mathbf X right rm T right E X 1 m 1 X 1 m 1 E X 1 m 1 X 2 m 2 E X 1 m 1 X n m n E X 2 m 2 X 1 m 1 E X 2 m 2 X 2 m 2 E X 2 m 2 X n m n E X n m n X 1 m 1 E X n m n X 2 m 2 E X n m n X n m n displaystyle begin bmatrix mathrm E X 1 mu 1 X 1 mu 1 amp mathrm E X 1 mu 1 X 2 mu 2 amp cdots amp mathrm E X 1 mu 1 X n mu n mathrm E X 2 mu 2 X 1 mu 1 amp mathrm E X 2 mu 2 X 2 mu 2 amp cdots amp mathrm E X 2 mu 2 X n mu n vdots amp vdots amp ddots amp vdots mathrm E X n mu n X 1 mu 1 amp mathrm E X n mu n X 2 mu 2 amp cdots amp mathrm E X n mu n X n mu n end bmatrix dd 矩阵中的第 i j displaystyle i j 个元素是X i displaystyle X i 与X j displaystyle X j 的共變異數 这个概念是对于标量随机变量方差的一般化推广 术语与符号分歧 编辑共變異數矩阵有不同的术语 有些统计学家 沿用了概率学家威廉 费勒的说法 把这个矩阵称之为随机向量X displaystyle X 的變異數 Variance of random vector X 这是从一维随机变量方差到高维随机向量的自然推广 另外一些则把它称为共變異數矩阵 Covariance matrix 因为它是随机向量里头每个标量元素的协方差的矩阵 或者说它是多维随机变量各维度两两之间的协方差组合而成的矩阵 不幸的是 这两种术语带来了一定程度上的冲突 随机向量X displaystyle X 的方差 Variance of random vector X 定义有如下两种形式 var X cov X X E X E X X E X T displaystyle operatorname var mathbf X operatorname cov mathbf X mathbf X mathrm E left mathbf X mathrm E mathbf X mathbf X mathrm E mathbf X rm T right 协方差矩阵 Covariance matrix 定义如下 cov X Y E X E X Y E Y displaystyle operatorname cov textbf X textbf Y mathrm E left textbf X mathrm E textbf X textbf Y mathrm E textbf Y top right 第一个记号可以在威廉 费勒的广受推崇的两册概率论及其应用的书中找到 两个术语除了记法之外并没有不同 性质 编辑S E X E X X E X displaystyle Sigma mathrm E left left textbf X mathrm E textbf X right left textbf X mathrm E textbf X right top right 与m E X displaystyle mu mathrm E textbf X 满足下边的基本性质 S E X X m m displaystyle Sigma mathrm E mathbf XX top mathbf mu mathbf mu top S displaystyle Sigma 是半正定的和对称的矩阵 var a X a var X a displaystyle operatorname var mathbf a top mathbf X mathbf a top operatorname var mathbf X mathbf a S 0 displaystyle mathbf Sigma geq 0 var A X a A var X A displaystyle operatorname var mathbf AX mathbf a mathbf A operatorname var mathbf X mathbf A top cov X Y cov Y X displaystyle operatorname cov mathbf X mathbf Y operatorname cov mathbf Y mathbf X top cov X 1 X 2 Y cov X 1 Y cov X 2 Y displaystyle operatorname cov mathbf X 1 mathbf X 2 mathbf Y operatorname cov mathbf X 1 mathbf Y operatorname cov mathbf X 2 mathbf Y 若 p q displaystyle p q 則有var X Y var X cov X Y cov Y X var Y displaystyle operatorname var mathbf X mathbf Y operatorname var mathbf X operatorname cov mathbf X mathbf Y operatorname cov mathbf Y mathbf X operatorname var mathbf Y cov A X B X A cov X X B displaystyle operatorname cov mathbf AX mathbf BX mathbf A operatorname cov mathbf X mathbf X mathbf B top 若X displaystyle mathbf X 与Y displaystyle mathbf Y 是独立的 則有cov X Y 0 displaystyle operatorname cov mathbf X mathbf Y 0 S S displaystyle Sigma Sigma top 其中 X X 1 displaystyle mathbf X mathbf X 1 与X 2 displaystyle mathbf X 2 是随机 p 1 displaystyle mathbf p times 1 向量 Y displaystyle mathbf Y 是随机 q 1 displaystyle mathbf q times 1 向量 a displaystyle mathbf a 是 p 1 displaystyle mathbf p times 1 向量 A displaystyle mathbf A 与B displaystyle mathbf B 是 q p displaystyle mathbf q times p 矩阵 尽管共變異數矩阵很简单 可它却是很多领域里的非常有力的工具 它能导出一个变换矩阵 这个矩阵能使数据完全去相关 decorrelation 从不同的角度看 也就是说能够找出一组最佳的基以紧凑的方式来表达数据 完整的证明请参考瑞利商 这个方法在统计学中被称为主成分分析 principal components analysis 在图像处理中称为Karhunen Loeve 变换 KL 变换 複随机向量 编辑均值为m displaystyle mu 的複随机标量变量的方差定义如下 使用共轭複数 var z E z m z m displaystyle operatorname var z operatorname E left z mu z mu right 其中复数z displaystyle z 的共轭记为z displaystyle z 如果Z displaystyle Z 是一个复列向量 则取其共轭转置 得到一个方阵 E Z m Z m displaystyle operatorname E left Z mu Z mu right 其中Z displaystyle Z 为共轭转置 它对于标量也成立 因为标量的转置还是标量 估计 编辑多元正态分布的共變異數矩阵的估计的推导非常精致 它需要用到谱定义以及为什么把标量看做1 1 displaystyle 1 times 1 矩阵的迹更好的原因 参见共變異數矩阵的估计 外部链接 编辑Covariance Matrix 页面存档备份 存于互联网档案馆 at Mathworld 取自 https zh wikipedia org w index php title 协方差矩阵 amp oldid 74497538, 维基百科,wiki,书籍,书籍,图书馆,