协方差矩阵, 在统计学与概率论中, covariance, matrix, 是一个方阵, 代表著任兩列随机变量, 英语, multivariate, random, variable, 间的协方差, 是协方差的直接推广, 中心为, 的一个二元高斯概率密度函数, 一个左下右上方向标准差为, 正交方向标准差为, 的多元高斯分布的样本点, 由于, 分量共变, 即相关, 的方差不能完全描述该分布, 箭头的方向对应的的特征向量, 其长度为特征值的平方根, 目录, 定义, 矩陣表示法, 术语与符号分歧, 性质, 複随机向量, . 在统计学与概率论中 协方差矩阵 covariance matrix 是一个方阵 代表著任兩列随机变量 英语 Multivariate random variable 间的协方差 是协方差的直接推广 中心为 0 0 的一个二元高斯概率密度函数 协方差矩阵为 1 00 0 50 0 50 1 00 一个左下右上方向标准差为 3 正交方向标准差为 1 的多元高斯分布的样本点 由于 x 和 y 分量共变 即相关 x 与 y 的方差不能完全描述该分布 箭头的方向对应的协方差矩阵的特征向量 其长度为特征值的平方根 目录 1 定义 1 1 矩陣表示法 1 2 术语与符号分歧 2 性质 3 複随机向量 4 估计 5 外部链接定义 编辑定義 設 W S P displaystyle Omega Sigma P nbsp 是機率空間 X x i i 1 m displaystyle X x i i 1 m nbsp 与 Y y i j 1 n displaystyle Y y i j 1 n nbsp 是定義在 W displaystyle Omega nbsp 上的兩列实数随机变量序列若二者对应的期望值分别为 E x i W x i d P m i displaystyle E x i int Omega x i dP mu i nbsp E y j W y j d P n j displaystyle E y j int Omega y j dP nu j nbsp 則这两列隨機变量间的协方差矩阵为 c o v X Y cov x i y j m n E x i m i y j n j m n displaystyle operatorname mathbf cov X Y left operatorname cov x i y j right m times n bigg operatorname E x i mu i y j nu j bigg m times n nbsp 將之以矩形表示的話就是 c o v X Y cov x 1 y 1 cov x 1 y 2 cov x 1 y n cov x 2 y 1 cov x 2 y 2 cov x 2 y n cov x m y 1 cov x m y 2 cov x m y n displaystyle operatorname mathbf cov X Y begin bmatrix operatorname cov x 1 y 1 amp operatorname cov x 1 y 2 amp cdots amp operatorname cov x 1 y n operatorname cov x 2 y 1 amp operatorname cov x 2 y 2 amp cdots amp operatorname cov x 2 y n vdots amp vdots amp ddots amp vdots operatorname cov x m y 1 amp operatorname cov x m y 2 amp cdots amp operatorname cov x m y n end bmatrix nbsp E x 1 m 1 y 1 n 1 E x 1 m 1 y 2 n 2 E x 1 m 1 y n n n E x 2 m 2 y 1 n 1 E x 2 m 2 y 2 n 2 E x 2 m 2 y n n n E x m m m y 1 n 1 E x m m m y 2 n 2 E x m m m y n n n displaystyle begin bmatrix mathrm E x 1 mu 1 y 1 nu 1 amp mathrm E x 1 mu 1 y 2 nu 2 amp cdots amp mathrm E x 1 mu 1 y n nu n mathrm E x 2 mu 2 y 1 nu 1 amp mathrm E x 2 mu 2 y 2 nu 2 amp cdots amp mathrm E x 2 mu 2 y n nu n vdots amp vdots amp ddots amp vdots mathrm E x m mu m y 1 nu 1 amp mathrm E x m mu m y 2 nu 2 amp cdots amp mathrm E x m mu m y n nu n end bmatrix nbsp 根據測度積分的線性性質 协方差矩阵還可以進一步化簡為 c o v X Y E x i y j m i n j n n displaystyle operatorname mathbf cov X Y left operatorname E x i y j mu i nu j right n times n nbsp 矩陣表示法 编辑 以上定義所述的隨機變數序列 X displaystyle X nbsp 和 Y displaystyle Y nbsp 也可分別以用行向量 X x i m displaystyle mathbf X left x i right m nbsp 與 Y y j n displaystyle mathbf Y left y j right n nbsp 表示 換句話說 X x 1 x 2 x m displaystyle mathbf X begin bmatrix x 1 x 2 vdots x m end bmatrix nbsp Y y 1 y 2 y n displaystyle mathbf Y begin bmatrix y 1 y 2 vdots y n end bmatrix nbsp 這樣的話 對於 m n displaystyle m times n nbsp 個定義在 W displaystyle Omega nbsp 上的隨機變數 a i j displaystyle a ij nbsp 所組成的矩陣 A a i j m n displaystyle mathbf A left a ij right m times n nbsp 定義 E A E a i j m n displaystyle mathrm E mathbf A left operatorname E a ij right m times n nbsp 也就是說 E A E a 11 E a 12 E a 1 n E a 21 E a 22 E a 2 n E a m 1 E a m 2 E a m n displaystyle mathrm E mathbf A begin bmatrix operatorname E a 11 amp operatorname E a 12 amp cdots amp operatorname E a 1n operatorname E a 21 amp operatorname E a 22 amp cdots amp operatorname E a 2n vdots amp vdots amp ddots amp vdots operatorname E a m1 amp operatorname E a m2 amp cdots amp operatorname E a mn end bmatrix nbsp 那上小節定義的协方差矩阵就可以記为 c o v X Y E X E X Y E Y T displaystyle operatorname mathbf cov X Y mathrm E left left mathbf X mathrm E mathbf X right left mathbf Y mathrm E mathbf Y right rm T right nbsp 所以协方差矩阵也可對 X displaystyle mathbf X nbsp 與 Y displaystyle mathbf Y nbsp 來定義 c o v X Y E X E X Y E Y T displaystyle operatorname mathbf cov mathbf X mathbf Y mathrm E left left mathbf X mathrm E mathbf X right left mathbf Y mathrm E mathbf Y right rm T right nbsp 术语与符号分歧 编辑 也有人把以下的 S X displaystyle mathbf Sigma X nbsp 稱為协方差矩阵 S X cov x i x j m m c o v X X displaystyle begin aligned mathbf Sigma X amp left operatorname cov x i x j right m times m amp operatorname mathbf cov X X end aligned nbsp 但本頁面沿用威廉 费勒的说法 把 S X displaystyle mathbf Sigma X nbsp 稱為 X displaystyle X nbsp 的方差 variance of random vector 來跟 c o v X Y displaystyle operatorname mathbf cov X Y nbsp 作區別 這是因為 cov x i x i E x i m i 2 var x i displaystyle operatorname cov x i x i operatorname E x i mu i 2 operatorname var x i nbsp 換句話說 S X displaystyle mathbf Sigma X nbsp 的對角線由隨機變數 x i displaystyle x i nbsp 的方差所組成 據此 也有人也把 c o v X Y displaystyle operatorname mathbf cov X Y nbsp 稱為方差 协方差矩阵 variance covariance matrix 更有人因為方差和离差的相關性 含混的將 c o v X Y displaystyle operatorname mathbf cov X Y nbsp 稱為离差矩阵 性质 编辑S c o v X X displaystyle mathbf Sigma operatorname mathbf cov X X nbsp 有以下的基本性质 S E X X T E X E Y T displaystyle mathbf Sigma mathrm E mathbf X mathbf X T mathrm E mathbf X mathrm E mathbf Y T nbsp S displaystyle mathbf Sigma nbsp 是半正定的和对称的矩阵 var a T X a T var X a displaystyle operatorname var mathbf a T mathbf X mathbf a T operatorname var mathbf X mathbf a nbsp S 0 displaystyle mathbf Sigma geq 0 nbsp var A X a A var X A T displaystyle operatorname var mathbf AX mathbf a mathbf A operatorname var mathbf X mathbf A T nbsp cov X Y cov Y X T displaystyle operatorname cov mathbf X mathbf Y operatorname cov mathbf Y mathbf X T nbsp cov X 1 X 2 Y cov X 1 Y cov X 2 Y displaystyle operatorname cov mathbf X 1 mathbf X 2 mathbf Y operatorname cov mathbf X 1 mathbf Y operatorname cov mathbf X 2 mathbf Y nbsp 若 p q displaystyle p q nbsp 則有var X Y var X cov X Y cov Y X var Y displaystyle operatorname var mathbf X mathbf Y operatorname var mathbf X operatorname cov mathbf X mathbf Y operatorname cov mathbf Y mathbf X operatorname var mathbf Y nbsp cov A X B X A cov X X B T displaystyle operatorname cov mathbf AX mathbf BX mathbf A operatorname cov mathbf X mathbf X mathbf B T nbsp 若X displaystyle mathbf X nbsp 与Y displaystyle mathbf Y nbsp 是独立的 則有cov X Y 0 displaystyle operatorname cov mathbf X mathbf Y 0 nbsp S S T displaystyle mathbf Sigma mathbf Sigma T nbsp 尽管共變異數矩阵很简单 可它却是很多领域里的非常有力的工具 它能导出一个变换矩阵 这个矩阵能使数据完全去相关 decorrelation 从不同的角度看 也就是说能够找出一组最佳的基以紧凑的方式来表达数据 完整的证明请参考瑞利商 这个方法在统计学中被称为主成分分析 principal components analysis 在图像处理中称为Karhunen Loeve 变换 KL 变换 複随机向量 编辑均值为m displaystyle mu nbsp 的複随机标量变量的方差定义如下 使用共轭複数 var z E z m z m displaystyle operatorname var z operatorname E left z mu z mu right nbsp 其中复数z displaystyle z nbsp 的共轭记为z displaystyle z nbsp 如果Z displaystyle Z nbsp 是一个复列向量 则取其共轭转置 得到一个方阵 E Z m Z m displaystyle operatorname E left Z mu Z mu right nbsp 其中Z displaystyle Z nbsp 为共轭转置 它对于标量也成立 因为标量的转置还是标量 估计 编辑多元正态分布的共變異數矩阵的估计的推导非常精致 它需要用到谱定义以及为什么把标量看做1 1 displaystyle 1 times 1 nbsp 矩阵的迹更好的原因 参见共變異數矩阵的估计 外部链接 编辑Covariance Matrix 页面存档备份 存于互联网档案馆 at Mathworld 取自 https zh wikipedia org w index php title 协方差矩阵 amp oldid 79620552, 维基百科,wiki,书籍,书籍,图书馆,