威沙特分佈

以統計學家约翰·威沙特為名的威沙特分佈是統計學上的一種半正定矩陣隨機分佈。^[1]這個分佈在多變量分析的协方差矩阵估計上相當重要。

威沙特

参数	${\displaystyle n>0\!}$ 自由度 (實數) ${\displaystyle \mathbf {V} >0\,}$ 尺度矩陣 (正定)
值域	${\displaystyle \mathbf {W} \!}$是正定的
概率密度函数	${\displaystyle {\frac {\left|\mathbf {W} \right|^{\frac {n-p-1}{2}}}{2^{\frac {np}{2}}\left|{\mathbf {V} }\right|^{\frac {n}{2}}\Gamma _{p}({\frac {n}{2}})}}\exp \left(-{\frac {1}{2}}{\rm {Tr}}({\mathbf {V} }^{-1}\mathbf {W} )\right)}$
期望值	${\displaystyle n\mathbf {V} }$
眾數	${\displaystyle (n-p-1)\mathbf {V} {\text{ for }}n\geq p+1}$
特徵函数	${\displaystyle \Theta \mapsto \left|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right|^{-n/2}}$

定義

假設X為一n × p矩陣，其各行（row）來自同一均值向量為${\displaystyle \mathbf {0} }$ 的${\displaystyle p}$ 維多變量常態分佈且彼此獨立。

${\displaystyle X_{(i)}{=}(x_{i}^{1},\dots ,x_{i}^{p})^{T}\sim N_{p}(0,V),}$ 

則威沙特分佈為${\displaystyle p\times p}$ 散異矩陣（英语：Scatter matrix）

${\displaystyle S=X^{T}X=\sum _{i=1}^{n}X_{(i)}X_{(i)}^{T},\,\!}$ 

的機率分佈。

${\displaystyle \mathbf {S} }$ 有該機率分佈通常記為

${\displaystyle \mathbf {S} \sim W_{p}(\mathbf {V} ,n).}$ 

其中正整數${\displaystyle n}$ 為自由度。有時亦記號為${\displaystyle W(\mathbf {V} ,p,n)}$ 。若${\displaystyle p=1}$ 且${\displaystyle \mathbf {V} =1}$ 則該分佈退化為一自由度為${\displaystyle n}$ 的單變量卡方分佈。

常見應用

威沙特分佈常用於多變量的概似比檢定，亦用於隨機矩陣的頻譜理論中。

機率密度函數

威沙特分佈具有下述的機率密度函數：

令'${\displaystyle \mathbf {W} }$ 為一${\displaystyle p\times p}$ 正定對稱隨機變數矩陣。令${\displaystyle \mathbf {V} }$ 為一特定正定${\displaystyle p\times p}$ 矩陣。

如此，若${\displaystyle n>p}$ ，則${\displaystyle \mathbf {W} }$ 服從於一具自由度n的威沙特分佈且有機率度函數${\displaystyle f_{W}}$ 

${\displaystyle f_{\mathbf {W} }(w)={\frac {\left|w\right|^{(n-p-1)/2}\exp \left[-{\rm {trace}}({\mathbf {V} }^{-1}w/2)\right]}{2^{np/2}\left|{\mathbf {V} }\right|^{n/2}\Gamma _{p}(n/2)}}}$ 

其中${\displaystyle \Gamma _{p}(\cdot )}$ 為多變量Gamma分佈，其定義為

${\displaystyle \Gamma _{p}(n/2)=\pi ^{p(p-1)/4}\Pi _{j=1}^{p}\Gamma \left[(n+1-j)/2\right].}$ 

上述定義可推廣至任一實數${\displaystyle n>p-1}$ ^[2]

特徵函數

威沙特分佈的特徵函數為

${\displaystyle \Theta \mapsto \left|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right|^{-n/2}.}$ 

也就是說

${\displaystyle \Theta \mapsto {\mathcal {E}}\left\{\mathrm {exp} \left[i\cdot \mathrm {trace} ({\mathbf {W} }{\mathbf {\Theta } })\right]\right\}=\left|{\mathbf {I} }-2i{\mathbf {\Theta } }{\mathbf {V} }\right|^{-n/2}}$ 

其中${\displaystyle {\mathcal {E}}(\cdot )}$ 為期望值

（這裡的${\displaystyle \Theta }$ 及${\displaystyle {\mathbf {I} }}$  皆為與${\displaystyle {\mathbf {V} }}$ 維度相同的矩陣。（${\displaystyle {\mathbf {I} }}$  為單位矩陣，而${\displaystyle i}$ 為－1的平方根）.^[3]

理論架構

若${\displaystyle \scriptstyle {\mathbf {W} }}$ 為一自由度為m，共變異矩陣為${\displaystyle \scriptstyle {\mathbf {V} }}$ 的威沙特分佈，記為—${\displaystyle \scriptstyle {\mathbf {W} }\sim {\mathbf {W} }_{p}({\mathbf {V} },m)}$ —其中${\displaystyle \scriptstyle {\mathbf {C} }}$ 為一${\displaystyle q\times p}$ 的q秩矩陣，則^[4]

${\displaystyle {\mathbf {C} }{\mathbf {W} }{\mathbf {C} '}\sim {\mathbf {W} }_{q}\left({\mathbf {C} }{\mathbf {V} }{\mathbf {C} '},m\right).}$ 

推論1

若${\displaystyle {\mathbf {z} }}$ 為一非負${\displaystyle p\times 1}$ 常數向量，則^[4]${\displaystyle {\mathbf {z} '}{\mathbf {W} }{\mathbf {z} }\sim \sigma _{z}^{2}\chi _{m}^{2}}$ .

則在此情形下，${\displaystyle \chi _{m}^{2}}$ 為一卡方分佈且${\displaystyle \sigma _{z}^{2}={\mathbf {z} '}{\mathbf {V} }{\mathbf {z} }}$ （因${\displaystyle {\mathbf {V} }}$ 為正定，所以${\displaystyle \sigma _{z}^{2}}$ 為一正常數）。

推論2

在${\displaystyle {\mathbf {z} '}=(0,\ldots ,0,1,0,\ldots ,0)}$  的情形下（亦即第j個元素為1其他為0），推論1可導出

${\displaystyle w_{jj}\sim \sigma _{jj}\chi _{m}^{2}}$ 

為矩陣的每一個對對角元素的邊際分佈。

統計學家George Seber（英语：George Seber）曾論證威沙特分佈並非多變量卡方分佈，這是因為非對角元素的邊際分佈並非卡方分佈，Seber傾向於將某某多變量分佈此一遣詞用於所有元素的邊際分佈皆相同的情形。^[5]

多變量常態分佈的估計

由於威沙特分佈可視為一多變量常態分佈其共變異矩陣的最大概似估計量（MLE）的分佈，其衍自MLE的計算可為令人驚喜地簡約而優雅。^[6] 基於頻譜理論，可將一純量視為一${\displaystyle 1\times 1}$ 矩陣的跡（trace）。請參考共變異矩陣的估計。

分佈抽樣

以下的演算法取材自 Smith & Hocking (1972)。^[7]一個來自自由度為n及共變異矩陣為${\displaystyle \mathbf {V} }$ 的威沙特分佈的${\displaystyle p\times p}$ （其中${\displaystyle n\geq p}$ ）隨機樣本可以如下方式抽樣而得：

1. 生成一隨機${\displaystyle p\times p}$ 下三角矩陣 ${\displaystyle {\textbf {A}}}$ 使得：
   • ${\displaystyle a_{ii}=(\chi _{n-i+1}^{2})^{1/2}}$ ，意即 ${\displaystyle a_{ii}}$ 為一${\displaystyle \chi _{n-i+1}^{2}}$ 卡方分佈隨機樣本的平方根。
   • ${\displaystyle a_{ij}}$ 其中${\displaystyle j<i}$ ，為一${\displaystyle N_{1}(0,1)}$ 常態分佈的隨機樣本。^[8]
2. 計算${\displaystyle {\textbf {V}}={\textbf {L}}{\textbf {L}}^{T}}$ 的Cholesky分解。
3. 計算${\displaystyle {\textbf {X}}={\textbf {L}}{\textbf {A}}{\textbf {A}}^{T}{\textbf {L}}^{T}}$ 。此時，${\displaystyle {\textbf {X}}}$  為一${\displaystyle W_{p}({\textbf {V}},n)}$ 的隨機樣本。

若${\displaystyle {\textbf {V}}={\textbf {I}}}$ ，則因${\displaystyle {\textbf {V}}={\textbf {I}}{\textbf {I}}^{T}}$ ，可以直接以${\displaystyle {\textbf {X}}={\textbf {A}}{\textbf {A}}^{T}}$ 進行抽樣。

參考條目

• 共變異矩陣的估計
• Hotelling的T平方分佈
• 逆威沙特分佈

參考資料

1. Wishart, J. The generalised product moment distribution in samples from a normal multivariate population. Biometrika. 1928, 20A (1–2): 32–52. JFM 54.0565.02. JSTOR 2331939. doi:10.1093/biomet/20A.1-2.32. 
2. Uhlig, H. On Singular Wishart and Singular Multivariate Beta Distributions. The Annals of Statistics. 1994, 22: 395–405. doi:10.1214/aos/1176325375. 
3. Anderson, T. W. An Introduction to Multivariate Statistical Analysis 3rd. Hoboken, N. J.: Wiley Interscience. 2003: 259. ISBN 0-471-36091-0. 
4. Rao, C. R. Linear Statistical Inference and its Applications. Wiley. 1965: 535. 
5. Seber, George A. F. Multivariate Observations. Wiley. 2004. ISBN 978-0471691211. 
6. Chatfield, C.; Collins, A. J. Introduction to Multivariate Analysis. London: Chapman and Hall. 1980: 103–108. ISBN 0-412-16030-7. 
7. Smith, W. B.; Hocking, R. R. Algorithm AS 53: Wishart Variate Generator. Journal of the Royal Statistical Society, Series C. 1972, 21 (3): 341–345. JSTOR 2346290. 
8. Anderson, T. W. An Introduction to Multivariate Statistical Analysis 3rd. Hoboken, N. J.: Wiley Interscience. 2003: 257. ISBN 0-471-36091-0. 

• Gelman, Andrew. Bayesian Data Analysis 2nd. Boca Raton, Fla.: Chapman & Hall. 2003: 582 [3 June 2015]. ISBN 158488388X. （原始内容于2021-02-17）. 
• Zanella, A.; Chiani, M.; Win, M.Z. On the marginal distribution of the eigenvalues of wishart matrices. IEEE Transactions on Communications. April 2009, 57 (4): 1050–1060. doi:10.1109/TCOMM.2009.04.070143. 
• Bishop, C. M. Pattern Recognition and Machine Learning. Springer. 2006: 693. 
• Pearson, Karl; Jeffery, G. B.; Elderton, Ethel M. On the Distribution of the First Product Moment-Coefficient, in Samples Drawn from an Indefinitely Large Normal Population. Biometrika (Biometrika Trust). December 1929, 21: 164–201. JSTOR 2332556. doi:10.2307/2332556. 
• Craig, Cecil C. On the Frequency Function of xy. Ann. Math. Statist. 1936, 7: 1–15 [2016-05-02]. doi:10.1214/aoms/1177732541. （原始内容于2020-06-07）. 
• Peddada and Richards, Shyamal Das; Richards, Donald St. P. Proof of a Conjecture of M. L. Eaton on the Characteristic Function of the Wishart Distribution,. Annals of Probability. 1991, 19 (2): 868–874. doi:10.1214/aop/1176990455. 
• Gindikin, S.G. Invariant generalized functions in homogeneous domains,. Funct. Anal. Appl. 1975, 9 (1): 50–52. doi:10.1007/BF01078179. 
• Dwyer, Paul S. Some Applications of Matrix Derivatives in Multivariate Analysis. J. Amer. Statist. Assoc. 1967, 62 (318): 607–625. JSTOR 2283988.