奇异值

数学中，特别是泛函分析中，作用于希尔伯特空间X、Y之间的紧算子${\displaystyle T:X\rightarrow Y}$的奇异值是自伴算子${\displaystyle T^{*}T}$（${\displaystyle T^{*}}$表示T的伴随）的非负特征值的平方根。

奇异值是非负实数，一般按递减顺序排列（${\displaystyle \sigma _{1}(T),\ \sigma _{2}(T),\dots }$）。最大的奇异值${\displaystyle \sigma _{1}(T)}$等于T的算子范数（见极小-极大定理）。

2维实值错切矩阵M的奇异值分解可视化。首先，可见蓝色的单位圆盘与2个标准基向量；然后，可见M的作用：将圆盘扭曲为椭圆。SVD将M分解为3个简单变换：旋转${\displaystyle V^{*}}$、沿旋转轴的缩放Σ及第二次旋转 U。Σ是对角矩阵（本例中是方阵），对角线上包含M的奇异值，代表椭圆半轴长度${\displaystyle \sigma _{1},\ \sigma _{2}}$。

作用于欧氏空间${\displaystyle \mathbb {R} ^{n}}$的T的奇异值有简单的几何解释：单位n球在T变换下的像是椭球，其半轴长度是T的奇异值（图中提供了${\displaystyle \mathbb {R} ^{2}}$的例子）。

奇异值是正规矩阵A的特征值的绝对值，由谱定理可得A的单位对角化：${\displaystyle A=U\Lambda U^{*}}$。因此有${\displaystyle {\sqrt {A^{*}A}}={\sqrt {U\Lambda ^{*}\Lambda U^{*}}}=U\left|\Lambda \right|U^{*}}$。

研究的希尔伯特空间算子的大多数范数都是用奇异值定义的。例如，樊𰋀-k-范数是前k个奇异值的和，迹范数是所有奇异值的和，沙滕范数是奇异值的p次幂之和的p次根。注意每种范数都只定义在一类特殊的算子上，因此奇异值有助于算子的分类。

有限维情形，矩阵总可以分解为${\displaystyle \mathbf {U\Sigma V^{*}} }$，其中${\displaystyle \mathbf {U} }$、${\displaystyle \mathbf {V^{*}} }$是酉矩阵，${\displaystyle \mathbf {\Sigma } }$是矩形对角矩阵，奇异值在对角线上。这就是奇异值分解。

基本性质

对${\displaystyle A\in \mathbb {C} ^{m\times n}}$ 、${\displaystyle i=1,2,\ldots ,\min\{m,n\}}$ 。

应用特征值的最小-最大定理。这里${\displaystyle U:\dim(U)=i}$ 是${\displaystyle \mathbb {C} ^{n}}$ 的i维子空间。

${\displaystyle {\begin{aligned}\sigma _{i}(A)&=\min _{\dim(U)=n-i+1}\max _{\underset {\|x\|_{2}=1}{x\in U}}\left\|Ax\right\|_{2}.\\\sigma _{i}(A)&=\max _{\dim(U)=i}\min _{\underset {\|x\|_{2}=1}{x\in U}}\left\|Ax\right\|_{2}.\end{aligned}}}$ 

矩阵转置和共轭不会改变奇异值。

${\displaystyle \sigma _{i}(A)=\sigma _{i}\left(A^{\textsf {T}}\right)=\sigma _{i}\left(A^{*}\right).}$ 

对任意酉矩阵${\displaystyle U\in \mathbb {C} ^{m\times m},V\in \mathbb {C} ^{n\times n}}$ 

${\displaystyle \sigma _{i}(A)=\sigma _{i}(UAV).}$ 

与特征值的关系：

${\displaystyle \sigma _{i}^{2}(A)=\lambda _{i}\left(AA^{*}\right)=\lambda _{i}\left(A^{*}A\right).}$ 

与迹的关系：

${\displaystyle \sum _{i=1}^{n}\sigma _{i}^{2}={\text{tr}}\ A^{\ast }A}$ .

若${\displaystyle A^{\top }A}$ 满秩，则奇异值的积是${\displaystyle {\sqrt {\det A^{\top }A}}}$ 。

若${\displaystyle AA^{\top }}$ 满秩，则奇异值的积是${\displaystyle {\sqrt {\det AA^{\top }}}}$ 。

若A满秩，则奇异值的积是${\displaystyle |\det A|}$ 。

关于奇异值的不等式

另见^[1]

子矩阵的奇异值

对${\displaystyle A\in \mathbb {C} ^{m\times n}}$ ，

1. 令B表示删除了某一行或某一列的A。则
   $${\displaystyle \sigma _{i+1}(A)\leq \sigma _{i}(B)\leq \sigma _{i}(A)}$$

    
2. 令B表示删除了某一行和某一列的A。则
   $${\displaystyle \sigma _{i+2}(A)\leq \sigma _{i}(B)\leq \sigma _{i}(A)}$$

    
3. 令B表示A的${\displaystyle (m-k)\times (n-l)}$ 子矩阵，则
   $${\displaystyle \sigma _{i+k+l}(A)\leq \sigma _{i}(B)\leq \sigma _{i}(A)}$$

    

A + B的奇异值

对${\displaystyle A,B\in \mathbb {C} ^{m\times n}}$ 

1. $${\displaystyle \sum _{i=1}^{k}\sigma _{i}(A+B)\leq \sum _{i=1}^{k}(\sigma _{i}(A)+\sigma _{i}(B)),\quad k=\min\{m,n\}}$$

    
2. $${\displaystyle \sigma _{i+j-1}(A+B)\leq \sigma _{i}(A)+\sigma _{j}(B).\quad i,j\in \mathbb {N} ,\ i+j-1\leq \min\{m,n\}}$$

    

AB的奇异值

对${\displaystyle A,B\in \mathbb {C} ^{n\times n}}$ 

1. $${\displaystyle {\begin{aligned}\prod _{i=n}^{i=n-k+1}\sigma _{i}(A)\sigma _{i}(B)&\leq \prod _{i=n}^{i=n-k+1}\sigma _{i}(AB)\\\prod _{i=1}^{k}\sigma _{i}(AB)&\leq \prod _{i=1}^{k}\sigma _{i}(A)\sigma _{i}(B),\\\sum _{i=1}^{k}\sigma _{i}^{p}(AB)&\leq \sum _{i=1}^{k}\sigma _{i}^{p}(A)\sigma _{i}^{p}(B),\end{aligned}}}$$

    
2. $${\displaystyle \sigma _{n}(A)\sigma _{i}(B)\leq \sigma _{i}(AB)\leq \sigma _{1}(A)\sigma _{i}(B)\quad i=1,2,\ldots ,n.}$$

    

对${\displaystyle A,B\in \mathbb {C} ^{m\times n}}$ ^[2]

$${\displaystyle 2\sigma _{i}(AB^{*})\leq \sigma _{i}\left(A^{*}A+B^{*}B\right),\quad i=1,2,\ldots ,n.}$$

 

奇异值与特征值

对${\displaystyle A\in \mathbb {C} ^{n\times n}}$ .

1. 见^[3]
   $${\displaystyle \lambda _{i}\left(A+A^{*}\right)\leq 2\sigma _{i}(A),\quad i=1,2,\ldots ,n.}$$

    
2. 假设${\displaystyle \left|\lambda _{1}(A)\right|\geq \cdots \geq \left|\lambda _{n}(A)\right|}$ ，则对${\displaystyle k=1,2,\ldots ,n}$ ：
   1. 外尔定理
      $${\displaystyle \prod _{i=1}^{k}\left|\lambda _{i}(A)\right|\leq \prod _{i=1}^{k}\sigma _{i}(A).}$$

       
   2. 对${\displaystyle p>0}$ 。
      $${\displaystyle \sum _{i=1}^{k}\left|\lambda _{i}^{p}(A)\right|\leq \sum _{i=1}^{k}\sigma _{i}^{p}(A).}$$

       

历史

奇异值这一概念由埃哈德·施密特（1907）提出，当时称奇异值为“特征值”。“奇异值”的名称由史密斯于1937年首次使用。1957年，Allahverdiev证明了第n个奇异值的如下特征：^[4]

${\displaystyle \sigma _{n}(T)=\inf {\big \{}\,\|T-L\|:L{\text{的秩}}<n\,{\big \}}.}$ 

这种表述使奇异值概念可以推广到巴拿赫空间的算子。 注意还有更一般的s-数（s-number）概念，也包括盖尔范德和柯尔莫哥洛夫宽。

另见

• 条件数
• 庞加莱分离定理
• 舒尔–霍恩定理
• 奇异值分解

参考文献

1. R. A. Horn and C. R. Johnson. Topics in Matrix Analysis. Cambridge University Press, Cambridge, 1991. Chap. 3
2. X. Zhan. Matrix Inequalities. Springer-Verlag, Berlin, Heidelberg, 2002. p.28
3. R. Bhatia. Matrix Analysis. Springer-Verlag, New York, 1997. Prop. III.5.1
4. I. C. Gohberg and M. G. Krein. Introduction to the Theory of Linear Non-selfadjoint Operators. American Mathematical Society, Providence, R.I.,1969. Translated from the Russian by A. Feinstein. Translations of Mathematical Monographs, Vol. 18.