矩 (图像)

在数字图像处理、计算机视觉与相关领域中，图像矩是指图像的某些特定像素灰度的加权平均值（矩），或者是图像具有类似功能或意义的属性。

图像矩通常用来描述 分割 后的图像对象。可以通过图像的矩来获得图像的部分性质，包括面积(或总体亮度)，以及有关 几何中心 和 方向 的信息 。

原始矩

对于二维连续函数 f (x, y), (p+q) 阶的矩 (有时称为"原始矩") 被定义为

${\displaystyle M_{pq}=\int \limits _{-\infty }^{\infty }\int \limits _{-\infty }^{\infty }x^{p}y^{q}f(x,y)\,dx\,dy}$ 

对于 p,q =0,1,2,... 对于灰度图像的像素的强度 I(x,y), 原始图像的矩 M_ij 被计算为

${\displaystyle M_{ij}=\sum _{x}\sum _{y}x^{i}y^{j}I(x,y)\,\!}$ 

在某些情况下，这可以通过计算图像的 概率密度函数 来获得, 即，将上面的计算结果除以以下公式

${\displaystyle \sum _{x}\sum _{y}I(x,y)\,\!}$ 

唯一性定理(Hu [1962])指出，如果f(x, y)是分段连续的，并且仅在xy平面的有限部分具有非零值，则存在所有阶矩，且矩序列(M_pq)由f(x, y)唯一确定。同样的，(M_pq)唯一确定f(x, y)。在实践中，图像的低阶矩具有一些独特的功能。

例

原始矩包含以下的一些的有关原始图像属性的信息：

• 二值图像的面积 或 灰度图像的像素总和，可以表示为：${\displaystyle M_{00}}$ 
• 图像的 几何中心 可以表示为： ${\displaystyle \{{\bar {x}},\ {\bar {y}}\}=\left\{{\frac {M_{10}}{M_{00}}},{\frac {M_{01}}{M_{00}}}\right\}}$ 

中心矩

中心矩 被定义为

${\displaystyle \mu _{pq}=\int \limits _{-\infty }^{\infty }\int \limits _{-\infty }^{\infty }(x-{\bar {x}})^{p}(y-{\bar {y}})^{q}f(x,y)\,dx\,dy}$ 

则 ${\displaystyle {\bar {x}}={\frac {M_{10}}{M_{00}}}}$  和 ${\displaystyle {\bar {y}}={\frac {M_{01}}{M_{00}}}}$  就是物体的 几何中心.

如果 ƒ(x, y)是一个数字图像，则前一公式等价于

${\displaystyle \mu _{pq}=\sum _{x}\sum _{y}(x-{\bar {x}})^{p}(y-{\bar {y}})^{q}f(x,y)}$ 

此时图像的 3 阶中心矩是：

${\displaystyle \mu _{00}=M_{00},\,\!}$ 

${\displaystyle \mu _{01}=0,\,\!}$ 

${\displaystyle \mu _{10}=0,\,\!}$ 

${\displaystyle \mu _{11}=M_{11}-{\bar {x}}M_{01}=M_{11}-{\bar {y}}M_{10},}$ 

${\displaystyle \mu _{20}=M_{20}-{\bar {x}}M_{10},}$ 

${\displaystyle \mu _{02}=M_{02}-{\bar {y}}M_{01},}$ 

${\displaystyle \mu _{21}=M_{21}-2{\bar {x}}M_{11}-{\bar {y}}M_{20}+2{\bar {x}}^{2}M_{01},}$ 

${\displaystyle \mu _{12}=M_{12}-2{\bar {y}}M_{11}-{\bar {x}}M_{02}+2{\bar {y}}^{2}M_{10},}$ 

${\displaystyle \mu _{30}=M_{30}-3{\bar {x}}M_{20}+2{\bar {x}}^{2}M_{10},}$ 

${\displaystyle \mu _{03}=M_{03}-3{\bar {y}}M_{02}+2{\bar {y}}^{2}M_{01}.}$ 

也可以被表示为：

${\displaystyle \mu _{pq}=\sum _{m}^{p}\sum _{n}^{q}{p \choose m}{q \choose n}(-{\bar {x}})^{(p-m)}(-{\bar {y}})^{(q-n)}M_{mn}}$ 

中心矩是 平移不变 的 。

例

有关方向的信息可以通过以下方式，构建一个 协方差矩阵.

${\displaystyle \mu '_{20}=\mu _{20}/\mu _{00}=M_{20}/M_{00}-{\bar {x}}^{2}}$ 

${\displaystyle \mu '_{02}=\mu _{02}/\mu _{00}=M_{02}/M_{00}-{\bar {y}}^{2}}$ 

${\displaystyle \mu '_{11}=\mu _{11}/\mu _{00}=M_{11}/M_{00}-{\bar {x}}{\bar {y}}}$ 

图像 ${\displaystyle I(x,y)}$ 的 协方差矩阵 是：

${\displaystyle \operatorname {cov} [I(x,y)]={\begin{bmatrix}\mu '_{20}&\mu '_{11}\\\mu '_{11}&\mu '_{02}\end{bmatrix}}}$ .

该矩阵的特征向量对应于图像强度的长轴和短轴，因此可以从与最大特征值相关的特征向量的角度朝向最接近该特征向量的轴提取方向 。可以看出，该角度θ由以下公式给出：

${\displaystyle \Theta ={\frac {1}{2}}\arctan \left({\frac {2\mu '_{11}}{\mu '_{20}-\mu '_{02}}}\right)}$ 

上述公式只要满足以下条件：

${\displaystyle \mu '_{20}-\mu '_{02}\neq 0}$ 

这个协方差矩阵的特征值可以很容易地表示为

${\displaystyle \lambda _{i}={\frac {\mu '_{20}+\mu '_{02}}{2}}\pm {\frac {\sqrt {4{\mu '}_{11}^{2}+({\mu '}_{20}-{\mu '}_{02})^{2}}}{2}},}$ 

并且与特征向量轴的平方长度成正比。特征值的大小的相对差异显示了图像的偏心率或图像的细长性。此时 离心率 可以计算为：

${\displaystyle {\sqrt {1-{\frac {\lambda _{2}}{\lambda _{1}}}}}.}$ 

矩的不变性

矩最著名的应用是进行图像分析，因为它可以被用来获得相对于特定变换的 不变性 。

在这种情况下，常使用不变矩一词。但是，虽然不变矩是由矩形成的不变矩，但不变矩本身对应的矩就是中心矩。

注意，下面详述的不变性仅在连续域中是完全不变的。在离散域中，缩放和旋转都没有很好地定义，因为对离散图像进行的缩放和旋转后获得的图像通常是某种近似变换，并且大多数情况下这些变换都是不可逆的。因此，当描述离散图像中的形状时，这些不变性仅是近似不变的。

平移不变性

任意阶的中心矩 μ_{i j} 都是平移不变的。

缩放不变性

关于 平移 和 缩放 的不变性 可以通过将 η_{i j} 除以适当缩放的第零个中心矩来从中心矩构造：

${\displaystyle \eta _{ij}={\frac {\mu _{ij}}{\mu _{00}^{\left(1+{\frac {i+j}{2}}\right)}}}\,\!}$ 

其中 i + j ≥2 。 可以注意到，平移不变性仅仅直接使用中心矩进行计算。

旋转不变性

基于 Hu 的工作^[1][2] ， 平移, 缩放，以及 旋转 不变量 可以表示为：

${\displaystyle I_{1}=\eta _{20}+\eta _{02}}$ 

${\displaystyle I_{2}=(\eta _{20}-\eta _{02})^{2}+4\eta _{11}^{2}}$ 

${\displaystyle I_{3}=(\eta _{30}-3\eta _{12})^{2}+(3\eta _{21}-\eta _{03})^{2}}$ 

${\displaystyle I_{4}=(\eta _{30}+\eta _{12})^{2}+(\eta _{21}+\eta _{03})^{2}}$ 

${\displaystyle I_{5}=(\eta _{30}-3\eta _{12})(\eta _{30}+\eta _{12})[(\eta _{30}+\eta _{12})^{2}-3(\eta _{21}+\eta _{03})^{2}]+(3\eta _{21}-\eta _{03})(\eta _{21}+\eta _{03})[3(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}]}$ 

${\displaystyle I_{6}=(\eta _{20}-\eta _{02})[(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}]+4\eta _{11}(\eta _{30}+\eta _{12})(\eta _{21}+\eta _{03})}$ 

${\displaystyle I_{7}=(3\eta _{21}-\eta _{03})(\eta _{30}+\eta _{12})[(\eta _{30}+\eta _{12})^{2}-3(\eta _{21}+\eta _{03})^{2}]-(\eta _{30}-3\eta _{12})(\eta _{21}+\eta _{03})[3(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}].}$ 

这些就是著名的 Hu不变矩 。

首先，I₁ 近似于图像质心周围的惯性矩 ，其中像素的强度近似于物理密度。其次，I₇ 是倾斜不变的，这使它能够用于区分其他镜像的相同图像。

J. Flusser提出了一个关于导出完整的独立的转动力矩不变量集的一般理论。 ^[3]他表明传统的 胡不变矩 集既不独立也不完整。 I₃ 不是非常有用，因为它取决于其他参数。在原始的 胡不变矩 中，缺少三阶独立矩不变性：

${\displaystyle I_{8}=\eta _{11}[(\eta _{30}+\eta _{12})^{2}-(\eta _{03}+\eta _{21})^{2}]-(\eta _{20}-\eta _{02})(\eta _{30}+\eta _{12})(\eta _{03}+\eta _{21})}$ 

后来，J。Flusser和T. Suk ^[4]专门研究了 N旋转对称情况 的理论。

应用

Zhang et al. 使用Hu矩来解决的 大脑病理检测 (PBD) 问题。^[5]

参考文献

1. M. K. Hu, "Visual Pattern Recognition by Moment Invariants", IRE Trans. Info. Theory, vol. IT-8, pp.179–187, 1962
2. http://docs.opencv.org/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments （页面存档备份，存于互联网档案馆） Hu Moments' OpenCV method
3. J. Flusser: "On the Independence of Rotation Moment Invariants （页面存档备份，存于互联网档案馆）", Pattern Recognition, vol. 33, pp. 1405–1410, 2000.
4. J. Flusser and T. Suk, "Rotation Moment Invariants for Recognition of Symmetric Objects （页面存档备份，存于互联网档案馆）", IEEE Trans. Image Proc., vol. 15, pp. 3784–3790, 2006.
5. Zhang, Y. Pathological Brain Detection based on wavelet entropy and Hu moment invariants. Bio-Medical Materials and Engineering. 2015, 26: 1283–1290 [2019-10-16]. （原始内容于2016-03-04）. 

外部链接

• Analysis of Binary Images （页面存档备份，存于互联网档案馆）, University of Edinburgh
• Statistical Moments （页面存档备份，存于互联网档案馆）, University of Edinburgh
• Variant moments （页面存档备份，存于互联网档案馆）, Machine Perception and Computer Vision page (Matlab and Python source code)
• Hu Moments （页面存档备份，存于互联网档案馆） introductory video on YouTube