可辨识性

在 统计学中，可辨识是一个能够更为准确推断的模型必须满足的属性。 一个模型是可辨识的，如果它在理论上能通过无限的观测结果学习到的真正该模型背后参数的真实值。 在数学上，这相当于说基于这些观测结果的不同的参数值必须产生不同的概率分布。 通常情况下，模型只是在某些情况下是可识别的，这些情况的限定条件被称为识别条件。

一个模型是不可识别的，如果：两个或两个以上的参数化是观察等价的。 在某些情况下，即使一个模型是不可识别的，它仍然可能学习到某些特定模型参数子集的真实值。 在这种情况下，我们称该模型是部分地可识别的。 在其他情况下，模型可能可以学习到参数空间中一定有限区域的真的参数值，在这种情况下，该模型是集合可识别的。

除了严格的理论探索模型的属性，当使用可识别性分析使用实验数据集检验模型时，可识别性可以在一个更宽泛的范围内被提及。^[1]

定义

令 ${\displaystyle {\mathcal {P}}=\{P_{\theta }:\theta \in \Theta \}}$  为一个 统计模型， 其中参数空间 ${\displaystyle \Theta }$  可以是有限或无限维。 我们说 ${\displaystyle {\mathcal {P}}}$  是可识别的，如果映射 ${\displaystyle \theta \mapsto P_{\theta }}$  是 一一映射:^[2]

这个定义意味着不同值的 θ 应当对应于不同的概率分布：如果 θ₁≠θ₂，那么也有 P_θ1≠P_θ2。^[3] 如果分布是以概率密度的函数(pdf)方式定义的，那么这两个概率密度函数只有在它们对于一个非零测度集合表现不同时被认为是不同的（例如两个函数ƒ₁(x) = 1_{0 ≤ x < 1}和ƒ₂(x) = 1_{0 ≤ x ≤ 1} 不同之处仅在一个单一点 x = 1—一个测度为零的集合--因此不能被视为不同的概率密度函数）。

模型的可辨识性在映射 ${\displaystyle \theta \mapsto P_{\theta }}$ 的可逆性的意义上等价于能够在模型无限长的观察后学习模型的真实的参数值。事实上，如果{X_t} ⊆ S 是模型的观测序列，那么根据大数定律，

${\displaystyle {\frac {1}{T}}\sum _{t=1}^{T}\mathbf {1} _{\{X_{t}\in A\}}\ {\xrightarrow {\text{a.s.}}}\ \Pr[X_{t}\in A],}$ 

对于每个可测量的集合A  ⊆   S （此处1 _{...}是指示函数 ）。 因此，通过无限数量的观察，我们将能够在模型中找到真实概率分布P ₀ ，并且由于上述可识别性条件需要映射${\displaystyle \theta \mapsto P_{\theta }}$ 是可逆的，我们也能够找到产生给定分布P ₀ 的真实参数值。

例子

例1

令 ${\displaystyle {\mathcal {P}}}$  是正态位置尺度族:

${\displaystyle {\mathcal {P}}={\Big \{}\ f_{\theta }(x)={\tfrac {1}{{\sqrt {2\pi }}\sigma }}e^{-{\frac {1}{2\sigma ^{2}}}(x-\mu )^{2}}\ {\Big |}\ \theta =(\mu ,\sigma ):\mu \in \mathbb {R} ,\,\sigma \!>0\ {\Big \}}.}$ 

那么

${\displaystyle {\begin{aligned}&f_{\theta _{1}}=f_{\theta _{2}}\\[6pt]\Longleftrightarrow {}&{\frac {1}{{\sqrt {2\pi }}\sigma _{1}}}\exp \left(-{\frac {1}{2\sigma _{1}^{2}}}(x-\mu _{1})^{2}\right)={\frac {1}{{\sqrt {2\pi }}\sigma _{2}}}\exp \left(-{\frac {1}{2\sigma _{2}^{2}}}(x-\mu _{2})^{2}\right)\\[6pt]\Longleftrightarrow {}&{\frac {1}{\sigma _{1}^{2}}}(x-\mu _{1})^{2}+\ln \sigma _{1}={\frac {1}{\sigma _{2}^{2}}}(x-\mu _{2})^{2}+\ln \sigma _{2}\\[6pt]\Longleftrightarrow {}&x^{2}\left({\frac {1}{\sigma _{1}^{2}}}-{\frac {1}{\sigma _{2}^{2}}}\right)-2x\left({\frac {\mu _{1}}{\sigma _{1}^{2}}}-{\frac {\mu _{2}}{\sigma _{2}^{2}}}\right)+\left({\frac {\mu _{1}^{2}}{\sigma _{1}^{2}}}-{\frac {\mu _{2}^{2}}{\sigma _{2}^{2}}}+\ln \sigma _{1}-\ln \sigma _{2}\right)=0\end{aligned}}}$ 

对于几乎所有的 x 只有当其所有系数都等于零，该公式为零，唯一可能的情况是|σ₁|=|σ₂|且 μ₁ = μ₂。 由于在尺度参数 σ 是限制大于零的，我们得出结论，该模型是可辨识的：ƒ_θ1 = ƒ_θ2 ⇔ θ₁ = θ₂。

例2

令 ${\displaystyle {\mathcal {P}}}$  为标准 线性回归模型：

${\displaystyle y=\beta 'x+\varepsilon ,\quad \mathrm {E} [\,\varepsilon \mid x\,]=0}$ 

(其中，'表示矩阵转置)。 参数 β 是可辨识的，当且仅当矩阵 ${\displaystyle \mathrm {E} [xx']}$  是可逆的。 因此，这是该模型的可辨识条件。

例3

假设 ${\displaystyle {\mathcal {P}}}$  是经典的变量误差线性模型：

${\displaystyle {\begin{cases}y=\beta x^{*}+\varepsilon ,\\x=x^{*}+\eta ,\end{cases}}}$ 

其中，(ε,η,x*) 是联合正态独立随机变量，其期望为零，方差未知，只有变量(x,y)是观察到的。 那么这个模型是不可识别的，^[4] 只有积βσ2_∗ (其中σ²_∗是差异的潜在回归量 x*)。这也是一个集合可识别的模式的例子：虽然确切的 β 值无法被学习到，我们可以保证，它一定在 (β_y,1÷β_x-y) 区间中的某处，其中， β_yx 是y关于x 的普通最小二乘法 回归的系数，并且 β_xy 也是 x 关于 y 的普通最小二乘法回归的系数。^[5]

如果我们放弃正态假设并且要求 x* 不是正态分布，仅保留独立的条件 ε ⊥ η ⊥ x*，那么该模型成为可以识别的。^[4]

软件

在可部分地观察的动力系统的参数估计情况下， 似然函数也可以被用于结构性和实际可识别性分析。^[6] 关于 [1] （页面存档备份，存于互联网档案馆）的一个实现可以在MATLAB工具箱 PottersWheel中获取。

参考

• 可觀測性
• 系統識別

参考文献

引文

1. Raue, A.; Kreutz, C.; Maiwald, T.; Bachmann, J.; Schilling, M.; Klingmuller, U.; Timmer, J. Structural and practical identifiability analysis of partially observed dynamical models by exploiting the profile likelihood. Bioinformatics. 2009-08-01, 25 (15): 1923–1929. PMID 19505944. doi:10.1093/bioinformatics/btp358. 
2. Lehmann & Casella 1998
3. van der Vaart 1998
4. Reiersøl 1950
5. Casella & Berger 2001 harvnb error: no target: CITEREFCasellaBerger2001 (help)
6. Raue, A; Kreutz, C; Maiwald, T; Bachmann, J; Schilling, M; Klingmüller, U; Timmer, J, Structural and practical identifiability analysis of partially observed dynamical models by exploiting the profile likelihood, Bioinformatics, 2009, 25 (15): 1923–9 [2019-05-16], PMID 19505944, doi:10.1093/bioinformatics/btp358, （原始内容存档于2013-01-13）. 

来源

• Casella, George; Berger, Roger L., Statistical Inference 2nd, 2002, ISBN 0-534-24312-6, LCCN 2001025794 
• Hsiao, Cheng, Identification, Handbook of Econometrics, Vol. 1, Ch.4, North-Holland Publishing Company, 1983 
• Lehmann, E. L.; Casella, G., Theory of Point Estimation 2nd, Springer, 1998, ISBN 0-387-98502-6 
• Reiersøl, Olav, Identifiability of a linear relation between variables which are subject to error, Econometrica, 1950, 18 (4): 375–389, JSTOR 1907835, doi:10.2307/1907835 
• van der Vaart, A. W., Asymptotic Statistics, Cambridge University Press, 1998, ISBN 978-0-521-49603-2 

进一步阅读

• Walter, É.; Pronzato, L., Identification of Parametric Models from Experimental Data, Springer, 1997