径向基函数核

在机器学习中，（高斯）径向基函数核（英語：Radial basis function kernel），或称为RBF核，是一种常用的核函数。它是支持向量机分类中最为常用的核函数。^[1]

关于两个样本x和x'的RBF核可表示为某个“输入空间”（input space）的特征向量，它的定义如下所示：^[2]

${\displaystyle K(\mathbf {x} ,\mathbf {x'} )=\exp \left(-{\frac {||\mathbf {x} -\mathbf {x'} ||_{2}^{2}}{2\sigma ^{2}}}\right)}$

${\displaystyle \textstyle ||\mathbf {x} -\mathbf {x'} ||_{2}^{2}}$可以看做两个特征向量之间的平方欧几里得距离。${\displaystyle \sigma }$是一个自由参数。一种等价但更为简单的定义是设一个新的参数${\displaystyle \gamma }$，其表达式为${\displaystyle \textstyle \gamma ={\tfrac {1}{2\sigma ^{2}}}}$：

${\displaystyle K(\mathbf {x} ,\mathbf {x'} )=\exp(-\gamma ||\mathbf {x} -\mathbf {x'} ||_{2}^{2})}$

因为RBF核函数的值随距离增大而减小，并介于0（极限）和1（当x = x'的时候）之间，所以它是一种现成的相似性度量表示法。^[2] 核的特征空间有无穷多的维数；对于${\displaystyle \sigma =1}$，它的展开式为：^[3]

${\displaystyle \exp \left(-{\frac {1}{2}}||\mathbf {x} -\mathbf {x'} ||_{2}^{2}\right)=\sum _{j=0}^{\infty }{\frac {(\mathbf {x} ^{\top }\mathbf {x'} )^{j}}{j!}}\exp \left(-{\frac {1}{2}}||\mathbf {x} ||_{2}^{2}\right)\exp \left(-{\frac {1}{2}}||\mathbf {x'} ||_{2}^{2}\right)}$

近似

因为支持向量机和其他模型使用了核技巧（英语：Kernel trick），它在处理输入空间中大量的训练样本或含有大量特征的样本的时表现不是很好。所以，目前已经设计出了多种RBF核（或相似的其他核）的近似方法。^[4] 典型的情况下，这些方法使用z(x)的形式，也就是用一个函数对一个与其他向量（例如支持向量机中的支持向量）无关的单向量进行变换，例如：

${\displaystyle z(\mathbf {x} )z(\mathbf {x'} )\approx \varphi (\mathbf {x} )\varphi (\mathbf {x'} )=K(\mathbf {x} ,\mathbf {x'} )}$ 

其中${\displaystyle \textstyle \varphi }$ 是RBF核中植入的隐式映射。

一种建构这样的z函数的方法，是对核函数作傅里叶变换，然后从中随机抽出所需函数。^[5]

参见

• 多项式核
• 径向基函数网络

参考资料

1. Yin-Wen Chang, Cho-Jui Hsieh, Kai-Wei Chang, Michael Ringgaard and Chih-Jen Lin (2010). Training and testing low-degree polynomial data mappings via linear SVM. J. Machine Learning Research 11: 1471–1490.
2. Vert, Jean-Philippe, Koji Tsuda, and Bernhard Schölkopf (2004). "A primer on kernel methods." Kernel Methods in Computational Biology.
3. Shashua, Amnon. Introduction to Machine Learning: Class Notes 67577. 2009. arXiv:0904.3664   [cs.LG]. 
4. Andreas Müller (2012). Kernel Approximations for Efficient SVMs (and other feature extraction methods) （页面存档备份，存于互联网档案馆）.
5. Ali Rahimi and Benjamin Recht (2007). Random features for large-scale kernel machines. Neural Information Processing Systems.