核主成分分析

在多元统计学领域，核主成分分析（kernel PCA）是利用核方法的技术对主成分分析（PCA）的扩展。使用核，PCA最初的线性操作是在再现核Hilbert空间中进行的。

为了理解核对PCA的效用，特别是对于聚类，观察一下，虽然N个点一般不能在d < N {displaystyle d<N}维度上线性分离，但它们几乎总是可以在d≥N {displaystyle dgeq N}维度上线性分离。

很容易构建一个超平面，将这些点分成任意的群组。当然，这个Φ {displaystylePhi }创建了线性独立的向量，所以没有协方差，可以像在线性PCA中那样明确进行eigendecomposition。

相反，在核PCA中，一个非琐碎的、任意的Φ {\Displaystyle \Phi }函数是从未明确计算的，允许使用非常高维的Φ {\Displaystyle \Phi }的可能性。如果我们从来不需要实际评估该空间中的数据，就可以使用非常高维的Φ {displaystylePhi }。由于我们通常会尽量避免在Φ {displaystylePhi }中工作，我们将其称为 "空间"。

这代表了其他难以处理的特征空间的内积空间（见格拉姆矩阵）。在创建内核时出现的对偶形式使我们能够在数学上制定一个PCA的版本，其中我们从未实际解决Φ ( x ) {displaystylePhi ( mathbf {x} )}空间中协方差矩阵的特征向量和特征值（见内核技巧）。K的每一列中的N个元素代表了转换后的数据的一个点相对于所有转换后的点（N个点）的点积。一些著名的核在下面的例子中显示。

由于我们从来没有直接在特征空间中工作，PCA的核式计算受到了限制，因为它计算的不是主成分本身，而是数据在这些成分上的投影。为了评估从特征空间的一个点Φ ( x ) { displaystyle Phi (mathbf {x} )}到第k个主成分V k { displaystyle V{k}}的投影。

我们注意到，Φ ( x i ) T Φ ( x ) {displaystylePhi (mathbf {x_{i}} ){T}Phi (mathbf {x} )}表示点积，这只是内核K的元素 {displaystyle K} 。似乎剩下的就是计算和归一化a i k {a_{i}} {displaystyle mathbf {x}}。{k}}，这可以通过解决特征向量方程来完成

其中N是集合中的数据点的数量，λ {displaystyle lambda }和a {displaystyle mathbf {a}是特征值。}是K {displaystyle K}的特征值和特征向量。然后，为了使特征向量a k { {displaystyle mathbf {a} {k}}归一化，我们要求将特征向量a k { {displaystyle mathbf {a} {k}}归一化。

必须注意的是，无论x {displaystyle x}在其原始空间中是否具有零均值，它都不能保证在特征空间中居中（我们从未明确计算过）。由于居中的数据是进行有效的主成分分析所必需的。