核主成分分析方法（KPCA）怎么理解？
核主成分分析方法（KPCA）
先回顾下主成分分析方法。PCA的最大方差推导的结论是，把数据投影到特征向量的方向后，方差具有极大值的。假如先把数据映射到一个新的特征空间，再做PCA会怎样？对于一些数据，方差会更好地保留下来。而核方法就是提供了一些映射到新的特征空间的选择。
假设这个映射为$\phi(x_{i})$, 数据从新的特征空间投影到向量w的方差，由前一节主成分分析方法可以得到
$D = w^{T}*(\frac{1}{n}\sum X^{T}*X)*w$，其中$X^{T} = [\phi(x_{1}), \phi(x_{2}), … , \phi(x_{n})]$. 这里$X^{T}*X$矩阵是不可知的，更加无法求出它的特征向量。
但是我们知道$X*X^{T}$是一个核矩阵，每个元素可以由核函数计算出来，可以对核矩阵进行特征值分解 $X X^{T} u = \lambda u$, 等式两边乘以 $X^{T}$
得到$X^{T} X (X^{T} u) = \lambda (X^{T} u) $ ，原来两个矩阵的特征值是一样的！
而特征向量$X^{T} u $是不可知的，但是没关系，我们只需要知道从新的特征空间投影回来的坐标就可以了。
先把$X^{T} u $单位化为v，很容易推导出它的长度为$\sqrt{\lambda}$, 那么投影后的坐标为
$v^{T}*\phi(x^{\’}) = \frac{1}{\sqrt{\lambda}} uX\phi(x^{\’})$, 是可以用核函数求出来的,于是用核方法降维后的点就算出来的。
版权声明：本文为learninglife原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。