最近太忙,又有一段时间没写东西了。

pca是机器学习中一个重要的降维技术,是特征提取的代表。关于pca的实现原理,在此不做过多赘述,相关参考书和各大神牛的博客都已经有各种各样的详细介绍。 如需学习相关数学理论,请移驾。T_T

简单说一下pca的实现,首先对于一个矩阵X,我们计算X·XT,显然这个一个半正定矩阵,可以做特征值分解,然后取出k个最大的特征值及其对应的特征向量就可以表达整个原矩阵。若X·XT=p-1Λp,因为p是单位矩阵,所以p-1=pT,即X·XT=p-1·Λ1/2·(p-1·Λ1/2)T,也就是降维的X后用来p-1·Λ1/2表示。

其实从SVD的角度来理解也是一样的,若X=UΣVT,则X·XT=UΣ2UT,同样我们用来UΣ来表示原X。

当我看sklearn的文档时,文档并没有具体解释它的方法得到的结果在数学上的表示什么,钻研了半天,看了源码后才知道。

sklearn的方法是通过SVD来实现的。这里着重介绍sklearn的pca类中的一个属性(components_)和两个方法(fit,transform)。

首先,给定一个矩阵,设置参数后,通过调用fit方法得到降维模型,也就是一个基矩阵。我们看一下fit中的部分关键代码。

 

  1. ...
  2. self.mean_ = np.mean(X, axis=0)
  3. X -= self.mean_
  4. U, S, V = linalg.svd(X, full_matrices=False)
  5. U, V = svd_flip(U, V)
  6. components_ = V
  7. ...
  8. self.components_ = components_[:n_components]
  9. ...

 

首先做的工作就是对数据进行按列中心化,然后做svd分解,然后把V的前k个向量保存为模型,模型的关键内容就是components_。(看似几百行代码,T_T)

接下来看看transfrom的部分关键源码。

 

  1. ...
  2. X = np.dot(X, self.components_.T)
  3. return X

 

我只贴这两句,T_T,因为真的只有这两句特别重要。也就是说我们要把一个新矩阵用到训练好的pca模型中时,其实只是做了一次矩阵乘法而已。

 

怎么来理解作者的做法呢?

其实就是我们上面的提到的,用svd方式来实现pca时,我们实际上用UΣ来表示降维后的数据。综合svd公式,可以看成XV=UΣ,也就是把原矩阵与V做乘法,实际上这里理解为投影,把X投影到V的单位正交基所表示的子空间中去得到X的低维表示。对于一个新的矩阵Y,同样用YV来表示其在V子空间降维后的结果,这也就是为什么transform方法为什么最关键的步骤只有一步乘法了。回过头看,fit训练模型就是要得到V,然后在transform降维时只需要一步乘法就可以了。

我们用下面的代码做个小实验。

 

  1. import numpy as np
  2. from sklearn.decomposition import PCA
  3. from sklearn import preprocessing
  4. from sklearn.utils.extmath import svd_flip
  5. svd = np.linalg.svd
  6. A = np.random.randint(0,5, (5,3))
  7. print(\'A=\')
  8. print(A)
  9. pca = PCA(n_components=2, svd_solver=\'full\')
  10. # print(A)
  11. model = pca.fit(A)
  12. print(\'model.components_=\')
  13. print(model.components_)
  14. X = model.transform(A)
  15. print(\'pca(A)=\')
  16. print(X)
  17. A = A - np.mean(A, axis=0)
  18. u,s,v = svd(A, full_matrices=False)
  19. print(\'V=\')
  20. print(v[:2])
  21. print(\'pva_by_svd=\')
  22. print(np.dot(A, v[:2].T))

 

运行得到的结果如下

  1. A=
  2. [[3 1 4]
  3. [4 1 1]
  4. [1 2 0]
  5. [1 4 2]
  6. [1 3 2]]
  7. model.components_=
  8. [[ 0.70734192 -0.61231721 0.35317848]
  9. [ 0.19273774 -0.31363722 -0.92977624]]
  10. pca(A)=
  11. [[ 2.21911523 -1.47640531]
  12. [ 1.86692171 1.50566115]
  13. [-1.22059974 1.54358693]
  14. [-1.73887721 -0.94323999]
  15. [-1.12656 -0.62960277]]
  16. V=
  17. [[-0.70734192 0.61231721 -0.35317848]
  18. [ 0.19273774 -0.31363722 -0.92977624]]
  19. pva_by_svd=
  20. [[-2.21911523 -1.47640531]
  21. [-1.86692171 1.50566115]
  22. [ 1.22059974 1.54358693]
  23. [ 1.73887721 -0.94323999]
  24. [ 1.12656 -0.62960277]]

咦,结果跟之前的分析有点小小的差别,通过svd和sklearn的结果对比,V的第一行和降维结果的第一列正负相反了。

多运行几次,这个现象并不一定出现。其实是通过上面svd_flip函数来实现的。

sklearn对奇异分解结果进行了一个处理,因为uii*vi=(-ui)*σi*(-vi),也就是u和v同时取反得到的结果是一样的,而这会导致通过pca降维得到不一样的结果(虽然都是正确的)。为了追求唯一的表示,首先定位ui向量中绝对值最大的元素位置,如果它为负数,则ui和vi取反,否则不变。这部分的源码在这里

版权声明:本文为lochan原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/lochan/p/7001907.html