机器学习-特征值,svd分解
求矩阵的秩
设 ，已知r(A)=2，则参数x，y分别是
解：任意三阶子式=0，有二阶子式≠0，但是这些子式比较多，可以使用初等变换，因为初等变换不改变矩阵的秩，可以将矩阵通过初等行（列）变换，化为行阶梯矩阵，有几行不等于0，秩就是几。
行列式的转换
- Am×nx=0只有零解 <=> r(A)=n
- 特别地，A是n×n时，则Am×nx=0只有零解 <=> |A|≠0
- Am×nx=0有非零解 <=> r(A)<n
- 特别地，A是n×n时，则Am×nx=0有非零解 <=> |A|=0
- 若m<n（方程少未知数多），则Am×nx=0有非零解
- 若Am×nx=0有非零解 ，则其线性无关的解有n-r(A)个
- 若ξ1，ξ2，…，ξt 都是Ax=0的解，则k1ξ1+k2ξ2+…+ktξt仍是Ax=0的解
- Ax=0的基础解系（能够用它的线性组合表示出该方程组的任意一组解）
- ①ξ1，ξ2，…，ξt 是Ax=0的解；
- ②ξ1，ξ2，…，ξt 线性无关；
- ③ξ1，ξ2，…，ξt 可以表示Ax=0的任一解。或者证明出①②后，再证出t=n-r(A)
- 则称ξ1，ξ2，…，ξt 是Ax=0的基础解系
特征值和特征向量的求法：
特征值和特征向量的定义如下：
其中A是一个n×n的矩阵，x 是一个n维向量，则我们说λ是矩阵A的一个特征值，而 x 是矩阵A的特征值λ所对应的特征向量。
如果我们求出了矩阵A的n个特征值λ1≤λ2≤…≤λn,以及这n个特征值所对应的特征向量{w1,w2,…wn}，如果这n个特征向量线性无关，那么矩阵A就可以用下式的特征分解表示：
其中W是这n个特征向量所张成的n×n维矩阵，并对n个特征向量标准化，而Σ为这n个特征值为主对角线的n×n维矩阵。若A为实对称矩阵，另有
同时W的n个特征向量为标准正交基，注意到要进行特征分解，矩阵A必须为方阵。
类似于这样的分解：
奇异值分解
奇异值分解是一种矩阵因子分解方法，是线性代数概念，但在统计学习中被广泛使用，成为其重要工具。
应用：主成分分析、潜在语义分析
任意一个m×n的，都可以表示为三个矩阵的乘积（因子分解）形式，分别是m阶正交矩阵、由降序排列的非负对角线元素组成的m×n矩形对角矩阵和n阶正交矩阵，称为该矩阵的奇异值分解。
矩阵的奇异值分解一定存在，但不唯一。奇异值分解可以看做矩阵数据压缩的一种方法。
矩阵的奇异值分解是指，将一个非零的m×n实矩阵A，A∈Rm×n，表示为以下三个实矩阵乘积形式的运算，即进行矩阵的因子分解：
其中U是m阶正交矩阵，V是n阶正交矩阵，Σ是由降序排列的非负的对角元素组成的m×n矩形对角矩阵，满足：
UΣVT 称为矩阵A的奇异值分解，σi 称为矩阵A的奇异值，U的列向量称为左奇异向量，V的列向量称为右奇异向量。
注意奇异值分解不要求矩阵A是方阵
奇异值分解实例
给定一个5×4的矩阵
它的奇异值分解由三个矩阵的乘积UΣVT 给出，矩阵U，Σ，VT 分别为
矩阵Σ是对角矩阵，对角线外的元素都是0，对角线上的元素非负，按降序排列。矩阵U和矩阵V是正交矩阵，它们与各自的转置矩阵相乘是单位矩阵，即
矩阵的奇异值分解不是唯一的。在此例中如果选择U为
而Σ和V不变，那么UΣVT 也是A的一个奇异值分解
SVD也是对矩阵进行分解，但是和特征分解不同，SVD并不要求要分解的矩阵为方阵。假设我们的矩阵A是一个m×n的矩阵，那么我们定义矩阵A的SVD为：
其中U是一个m×m的矩阵，Σ是一个m×n的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，V是一个n×n的矩阵。下图可以很形象的看出上面SVD的定义：
下面是使用特征值分解实现的PCA算法：
# 将数据转换到上述K个特征向量构建的新空间中 import numpy as np def PCA(X, k): m_samples, n_features = X.shape # 减去平均数 mean = np.array([np.mean(X[:, i]) for i in range(n_features)]) normX = X - mean # 计算协方差矩阵 scatter_matrix = np.dot(np.transpose(normX), normX) # 计算协方差矩阵的特征值和特征向量 eig_val, eig_vec = np.linalg.eig(scatter_matrix) # 将特征值和特征向量组成一个元组 eig_pairs = [(np.abs(eig_val[i]), eig_vec[:, i]) for i in range(n_features)] # 将特征值和特征向量从大到小排序 # 默认为升序,reverse = True降序 eig_pairs.sort(reverse=True) # #保留最大的K个特征向量 ft = [] for i in range(k): ft.append(list(eig_pairs[i][1])) data = np.dot(normX, np.array(ft).T) return data from sklearn.datasets import load_iris iris = load_iris() features = iris.data labels = iris.target features = PCA(features,k=2) import matplotlib.pyplot as plt plt.scatter(features[:,0],features[:,1],c=labels,cmap=plt.cm.RdYlBu) plt.show()
通过SVD实现PCA分解：
import numpy as np
# 实现PCA对鸢尾花数据进行降维
def PCA(data, k=2):
data = data - np.mean(data)
cov = np.cov(data.T)
u, s, v = np.linalg.svd(cov)
u_reduce = u[:, :k] # 取前k个特征向量
v_reduce = v[:k,:]
# 这两种算法都可以对数据进行降维
Z = np.dot(data,u_reduce)
ZZ = np.dot(data,v_reduce.T)
return Z
from sklearn.datasets import load_iris
iris = load_iris()
features = iris.data
labels = iris.target
print(features.shape)
features = PCA(features,k=2)
print(features.shape)
import matplotlib.pyplot as plt
plt.scatter(features[:,0],features[:,1],c=labels,cmap=plt.cm.RdYlBu)
plt.show()