机器学习-回归中的相关度和R平方值
1. 皮尔逊相关系数(Pearson Correlation Coefficient)
1.1 衡量两个值线性相关强度的量
1.2 取值范围[-1, 1]
正相关：>0, 负相关：<0, 无相关：=0
1.3 要理解Pearson相关系数，首先要理解协方差（Covariance），协方差是一个反映两个随机变量相关程度的指标，如果一个变量跟随着另一个变量同时变大或者变小，那么这两个变量的协方差就是正值，反之相反，公式如下：
方差：
Pearson相关系数公式如下：
注意：有了协方差，为什么还使用皮尔逊相关系数？虽然协方差能反映两个随机变量的相关程度（协方差大于0的时候表示两者正相关，小于0的时候表示两者负相关），但是协方差值的大小并不能很好地度量两个随机变量的关联程度，例如，现在二维空间中分布着一些数据，我们想知道数据点坐标X轴和Y轴的相关程度，如果X与Y的相关程度较小但是数据分布的比较离散，这样会导致求出的协方差值较大，用这个值来度量相关程度是不合理的。
为了更好的度量两个随机变量的相关程度，引入了Pearson相关系数，其在协方差的基础上除以了两个随机变量的标准.
2. 计算方法举例：
x y
1 10
3 12
8 24
7 21
9 34
在Excel中计算：
3. 其他例子
4. R平方值
4.1 定义：决定系数，反应因变量的全部变异能通过回归关系被自变量解释的比例。
也就是说，对于已经建模的模型，多大程度上可以解释数据
4.2 描述：如R平方为0.8，则表示回归关系可以解释因变量80%的变异。换句话说，如果我们控制自变量不变，则因变量的变异程度会减少80%。
4.3 简单线性回归：R^2 = r * r (r为皮尔逊相关系数)
多元线性回归：
R平方也有局限性：R平方随着自变量的增加会变大，R平方和样本量是有关系的。因此，我们要对R平方进行修正。修正方法：
实际中一般会选择修正后的R平方值对线性回归模型对拟合度进行评判
Python实现：
# -*- coding:utf-8 -*-
import numpy as np
from astropy.units import Ybarn
import math
#相关度
def computeCorrelation(X, Y):
xBar = np.mean(X)
yBar = np.mean(Y)
SSR = 0
varX = 0
varY = 0
for i in range(0, len(X)):
diffXXbar = X[i] - xBar
diffYYbar = Y[i] - yBar
SSR += (diffXXbar * diffYYbar)
varX += diffXXbar**2
varY += diffYYbar**2
SST = math.sqrt(varX * varY)
return SSR / SST
#测试
testX = [1, 3, 8, 7, 9]
testY = [10, 12, 24, 21, 34]
# print("相关度r:", computeCorrelation(testX, testY))
#相关度r: 0.940310076545
#R平方
#简单线性回归：
# print("r^2:", str(computeCorrelation(testX, testY)**2))
#r^2: 0.884183040052
#多个x自变量时：
def polyfit(x, y, degree): #degree自变量x次数
result = {}
coeffs = np.polyfit(x, y, degree)
result[\'polynomial\'] = coeffs.tolist()
p = np.poly1d(coeffs)
yhat = p(x)
ybar = np.sum(y)/len(y)
ssreg = np.sum((yhat - ybar)**2)
sstot = np.sum((y - ybar)**2)
result[\'determination\'] = ssreg / sstot
return result
#测试
print(polyfit(testX, testY, 1)["determination"])
#r^2:0.884183040052