线性回归(Linear Regression)，亦称为直线回归，即用直线表示的回归，与曲线回归相对。若因变量Y对自变量X₁、X₂…、Xm的回归方程是线性方程，即μ_y＝β₀ +β₁X₁ +β₂X₂ +…β_mX_m，其中β₀是常数项，β_i是自变量X_i的回归系数，M为任何自然数。这时就称Y对X₁、X₂、…、X_m的回归为线性回归。

简单回归：

只有一个自变量的线性回归称为简单回归，如下面示例：

X表示某商品的数量，Y表示这些不同数量商品的总价格

x=[0, 1, 2, 3, 4, 5]

y=[0, 17, 45, 55, 85, 99]

二维坐标中绘图如下图:

现在当商品数量 X = 6时，估计商品总价是多少？

我们可以很明显的看到，商品总价随商品的数量上升而上升，这是一个典型的线性回归。

因为只有一个自变量X，我们假设线性回归模型： Y = a * X + b

我们需要求出最合适的a，b值，使得直线：Y = a * X + b 与上图的趋势相拟合，这时候才能去预测不同商品数量X下的总价Y。

最小二乘法：

 为了求出最合适的a b ，我们引入最小二乘法。

最小二乘法，亦称最小二乘法估计。由样本观测值估计总体参数的一种常用方法。它用于从n对观测数据(x₁，y₁)，(x₂，y₂)，……，(xn，yn)确定x与y之间对应关系y=f(x)的一种最佳估计，使得观测值与估计值之差(即偏差)的平方和 H为最小。

最小二乘法能尽量消除偶然误差的影响，从而由一组观测数据求出最可靠、最可能出现的结果。

由上图我们可以很明显的看出直线Y = a * X + b过原点，即 b = 0

我们尝试不同的a值 得到的结果如下：  

a = 19 时 H = 154

a = 20 时 H = 85

a = 21 时 H = 126

 图像分别如下：

 我们可以粗略得出结论 a = 20，b = 0 时，线性模型 Y = 20 * X 与样本数据拟合的比较好。

所以当商品数量 X = 6 时，我们可以粗略估计总价Y = 20 * 6 = 120

多元回归：

大于一个自变量的线性回归叫做多元回归。

上面的例子只是一个自变量，处理起来比较简单，但是若自变量有很多，假设自变量有m个，为 [ x₁,x₂,x₃,x_4…..x_{m ]}

这时候我们假设的回归系数（即权重）也需要有m个，即我们假设的线性模型是 Y =  X₀ +  X₁*W_{1 +} X₂*W_{2 +} X₃*W₃ + ……. + X_m*W_m 

为了计算方便，我们去W₀ = 1

这样：Y =  X₀*W₀ +  X₁*W_{1 +} X₂*W_{2 +} X₃*W₃ + ……. + X_m*W_m

写成向量形式：

W = [W₀,W_{1 ,} W_{2 ,}W_{3 ,} …. ,W_m]   

X = [ X_0, X₁ , X₂ , X₃  , …. , X_m]

Y = W^T * X （W^T为向量W的转置）

观测值与估计值之差(即偏差)的平方和：

为了方便后面计算，我们在H的左边乘上二分之一，即：

上面公式中 n 表示训练样本的数目，m 表示每条训练样本 的特征(自变量)个数，上标表示属于第 j 个 样本，下标表示第 i 个特征(自变量值)，表示第 j 个样本总价观测值

现在H是关于W0,W1,W2….Wm的函数，我们需要通过合适的方法求出最适合的W值，才能得出一个比较好的线性回归方程。与简单回归相比，这里我们很难通过观察与尝试不同的w值来求解，我们需要采用最优化算法。

梯度算法：

常见的最优化算法有梯度下降法（Gradient Descent）、牛顿法和拟牛顿法（Newton\’s method & Quasi-Newton Methods）、共轭梯度法（Conjugate Gradient）、 启发式优化方法等，本文详细介绍梯度算法。

明确下我们现在的目标：我们需要通过梯度算法求出—当在H取得最小的情况下，W₀ ,W_{1 ,}W_{2 ,}W_{3 ,} ……. ,W_m的值，从而写出回归方程。

梯度算法分为梯度上升算法 和 梯度下降算法。梯度下降算法的基本思想是：要找到某函数的最小值，最好的方法是沿着该函数的梯度方向探寻，梯度上升则相反。对于一个有两个未知数x,y的函数f(x,y)，梯度表示为：

对于Z = f(x,y)，使用梯度下降算法的意味着 沿X轴方向移动，沿Y的方向移动，函数f(x,y)必须要在待计算的点上有定义并且可微。

可以通俗理解为：

用梯度下降法找出最小H

我们前面看到：

H是关于W = [W₀ ,W_{1 ,}W_{2 ,}W_{3 ,} ……. ,W_m]的函数，H的梯度如下：

这个时候对于每一个Wi的梯度：

 我们假设每次沿着梯度方向更新的步长为 α，所以W的值更新公式可写为：

 所以梯度下降算法的伪代码如下：

每个回归系数(即每个W值)的每个值都为1

重复R次：

　　计算整个数据集的梯度

     使用 更新回归系数W

实例：

 用梯度下降 算法求下面商品数据的线性回归方程

我们假设线性回归模型为总价Y = a + b * X₁ + c * X₂ （X1 X2 分别表示商品1，2的数量）

我们需要求出回归系数W = [ a, b, c]

梯度下降算法如下：

 1 import numpy as np
 2 
 3 def grad_desc(train_data, train_labels):
 4     """梯度下降"""
 5     data_mat = np.matrix(train_data)
 6     label_mat = np.matrix(train_labels).transpose()
 7     n = np.shape(data_mat)[1]
 8     # 步长
 9     alpha = 0.001
10     # 最大循环次数
11     max_cycles = 100
12     # 初始化回归系数weights
13     weights = np.ones((n, 1))
14     for index in range(max_cycles):
15         h = data_mat * weights-label_mat
16         weights = weights - alpha * data_mat.transpose() * h
17         # 返回压平的系数数组
18     return np.asarray(weights).flatten()

我们用上面算法得到的回归系数为

[ 1.7218815 4.24881047 5.28838946]

 

随机梯度算法：

 

上述梯度算法中，循环R = 100次，每一次更新回归系数都需要遍历整个数据集，如果数据样本很大，那么计算时间复杂度将会非常高。

所以一般每次使用一个样本点来更新回归系数，称为随机梯度算法。

随机梯度下降算法伪代码如下：

所有回归系数初始化为1

　　重复R次：

　　　　循环每一个样本：

　　　　　　计算该样本的梯度

     　　　　使用 更新回归系数W

 修改后的算法如下：

 1 import numpy as np
 2 
 3 def advanced_random_grad_desc(train_data, train_labels):
 4     """随机梯度下降改进"""
 5     data_mat = np.asarray(train_data)
 6     label_mat = np.asarray(train_labels)
 7     m, n = np.shape(data_mat)
 8     # 步长
 9     alpha = 0.001
10     # 初始化回归系数weights
11     weights = np.ones(n)
12     max_cycles = 500
13     for j in range(max_cycles):
14         data_index = list(range(m))
15         for i in range(m):
16             random_index = int(np.random.uniform(0, len(data_index)))
17             h = sum(data_mat[random_index] * weights)-label_mat[random_index]
18             weights = weights - alpha * h * data_mat[random_index]
19             del data_index[random_index]
20     return weights

计算得到的回归系数为：

 我们可以得到线性回归方程为：

Y = 1.27 + 4.31 * X₁ + 5.28 * X₂

写在后面的话：

本文的完整代码已上传：https://gitee.com/beiyan/machine_learning/tree/master/gradient

 随机梯度下降(上升)算法使用非常广泛，效果也非常好，后续文章将使用梯度算法来解决一些问题。不例外，梯度算法也是有缺点的，如靠近极小值时收敛速度减慢、直线搜索时可能会产生一些问题、可能会“之字形”地下降等，另外下降或上升步长的选择也会影响最后得到的回归系数，我们可以通过改变一些参数来测试回归的效果。