梯度上升法和梯度下降法中的梯度是什么

匿名 2021-08-21 原文

在一元一次函数中，函数的斜率可以代表函数在y方向上的变化率，如下图，函数的斜率为0.5，当变化1，那么变化0.5.

换一种方式来想，当前这条线和x轴的夹角为β，斜率其实是 $tan\beta$ ， $tan\beta$ 其实可以理解为当发生变化时变化的方向 便是乘以一个角度 β 的 tan 值。

另外，斜率其实就是我们对函数 y=0.5x-1 中的求导。

基于以上，我们假设系数向量 W = [w_1,w_2,w_3...w_n] ，最终**函数的输入 z = w_1x_1+ w_2x_2+...+w_nx_n ，我们要采取最优化方法来对系数进行确定。每次变化系数，都要选择系数变化最快的方向。

函数 f(W) 的梯度为 $\bigtriangledown f(W) = [ \frac{\partial f(W)}{\partial w_1}, \frac{\partial f(W)}{\partial w_2}, \frac{\partial f(W)}{\partial w_3}, ..., \frac{\partial f(W)}{\partial w_n} ]$ ，其中的每一个部分都是函数 f(W) 对 w_i 求偏导。

为方便起见，我们暂且用 f(x,y) 来举例，假设 z=f(x,y) 所形成的平面如下图

图片来自网络 — 此图来自https://blog.csdn.net/myarrow/article/details/51332421

我们对 x 求偏导，事实上就是想知道 x 的变化对 z 的影响，假设此时 x = x_0 ， y = y_0 ，那么 T_x ，就是 y = y_0 时的平面，而 T_x 会与 z 平面相交出一条曲线，此时这条曲线在 (x_0,y_0,z_0) 处的切线的斜率也就是这条线与 x轴正方向所成的夹角 β 的 $tan\beta$ 值，代表当 x 变化时 z 的变化率，也像开始说的 x 变化的方向。