方向导数梯度
为什么函数在某点处的方向导数有且只有一个最大值
方向导数就是函数在某个方向的导数，也就是函数在某个方向函数值变化快慢的表现，具体看知乎这里
https://www.zhihu.com/search?type=content&q=%E6%96%B9%E5%90%91%E5%AF%BC%E6%95%B0
https://www.zhihu.com/question/26966355/answer/154857139
用xy平面上的一个矢量来表示方向，函数 f(x,y) 在这个方向上的图像，为整个函数向 xoy 平面的投影，是一段有向线段，
一元函数中，A 点的导数是 A 点切线斜率 （如 f=x^2），一元函数中，导数就是函数的变化率
二元函数 f(x, y) 上的 A 点在这个方向上也是有切线的，切线的斜率就是方向导数（A 点在这个方向上的切线，是从投影点向上做垂线）
一个曲面上的 A 点，在曲面上可以做无数条过 A 点的曲线
很显然， A 点不止一个方向，而是 360°都有方向，每个方向都是有方向导数的
梯度是方向导数最大的方向，及函数下降最快的方向。。。。。
梯度下降算法 theta = theta – lr * 损失函数的梯度
指数加权移动平均数 exponentially weighted moving averages
版权声明：本文为DoctorZhao原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。