梯度下降更新算法
梯度更新是要同时更新，如下图所示：θ0和θ1同时更新，而不是更新完一个后再更新另一个。
学习率α过小，梯度下降较慢，训练时间增长。若学习率α过大，梯度下降会越过最低点，难以得到最优的结果，导致难以收敛或发散。
如果参数值已是局部最优，进行梯度下降计算时导数是0，梯度下降不会作任何操作，参数不改变
在梯度下过程中无需修改学习率，因为在接近局部最有点时导数项会变小，梯度下降的步幅也会随之比变小。
梯度下降中batch:指计算一次梯度下降就使用全部的训练集数据
mini batch :指计算一次梯度下降时使用了一小部分训练集数据
多元特征的梯度下降时，进行特征缩放，可将梯度下降的速度提高，通常将特征的取值缩放至大约-1到1之间
使用小的学习率，一般0.001，0.003，0.01，0.03，0.1，0.3，1等
版权声明：本文为abella原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。