激活函数，损失函数，优化器
1. 激活函数
1.1. 为什么需要激活函数（激励函数）
在神经网络中，对于图像，我们主要采用了卷积的方式来处理，也就是对每个像素点赋予一个权值，这个操作显然就是线性的。但是对于我们的样本来说，不一定是线性可分的，为了解决这个问题，我们可以进行线性变化，或者我们引入非线性因素，解决线性模型所不能解决的问题。
这就是为什么要有激活函数：激活函数是用来加入非线性因素的，因为线性模型的表达力不够。
所以激活函数，并不是去激活什么，而是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来（保留特征，去除一些数据中是的冗余），这是神经网络能解决非线性问题关键。
1.1.1. ReLU
简称为“抹零”
版权声明：本文为brt2原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。