损失函数总结
1. 前言
在机器学习中，不同的问题对应了不同的损失函数，不同的损失函数也直接会影响到收敛的快慢和结果的好坏，下面就从不同的损失函数的角度进行一下梳理。
2. 0-1损失函数
0-1损失是指，预测值和目标值不相等为1，否则为0
3. log对数损失函数
逻辑回归的损失函数就是对数损失函数，在逻辑回归的推导中，它假设样本服从伯努利分布（0-1）分布，然后求得满足该分布的似然函数，接着用对数求极值。逻辑回归并没有求对数似然函数的最大值，而是把极大化当做一个思想，进而推导它的风险函数为最小化的负的似然函数。从损失函数的角度上，它就成为了log损失函数。
log损失函数的标准形式：
\[L(Y,P(Y|X))=-logP(Y|X)
\]
\]
4. 平方损失函数
最小二乘法是线性回归的一种方法，它将回归的问题转化为了凸优化的问题。最小二乘法的基本原则是：最优拟合曲线应该使得所有点到回归直线的距离和最小。通常用欧几里得距离进行距离的度量。平方损失的损失函数为：
\[L(Y|f(X))=\sum_N(Y-f(X))^2
\]
\]
5. 指数损失函数
AdaBoost就是一指数损失函数为损失函数的。
指数损失函数的标准形式：
\[L(Y|f(X))=exp[-yf(x)]
\]
\]
6. Hinge损失函数（合页损失函数）
Hinge损失函数和SVM是息息相关的。在线性支持向量机中，最优化问题可以等价于
\[min\sum_i^N(1-y_i(w^Tx_i+b))_++λ||w||^2
\]
\]
7. 损失函数比较
版权声明：本文为huangyc原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。