代价函数与目标函数

 

一。引入

　　在机器学习过程中，在ppt上看到一句话，大部分的分类，回归，聚类算法，不过就是迭代，选择参数，优化目标函数。所以把代价函数整理一下。

损失函数：单个样本的误差

代价函数：损失函数的平均（让代价函数最小）

目标函数：需要优化的函数，等于经验风险+结构化风险（正则化项）

最小化代价函数是为了优化目标函数服务的。

　二 代价函数

　线性回归：用得比较多的是均方误差。

　　逻辑回归：交叉熵

　　原理解释：对于线性回归问题，均方误差就是衡量拟合误差的很好理解，但是逻辑回归问题需要解释一下。

　　其中

　　代价函数是为了衡量h(x)拟合y的好坏，所以当h(x)很好地拟合了y的时候，损失函数值要比较小，当拟合得很差时，损失函数就很大。这样其均值，即代价函数才能很好地表示模型拟合的好坏。

　　当y=1的时候，Cost(h(x), y) = -log(h(x))。h(x)的值趋近于1的时候，代价函数的值越小趋近于0，也就是说预测的值h(x)和训练集结果y=1越接近，预测错误的代价越来越接近于0，分类结果为1的概率为1。当h(x)的值趋近于0的时候，代价函数的值无穷大，也就说预测的值h(x)和训练集结果y=1越相反，预测错误的代价越来越趋于无穷大，分类结果为1的概率为0

 参考：https://blog.csdn.net/lyl771857509/article/details/79428475

 补充：https://www.cnblogs.com/lliuye/p/9549881.html

版权声明：本文为yttas原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/yttas/p/10044441.html