简要介绍线性回归的代价函数

1.代价函数

  • 如上图，给出训练数据集T，我们设m代表训练样本的数量，假设函数为hθ(x)，是一个线性函数。
  • 其中，θi（如θ0和θ1）为模型参数，不同的参数会刻画完全不同的函数，需要讨论参数选择问题。


  • 如上图，好的参数应当使得假设函数很好地拟合训练数据，即对于每个输入的训练数据(x,y)，函数的输出h(x)很接近y的值，两者之间的差应当最小化。
  • 由此推导出线性回归整体目标函数（平方误差函数）:

　　　　其中(x(i),y(i))代表第i个训练样本

　　

　　

  • 设J(θ0,θ1)为我们的代价函数，则J(θ0,θ1)表示为

　　　　　　

  • 将平方误差函数作为代价函数对于大多数线性问题（尤其是回归问题）都是一个比较合理的选择。

 

 

版权声明：本文为AmazingCodeLee原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/AmazingCodeLee/p/9678212.html