本文旨在通过介绍线性回归来引出一些基本概念：h(x)，J(θ)，梯度下降法

 

有一组数据：

x=[1,2,3,4,5,6,7,8,9,10]

y=[1,2,3,4,5,6,7,8,9,10]

要求画一条过原点的直线，穿过上述所有点

 

这组数据在二维平面表现如下

引入概念，假设函数：h(x)。h代表hypothesis

由于是过原点的直线，所以可以列出方程h(x)：

先随意假设一个 \theta_{1} ，在这先假设 \theta_{1}=0.5 ，函数图如下

显而易见这条直线并不是我们想要的。那么具体的，怎么判断一条直线的好坏呢

引入概念代价函数 cost function

在本例中，可以由拟合数据和原始数据对应点的误差的平方的均值来判断直线的好坏；列出J(θ)如下：

其中m表示数据的总量，在本题中为10； x^{(i)} 并不是代表x的i次方，而是代表第i个x的数值，例如在本例中， x^{(2)} 为2

将h(x)带入，得

函数图是这样一个形状，数值对不上，凑合着看吧；有一点值得注意，在J(θ)中， x^{(i)} 与 y^{(i)} 都应该作为常量来处理

显然，J(θ)值越小，点到直线的距离总和越少，画出来的直线效果也就越好。放到题目中就是当J(θ)=0的时候，画出的直线穿过了所有的点

 

那么问题就变成了如何最小化J(θ)

在这个例子中可以手动计算，也就是正规方程法，但是随着问题复杂度的增加，正规方程法的实用性会越来越低

引入梯度下降法

其中α为步幅

梯度下降法可以解释为：对J(θ)求关于 \theta_{j} （本例中只有 \theta_{1} ）的偏导数并乘以步幅，再用 \theta_{j} 减去该值，得到的结果赋值给 \theta_{j} 。此过程需要重复多次

 

步幅的选择会直接关系到梯度下降法的效果，如下图

当选取了一个较小步幅的时候，将正确收敛

当选取了一个较大步幅的时候，将震荡收敛

当选取了一个过大步幅的时候，将无法收敛

 

 

 

调整一下例子

x=[5,6,7,8,9,10,11,12,13,14]

y=[1,2,3,4,5,6,7,8,9,10]

要求画一条直线，穿过上述所有点

 

很明显，对于这组数据，仅仅是过原点的直线无法满足要求，所以列出新的h(x)：

而判断一条直线的好坏还可以沿用之前的J(θ)：

函数图是这样一个形状，数值对不上，凑合着看吧

之后就是如何最小化J(θ)的问题了。下面给出tensorflow的代码实现

  1. import tensorflow as tf
  2. import numpy as np
  3. import matplotlib.pyplot as plt
  5. # Parameters
  6. learning_rate = 0.05
  7. training_epochs = 2000
  8. display_step = 50
  9. # Training Data
  10. train_X = np.asarray([5.0, 6.0, 7.0, 8.0, 9.0, 10.0, 11.0, 12.0, 13.0, 14.0])
  11. train_Y = train_X - 4
  12. paint_X = np.asarray([-100.0, 100.0])
  14. n_samples = train_X.shape[0]
  15. # tf Graph Input
  16. X = tf.placeholder("float")
  17. Y = tf.placeholder("float")
  19. # Set model weights
  20. W = tf.Variable(-10., name="weight")
  21. b = tf.Variable(10., name="bias")
  22. # Construct a linear model
  23. pred = tf.add(tf.multiply(X, W), b)
  24. # Mean squared error
  25. cost = tf.reduce_sum(tf.pow(pred - Y, 2)) / (2 * n_samples)
  26. # Gradient descent
  27. optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)
  28. # Initializing the variables
  29. init = tf.global_variables_initializer()
  30. # Launch the graph
  32. plt.figure()
  33. plt.ion()
  35. with tf.Session() as sess:
  36.     sess.run(init)
  38.     # Fit all training data
  39.     for epoch in range(training_epochs):
  40.         for (x, y) in zip(train_X, train_Y):
  41.             sess.run(optimizer, feed_dict={X: x, Y: y})
  43.         # Display logs per epoch step
  44.         if (epoch + 1) % display_step == 0:
  45.             c = sess.run(cost, feed_dict={X: train_X, Y: train_Y})
  46.             print("Epoch:", '%04d' % (epoch + 1), "cost=", "{:.9f}".format(c),
  47.                   "W=", sess.run(W), "b=", sess.run(b))
  49.             plt.axis([0.0, np.max(train_X) + 1, 0.0, np.max(train_Y) + 1])
  50.             plt.plot(train_X, train_Y, 'ro', label='Original data')
  51.             plt.plot(paint_X, sess.run(W) * paint_X + sess.run(b), label='Fitted line')
  52.             plt.pause(0.001)
  53.             plt.clf()
  55.     print("Optimization Finished!")
  56.     training_cost = sess.run(cost, feed_dict={X: train_X, Y: train_Y})
  57.     print("Training cost=", training_cost, "W=", sess.run(W), "b=", sess.run(b), '\n')
  59.     plt.axis([0.0, np.max(train_X) + 1, 0.0, np.max(train_Y) + 1])
  60.     plt.plot(train_X, train_Y, 'ro', label='Original data')
  61.     plt.plot(paint_X, sess.run(W) * paint_X + sess.run(b), label='Fitted line')
  62.     plt.pause(10)

 

本文在我的知乎同步发布：https://zhuanlan.zhihu.com/p/30738405

版权声明：本文为CrazyJinn原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：http://www.cnblogs.com/CrazyJinn/p/7889255.html