斯坦福大学机器学习公开课
寒假玩了大半了，把各种游戏给卸载了，正儿八经的学习啦。。。
一直想把这个公开课看完，上学的时候吧不想看，放假了也不想看，胡乱写写，作为一个渣渣，把不明白给记下来。
这个公开课的第一课，主要是介绍了机器学习概念应用什么的，好像主要是概念吧，之前看的记不太清了。
第二课 监督学习应用 梯度下降
可以看这个链接有详细的笔记http://blog.sina.com.cn/s/blog_8e6f1b330101eu3b.html
表示这一课的很多高数的知识，我就有点不懂了，高数忘了很多。
这个公式的最后一项，完全不懂这是干嘛，难道就是个定义吗？视频后面也没用到，就这样吧。
关于那个下山的问题，我一下就联想到模拟退火了，貌似没啥关系。
偏导什么的，我都忘了，视频里老师在黑板上写得很棒。
老师是通过先用一组数据的时候更新式子，写出m组数据里的情况，具体怎么算的，我有点迷糊。θ其实是一个向量，n个特征就应该算n次，j应该1-n，这个式子的最后一项是表示第i个数据的第j个特征的值，意义应该是这样。表示反复看了好几遍，好像有点明白。
批梯度下降算法和随机梯度下降算法感觉就像是变换了一下姿势，把循环顺序改变了，就类似dfs中搜索顺序吧，有的搜索方式更容易搜到最优解。
最后二十分钟的用线代的推导，矩阵求导，矩阵的迹，没记得学过呢，这个推导就是对最小二乘法的证明，最小二乘法直接可以算出回归直线方程，看到一个人笔记说：此方法要求 X 是列满秩的，而且求矩阵的逆比较慢。
第三课 欠拟合与过拟合的概念
局部加权回归算法是构造出一个w函数，判断是否和想计算的x是否相近。
视频中的用到w函数，是类似高斯函数的一个函数，高斯分布就是正态分布啊，利用趋近0和1判断。
我觉得这个算法结果应该更符合实际。
然后是一系列的假设和证明，没怎么看懂。
后边提到拟然性，这是和概率有点类似的东西，我维基了一下。为了使得函数预测的更准，用最大拟然值。
第四课 牛顿方法
牛顿方法，挺好理解的，以前在acm的模板上见过，本来想找个题切切的，结果都是数学性很强的，做不了。
搁浅了，准备笔试+面试去了 2014.3.20