机器学习技法笔记（1）
一、承前启后 && kernel method
这一段话还是很重要的：1、如何处理feature很多很复杂的情况？kernel
2、如何将多个feature联系起来使用？ boost和blend
3、如何学习隐藏的feature？ deeplearning
首先还是引出了SVM，为什么需要使用SVM呢，简单的说，因为我们要到hyperplane的距离最大，这样我们能容忍的范围就是最大的，整个算法也是robust的。
经过一些列的推导整理，大概可以先得到下面这样一个优化的问题：
然后又是各种推导，考虑到scale已经优化方便等情况，得到：
后面讲了一下SVM的二次规划解法，一般不是很常用，在数据少的时候能直接上QP，不过数据量好的解法后面会提到。
而hard-margin的SVM其实可以理解为在Ein=0的这个限制条件下对W进行优化，正因为增加了限制条件，也就减少了dichotomies，也就减小了VC bound，自然也就增强了算法的泛化能力。
下图是相当重要的，它证明了hard-margin SVM的收敛性：
版权声明：本文为daihengchen原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。