支持向量机

记录支持向量机中的一些要点

软间隔最大化

对于线性可分支持向量机算法来说，将其应用在某线性不可分训练集上，会出现约束条件无法满足的情况

此时为每个样本点引入一个松弛变量，使函数间隔加上松弛变量大于等于1，同时支付一个代价，这样原来的优化问题变为

我们来看一下这个有约束最优化问题的解到底是什么？我们先来看一下不同面PK的结果。首先我们把不同的分离超平面||w||固定，同时将函数间隔替换为几何间隔

此时，我们会调整松弛变量使得所有点的几何间隔不会小于1/||w||，然后看看哪个面的调整量最小哪个面胜出。对于改变C，||w||不变，胜出面不变。然后改变||w||，继续。这样我们会得到一组获胜者（比如：几何间隔为1时，A面获胜，最小平移量Xa；几何间隔为2时，B面获胜，最小平移量Xb etc.）。但是这些获胜面哪个最优呢？需要注意的是，在得到最小平移量后会除以几何间隔，大概得到误分类点的个数，然后用C来控制误分类的成本，从而得到最优超平面。C变大，对误分类惩罚变大；C变小，对误分类惩罚变小。

posted on 2018-03-25 16:31 大狸子先生 阅读(…) 评论(…) 编辑 收藏

版权声明：本文为lidunot-fear原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/lidunot-fear/p/8610735.html