图解机器学习/第八章 支持向量机分类

间隔最大化分类

从线性2类别分类问题说明

$$f_{\omega,\gamma}(x) = \omega^{\intercal}x+\gamma$$

上式中的$\omega$为把正负样本分割开的超平面的法线，$\gamma$为截距。只要能够对各个训练样本的间隔$m_i=f_{\omega,\gamma}(x_i)y_i$为正时的$\omega$和$\gamma$进行学习，就可以利用这个模型对所有的训练样本进行正确的分类。

当存在满足条件的$\omega$和$\gamma$，使得$(\omega^{\intercal}x+\gamma)y_i \ge1 \quad \forall i=1,\dots,n$，称这样的训练样本为线性可分的样本，一般选取能够最充裕地把正样本和负样本进行分离的超平面作为最优解。“最充裕”是指与正则化后地间隔$m_i=(\omega^{\intercal}x+\gamma)y_i/||\omega||$地最大值对应的。从几何学上讲，间隔为两端的两个超平面$\omega^{\intercal}x+\gamma=+1$和$\omega^{\intercal}x+\gamma = -1$地间距的一半，使这个间隔最大的超平面对应的分类器，成为硬间隔支持向量机分类器。

软间隔支持向量机分类器的基本思路是，允许在间隔的计算中出现少许的误差$\xi=(\xi_1,\dots,\xi_n)^{\intercal}$