图解机器学习/第七章 基于最小二乘法的分类

模式识别是指，对于输入的模式$x \in \mathbb{R}^d$，将其分类到它所属的类别$y \in \lbrace 1,\dots,c \rbrace$的方法，$c$表示的是类别的数目。

最小二乘分类

 测试模式$x$所对应的类别$y$的预测值$\hat{y}$，是由学习后的输出结果的符号决定的

$$\hat{y}=sign(f_{\hat{\theta}}(x))= \begin{cases} +1, &(f_{\hat{\theta}}>0) \\0,&(f_{\hat{\theta}}=0) \\-1,&(f_{\hat{\theta}}<0) \end{cases}$$

 把分类问题堪称函数的近似问题，通过在分类器的构造中应用最小二乘法。利用输入为线性模型，把训练输出$y_i$由$\lbrace +1， -1 \rbrace$改为$\lbrace +1/n_+,-1/n_- \rbrace$，其中$n_+$和$n_-$分别代表正训练样本和负训练样本的个数，通过这样的设定，使用最小二乘学习进行模式识别，与线性判别分析算法就是一致的。在线性判别分析中，当正负两类样本的模式都服从协方差矩阵相同的高斯分布时，可以获得最佳的泛化能力。