单纯的最小二乘法对于包含噪声的学习过程经常有过拟合的弱点

部分空间约束的最小二乘学习法

 通过把参数空间限制在一定范围内，来防止过拟合现象。

$$\mathop{min}_{\theta}J_{LS}(\theta) \quad 约束条件P\theta=\theta$$

$P$是满足$P^2=P$和$P^{\intercal}=P$的$b\times b$矩阵，表示的是矩阵$P$的值域$\mathcal{R}(P)$的正交投影矩阵。通过附加$P\theta=P$约束条件，参数$\theta$就不会偏移到值域$\mathcal{R}(P)$范围外了。

最小二乘学习法

 最小二乘学习法是对模型的输出$f_{\theta}(x_i)$和训练集输出$\lbrace y_i \rbrace_{i=1}^n$的平方误差

$$J_{LS}(\theta)=\frac{1}{2}\sum_{i=1}^n(f_{\theta}(x_i) - y_i)^2$$

为最小时的参数$\theta$进行学习

$$\hat{\theta}_{LS}=\mathop{argmin}_{\theta} J_{LS}(\theta)$$

平方误差$(f_{\theta}(x_i)-y_i)^2$是残差$f_{\theta}(x_i) - y_i$的$\mathcal{l}_2$范数，因此最小二乘学习法有时也称为$\mathcal{l}_2$损失最小化学习法。

 如果使用线性模型

$$f_{\theta}(x_i)=\sum_{j=1}^b \theta_i \phi_i (x)=\theta^{\intercal}\phi(x)$$

训练样本的平方差

$$J_{LS}(\theta)=\frac{1}{2}||\Phi \theta - y||^2$$

其中，$y=(y_1,\dots,y_n)^{\intercal}$是训练输出的$n$维向量，$\Phi$是下式中定义的$n\times b$阶矩阵，也称为设计矩阵

$$\Phi=\left[ \begin{matrix} \phi_1(x_1) & \cdots & \phi_b(x_1) \\ \vdots & \ddots & \vdots \\ \phi_1(x_n) & \cdots & \phi_b(x_n) \\ \end{matrix} \right]$$

训练样本的平方差$J_{LS}$的参数向量$\theta$的偏微分

$$\nabla_{\theta}J_{LS}=(\frac{\partial J_{LS}}{\partial \theta_1},\dots,\frac{\partial J_{LS}}{\partial \theta_b})^{\intercal} = \Phi^{\intercal}\Phi \theta - \Phi^{\intercal}y$$

将其微分设置为0，则

$$\hat{\theta}_{LS} = (\Phi^{\intercal}\Phi)^{-1}\Phi^{\intercal}y$$

对顺序为$i$的训练样本的平方差通过权重$\omega_i \ge 0$进行加权，然后采用最小二乘学习，这称为加权最小二乘学习法

$$\mathop{min}_{\theta} \frac{1}{2}\sum_{i=1}^n \omega_i (f_{\theta}(x_i)-y_i)^2$$