图解机器学习/第六章 鲁棒学习

最小二乘学习法具有易受异常值影响的特点

在统计学领域和机器学习领域，对异常值也能保持稳定、可靠的性质，称为鲁棒性。

$l_1$损失最小化学习

 对训练样本的合理性，一般使用$l_2$损失$J_{LS}(\theta)$来测定

$$J_{LS}(\theta)=\frac{1}{2} \sum_{i=1}^n r_i^2$$

这里的$r_i$是顺序为$i$的训练样本所对应的残差

$$r_i = f_{\theta}(x_i) -y_i$$

 使用$l_1$损失对残差的增幅加以抑制的学习算法

$$\hat{\theta}_{LA} = \mathop{argmin}_{\theta}J_{LA}(\theta), J_{LA}(\theta)=\sum_{i=1}^n|r_i|$$

 对于常数模型$f_{\theta}(x)=\theta$，最小二乘学习的最终输出结果是训练样本输出值$\lbrace y_i \rbrace _{i=1}^n$的平均值

$$\hat{\theta}_{LS}=\mathop{argmin}_{\theta}\sum_{i=1}^n (\theta-y_i)^2 = mean(\lbrace y_i \rbrace _{i=1}^n)$$

 最小绝对值偏差学习的最终输出结果则是训练样本输出值$\lbrace y_i \rbrace _{i=1}^n$的中间值

$$\hat{\theta}_{LA}=\mathop{argmin}_{\theta}\sum_{i=1}^n |\theta-y_i| = median(\lbrace y_i \rbrace _{i=1}^n)$$