图解机器学习/第十五章 在线学习

一般来说，在训练样本不同时给定的情况下，比起将所有的训练样本集中起来同时进行学习，把训练样本逐个输入到学习算法中，并在新的数据进来的时候马上对现有的学习结果进行更新，这样的逐次学习算法更加有效。

当训练样本总数$n$非常大的时候，在线学习算法对于有限内存的利用、管理来说非常有效。

被动攻击学习

梯度下降量的抑制

在训练样本$(x,y)$逐个给定的在线学习中，也可以使用随机梯度下降算法进行参数的更新。概率梯度下降算法中，当梯度下降幅度过大的时候，学习结果往往会不稳定；而当梯度下降幅度过小的时候，又会使得收敛速度变慢。因此，一般引入一个惩罚系数，即偏离现在的解$\tilde{\theta}$的幅度，对梯度下降量进行适当地调整。

这样的学习方法对激进的梯度下降进行了抑制，称为被动攻击学习。