图解机器学习/第十九章 多任务学习

在对多个相似的学习任务进行学习的时候，共享各学习任务的信息并同时对其进行求解的方法，往往比对各个学习任务单独进行求解有更高的学习精度。

多任务学习是在多个学习任务之间实现信息的共享、转移的一种学习方法

使用最小二乘回归的多任务学习

对于序号为$t$的回归任务，使用与参数$\theta_t = (\theta_{t,1},\dots,\theta_{t,b})^{\intercal}$相关的线性模型

$$\sum_{j=1}^b \theta_{t,j}\phi_j(x) = \theta_t^{\intercal} \phi(x)$$

基函数$\phi(x)$对所有的学习任务都相同。在多任务学习里，添加约束条件使各个任务的参数$\theta_1,\dots,\theta_T$具有相似的值，在此基础上对所有的参数$\theta=(\theta_1^{\intercal}, \dots, \theta_T^{\intercal})^{\intercal}$同时进行学习。

使用$l_2$正则化的最小二乘法对下式$J(\theta)$为最小时所对应的参数$\theta$进行学习

$$J(\theta) = \frac{1}{2}\sum_{i=1}^n (\theta_{t_i}^{\intercal} \phi(x_i) - y_i)^2+\frac{1}{2}\sum_{t=1}^T \lambda_t||\theta_t||^2 + \frac{1}{4}\sum_{t,t'=1}^T \gamma_{t,t'}||\theta_t - \theta_{t'}||^2$$

在这里，$\lambda_t \ge 0$是与序号为$t$的学习任务对应的$l_2$正则化参数0，$\gamma_{t,t’} \ge 0$是序号为$t$的学习任务和序号为$t’$的学习任务的相似度。对于所有的$t,t’=1,\dots,T$，当$\gamma_{t,t’} = 0$时，$J(\theta)$的第三项就没有了，这就对应于$T$个学习任务分别进行$l_2$正则化最小二乘学习。另一方面，如果$\gamma_{t,t’} > 0$的话，$\theta_t$和$\theta_{t’}$向着$l_2$范数的方向进行学习，即可实现多个学习任务间的信息共享。