图解机器学习/第二章 学习模型

线性模型

 在对函数$f$进行近似时，最简单的模型就是线性模型$\theta \times x$。$\theta$表示模型的参数，通过对参数进行学习，完成函数的近似计算。在实际应用中，经常会对线性模型进行扩展，使其变成基于参数的线性模型：

$$f_{\theta}(x)=\sum_{j=1}^b \theta_j \phi_j(x)=\theta^{\intercal}\phi(x)$$

 乘法模型是指，把一维基函数作为因子，通过使其相乘而获得多维基函数的方法：

$$f_{\theta}(x)=\sum_{j_1=1}^{b'} \dots \sum_{j_d=1}^{b'} \theta_{j1,\dots,j_d}\phi_{j1}(x^{(1)} \dots\phi_{jd}(x^{(d)}))$$

由于乘法模型随着维数的增加，计算量呈指数级增长的现象，称为维数灾难。

 加法模型是指，把一维的基函数作为因子，通过使其相加而获得多维基函数的方法：

$$f_{\theta}(x)=\sum_{k=1}^d \sum_{j=1}^{b'} \theta_{k,j} \phi_j(x^{(k)})$$

加法模型只会随着输入维数线性增长，但是，由于加法模型只考虑了一维基函数相加的情况，因此表现力要比乘法模型逊色许多。