图解机器学习/第二章 学习模型

线性模型

 在对函数$f$进行近似时，最简单的模型就是线性模型$\theta \times x$。$\theta$表示模型的参数，通过对参数进行学习，完成函数的近似计算。在实际应用中，经常会对线性模型进行扩展，使其变成基于参数的线性模型：

$$f_{\theta}(x)=\sum_{j=1}^b \theta_j \phi_j(x)=\theta^{\intercal}\phi(x)$$

 乘法模型是指，把一维基函数作为因子，通过使其相乘而获得多维基函数的方法：

$$f_{\theta}(x)=\sum_{j_1=1}^{b'} \dots \sum_{j_d=1}^{b'} \theta_{j1,\dots,j_d}\phi_{j1}(x^{(1)} \dots\phi_{jd}(x^{(d)}))$$

由于乘法模型随着维数的增加，计算量呈指数级增长的现象，称为维数灾难。

 加法模型是指，把一维的基函数作为因子，通过使其相加而获得多维基函数的方法：

$$f_{\theta}(x)=\sum_{k=1}^d \sum_{j=1}^{b'} \theta_{k,j} \phi_j(x^{(k)})$$

加法模型只会随着输入维数线性增长，但是，由于加法模型只考虑了一维基函数相加的情况，因此表现力要比乘法模型逊色许多。

核模型

 核模型，是以使用被称为核函数的二元函数$K(.,.)$，以$K(x,x_j)_{j=1}^n$的线性结合方式加以定义的

$$f_{\theta}(x)=\sum_{j=1}^n \theta_j K(x,x_j)$$

在众多核函数中，以高斯核函数的使用最为广泛

$$K(x,c)=exp(-\frac{||x-c||^2}{2h^2})$$

在上式中，$||\cdot||$表示2范数，即$||x||=\sqrt{x^{\intercal}x}$。$h$和$c$分别对应于高斯核函数的带宽和均值。

由于只能在训练集的输入样本附近对函数进行近似，所以从某种程度上来说也减轻了维数灾难的影响。

 在核模型里，参数的个数不依赖于输入变量$x$的维数$d$，只由训练样本数$n$决定。在统计学中，通常把与基于参数的线性模型称为参数模型，把核模型称为非参数模型。

 核模型的另一个特征是：当输入样本$x$不是向量的时候，也能很容易实现扩展。目前已经有人提出了输入样本$x$是字符串、决策树或图表等的核函数，这样的核函数进行的机器学习算法，称为核映射方法。

层级模型

 层级模型是非线性模型。