图解机器学习/第十章 概率分类法

对模式基于概率进行分类的手法称为概率分类法。基于概率的模式识别，是指对与模式$x$所对应的类别$y$的后验概率$p(y|x)$进行学习。其所属类别为后验概率达到最大值时所对应的类别。

$$\hat{y} = \mathop{argmax}_{y=1,\dots,c}p(y|x)$$

类别的后验概率$p(y=\hat{y}|x)$，可以理解为模式$x$属于类别$y$的可信度。另外，基于概率的模式识别算法还有一个优势，就是对于多种类别的分类问题通常会有较好的分类结果。

Logistic回归

Logistic模型的最大似然估计

Logistic回归，使用线性对数函数对分类后验概率$p(y|x)$进行模型化

$$q(y|x;\theta)=\frac{exp(\sum_{j=1}^b \theta_j^{(y)} \phi_j(x)) }{\sum_{y'=1}^c exp(\sum_{j=1}^b \theta_j^{(y')} \phi_j(x))}$$

Logistic回归模型的学习，通过对数似然为最大时的最大似然估计进行求解。

一般使用对数使得乘法变成加法的方法来防止丢位现象的发生。

Logistic回归的学习模式由下式的最优化问题来定义

$$\mathop{max}_{\theta}\sum_{i=1}^n logq(y_i|x_i;\theta)$$

使用概率梯度下降法的Logistic回归学习算法：

1. 给$\theta$以适当的初值

2. 随机选择一个训练样本(选择顺序为$i$的训练样本$(x_i,y_i)$

3. 对于选定的训练样本，以梯度上升的方向对参数$\theta = (\theta^{(1)^{\intercal}}, \dots,\theta^{(c)^{\intercal}})^{\intercal}$进行更新

   $$\theta^{(y)} \leftarrow \theta^{(y)} + \epsilon \nabla_yJ_i(\theta)对于y=1,\dots,c$$

   在这里，$\epsilon$为表示梯度上升幅度的正的常数。$\nabla_yJ_i$是指顺序为$i$的训练样本所对应的对数似然$J_i(\theta)=logq(y_i|x_i;\theta)$的关于$\theta^{(y)}$的梯度上升的方向

   $$\nabla_yJ_i(\theta) = -\frac{exp(\theta^{(y)^{\intercal}} \phi(x_i)) \phi(x_i)}{\sum_{y'=1}^c exp(\theta^{(y‘)^{\intercal}} \phi(x_i))} + \begin{cases} \phi(x_i) &\text{$y=y_i$}\\ 0 &\text{$y \not= y_i$} \end{cases}$$

4. 直到解$\theta$达到收敛精度为止，重复上述2、3步计算

　使用Logistic损失最小化学习来解释

首先从2分类问题$y\in \lbrace +1,-1 \rbrace$进行说明

$$q(y=+1|x;\theta) + q(y=-1|x;\theta)=1$$

通过上述关系式，Logistic模型的参数个数就可以由2b个降为b个。

最小二乘概率分类

最小二乘概率分类器，对于各个类别$y=1,\dots,c$的后验概率$p(y|x)$，使用与参数相关的线性模型

$$q(y|x;\theta^{(y)}) = \sum_{j=1}^b \theta_j^{(y)} \phi_j(x) =\theta^{(y)^{\intercal}} \phi(x_i)$$

进行模型化，与Logistic模型不同的是，这个模型只依赖于与各个类别$y$对应的参数$\theta^{(y)} = (\theta_i^{(y)},\dots, \theta_b^{(y)})^{\intercal}$。