图解机器学习/第十章 概率分类法

对模式基于概率进行分类的手法称为概率分类法。基于概率的模式识别，是指对与模式$x$所对应的类别$y$的后验概率$p(y|x)$进行学习。其所属类别为后验概率达到最大值时所对应的类别。

$$\hat{y} = \mathop{argmax}_{y=1,\dots,c}p(y|x)$$

类别的后验概率$p(y=\hat{y}|x)$，可以理解为模式$x$属于类别$y$的可信度。另外，基于概率的模式识别算法还有一个优势，就是对于多种类别的分类问题通常会有较好的分类结果。

Logistic回归

Logistic模型的最大似然估计

Logistic回归，使用线性对数函数对分类后验概率$p(y|x)$进行模型化

$$q(y|x;\theta)=\frac{exp(\sum_{j=1}^b \theta_j^{(y)} \phi_j(x)) }{\sum_{y'=1}^c exp(\sum_{j=1}^b \theta_j^{(y')} \phi_j(x))}$$

Logistic回归模型的学习，通过对数似然为最大时的最大似然估计进行求解。

一般使用对数使得乘法变成加法的方法来防止丢位现象的发生。