图解机器学习/第十七章 监督降维

监督降维算法的目的，是通过将输入$x$变换为低维的$z$，使输出$y$的预测更加容易。假设输入样本$x$的维度为$d$，低纬度下的$z$的维度为$m$，$d\times m$阶矩阵为$T$

$$z = Tx$$

并预先对训练样本$\lbrace (x_i) \rbrace_{i=1}^n$进行中心化处理

$$x_i \leftarrow x_i-\frac{1}{n}\sum_{i'=1}^n x_{i'}$$

与分类问题相对应的判别分析

Fisher判别分析

Fisher判别分析，是寻找能够使相同类别的样本尽量靠近，不同类别的样本尽量远离的矩阵$T$的方法。

定义组内分散矩阵$S^{(w)}$和组间分散矩阵$S^{(b)}$

$$S^{(w)} = \sum_{y=1}^c \sum_{i:y_i = y}(x_i-\mu_y)(x_i-\mu_y)^{\intercal} \in \mathbb{R}^{(d \times d)}\\ S^{(b)}=\sum_{y=1}^n n_y \mu_y \mu_y^{\intercal} \in \mathbb{R}^{d \times d}$$

“w”和“b”分别是“within-class”和“between-class”的首字母。$\sum_{i:y_i = y}$是所有满足$y_i = y$的$y$的和，$\mu_y$是所有属于类别$y$的输入样本的平均值

$$\mu_y = \frac{1}{n_y}\sum_{i:y_i = y}x_i$$

$n_y$是属于类别$y$的训练样本总数。使用这样的分散矩阵，Fisher判别分析的投影矩阵可由下式定义

$$\mathop{max}_{T\in \mathbb{R}^{m \times d}} tr((TS^{(w)}T^{\intercal})^{-1}TS^{(b)}T^{\intercal})$$

---