图解机器学习/第十三章 无监督降维

高维数据的处理是相当困难的,一般称为维数灾难。为了使机器学习算法从维数灾难中解放出来,一般采取的有效方法是尽量保持输入数据中包含的所有信息,并对其维数进行削减。

线性降维的原理

无监督降维的目的,是把高维的训练输入样本$\lbrace x_i \rbrace_{i=1}^n$变换为低维的训练样本$\lbrace z_i \rbrace_{i=1}^n$,并在降维后还能尽可能地保持其原本包含的所有信息。

通过$x_i$的线性变换求解$z_i$的时候,即使用维数为$m \times d$的投影矩阵$T$根据下式

来求解$z_i$的时候,称为线性降维。

中心化:

$x_i \leftarrow x_i \frac{1}{n} \sum_{i’=1}^n x_{i’}$

Read More