17. 电话号码的字母组合

给定一个仅包含数字 2-9 的字符串，返回所有它能表示的字母组合。

给出数字到字母的映射如下（与电话按键相同）。注意 1 不对应任何字母。

11. 盛最多水的容器

给你 n 个非负整数 a1，a2，…，an，每个数代表坐标中的一个点 (i, ai) 。在坐标内画 n 条垂直线，垂直线 i 的两个端点分别为 (i, ai) 和 (i, 0)。找出其中的两条线，使得它们与 x 轴共同构成的容器可以容纳最多的水。

说明：你不能倾斜容器，且 n 的值至少为 2。

利用过去学习的得到的经验、知识，来提高当前以及将来进行的学习任务的求解精度，这样的方式称为迁移学习。

协变量移位下的迁移学习

在统计学里，输入变量称为协变量。协变量移位是指输入输出关系不变，协变量的概率分布发生变化的情况。

重要度加权学习

如果只利用当前学习任务的输入训练样本$\lbrace x’_{i’} \rbrace_{i’=1}^{n’}$近旁的输入输出训练样本$\lbrace (x_i, y_i)\rbrace _{i=1}^n$进行学习，一般是可以很好地对$\lbrace x’_{i’} \rbrace_{i’=1}^{n’}$的输出进行预测。这种思路可以通过使用输入输出训练样本的重要度权重进行学习来实现。

重要度，是指当前学习任务的输入训练样本$\lbrace x’_{i’} \rbrace_{i’=1}^{n’}$的概率密度$p’(x)$和原始学习任务的输入训练样本$\lbrace x_i \rbrace_{i=1}^n$的概率密度$p(x)$的比

重要度加权最小二乘学习

重要度加权最小二乘学习，理论上可以认为是统计学中的重要性采样，可以据此来理解其算法的本质。重要性采样，是指利用与$p(x)$相关的加权期望值来计算与$p’(x)$相关的期望值的方法

相对重要度加权学习

一般而言，当重要度函数$w(x)$的值非常大的时候，就特别容易引起不稳定现象，因此如果能使得重要度函数稍许平滑，就可以使学习结果稳定下来。为此可以使用比重要度稍微钝一些的相对重要度

重要度加权模型选择

重要度加权交叉验证法的算法流程：

1. 把训练样本$\mathcal{T}=\lbrace (x_i,y_i) \rbrace_{i=1}^n$随机划分为$m$个集合$\lbrace \mathcal{T}_i \rbrace_{i=1}^m$

2. 对$i=1,\dots,m$循环执行如下操作

   1. 使用除$\mathcal{T}_i$以外的训练样本$\mathcal{T}/ \mathcal{T}_i$，求解其学习结果$f_i$

   2. 把上述过程中没有参与学习的训练样本$\mathcal{T}_i$作为测试样本，对$f_i$的泛化误差进行重要度加权评估

   $$\hat{G}_i = \begin{cases} \frac{1}{|\mathcal{T_i}|}\sum_{(x,y)\in \mathcal{T}_i}w(x)(f_i(x)-y)^2 &\text{回归} \\ \frac{1}{|\mathcal{T_i}|} \sum_{(x,y)\in \mathcal{T}_i \frac{w(x)}{2}}(1-sign(f_i(x)y)) &\text{分类} \end{cases}$$

   在这里，$|\mathcal{T}_i|$表示集合$\mathcal{T}_i$包含的训练样本的个数

3. 对各个$i$的泛化误差的评估值$\hat{G}_i$进行平均，得到最终的泛化误差$\hat{G}$

   $$\hat{G}=\frac{1}{m}\sum_{i=1}^m \hat{G}_i$$

监督降维算法的目的，是通过将输入$x$变换为低维的$z$，使输出$y$的预测更加容易。假设输入样本$x$的维度为$d$，低纬度下的$z$的维度为$m$，$d\times m$阶矩阵为$T$

并预先对训练样本$\lbrace (x_i) \rbrace_{i=1}^n$进行中心化处理

与分类问题相对应的判别分析

Fisher判别分析

Fisher判别分析，是寻找能够使相同类别的样本尽量靠近，不同类别的样本尽量远离的矩阵$T$的方法。

定义组内分散矩阵$S^{(w)}$和组间分散矩阵$S^{(b)}$

“w”和“b”分别是“within-class”和“between-class”的首字母。$\sum_{i:y_i = y}$是所有满足$y_i = y$的$y$的和，$\mu_y$是所有属于类别$y$的输入样本的平均值

$n_y$是属于类别$y$的训练样本总数。使用这样的分散矩阵，Fisher判别分析的投影矩阵可由下式定义

一般来说，在训练样本不同时给定的情况下，比起将所有的训练样本集中起来同时进行学习，把训练样本逐个输入到学习算法中，并在新的数据进来的时候马上对现有的学习结果进行更新，这样的逐次学习算法更加有效。

当训练样本总数$n$非常大的时候，在线学习算法对于有限内存的利用、管理来说非常有效。

被动攻击学习

梯度下降量的抑制

在训练样本$(x,y)$逐个给定的在线学习中，也可以使用随机梯度下降算法进行参数的更新。概率梯度下降算法中，当梯度下降幅度过大的时候，学习结果往往会不稳定；而当梯度下降幅度过小的时候，又会使得收敛速度变慢。因此，一般引入一个惩罚系数，即偏离现在的解$\tilde{\theta}$的幅度，对梯度下降量进行适当地调整。

这样的学习方法对激进的梯度下降进行了抑制，称为被动攻击学习。

间隔最大化分类

从线性2类别分类问题说明

上式中的$\omega$为把正负样本分割开的超平面的法线，$\gamma$为截距。只要能够对各个训练样本的间隔$m_i=f_{\omega,\gamma}(x_i)y_i$为正时的$\omega$和$\gamma$进行学习，就可以利用这个模型对所有的训练样本进行正确的分类。

当存在满足条件的$\omega$和$\gamma$，使得$(\omega^{\intercal}x+\gamma)y_i \ge1 \quad \forall i=1,\dots,n$，称这样的训练样本为线性可分的样本，一般选取能够最充裕地把正样本和负样本进行分离的超平面作为最优解。“最充裕”是指与正则化后地间隔$m_i=(\omega^{\intercal}x+\gamma)y_i/||\omega||$地最大值对应的。从几何学上讲，间隔为两端的两个超平面$\omega^{\intercal}x+\gamma=+1$和$\omega^{\intercal}x+\gamma = -1$地间距的一半，使这个间隔最大的超平面对应的分类器，成为硬间隔支持向量机分类器。

软间隔支持向量机分类器的基本思路是，允许在间隔的计算中出现少许的误差$\xi=(\xi_1,\dots,\xi_n)^{\intercal}$

模式识别是指，对于输入的模式$x \in \mathbb{R}^d$，将其分类到它所属的类别$y \in \lbrace 1,\dots,c \rbrace$的方法，$c$表示的是类别的数目。

最小二乘分类

 测试模式$x$所对应的类别$y$的预测值$\hat{y}$，是由学习后的输出结果的符号决定的

 把分类问题堪称函数的近似问题，通过在分类器的构造中应用最小二乘法。利用输入为线性模型，把训练输出$y_i$由$\lbrace +1， -1 \rbrace$改为$\lbrace +1/n_+,-1/n_- \rbrace$，其中$n_+$和$n_-$分别代表正训练样本和负训练样本的个数，通过这样的设定，使用最小二乘学习进行模式识别，与线性判别分析算法就是一致的。在线性判别分析中，当正负两类样本的模式都服从协方差矩阵相同的高斯分布时，可以获得最佳的泛化能力。

本文将介绍Git在Centos 7下的安装使用。

本文将介绍MySQL8.0在Centos 7下的安装使用。

本文将介绍Nginx1.18.0在Centos 7下的安装使用。