线性判别分析

线性判别分析

也叫Fisher判别分析。罗纳德·费希尔_百度百科

思想是：类内小，类间大。

从降维的角度出发，把数据全部投影到一维的坐标轴上，之后选定一个阈值来分类。

现在需要找一个最合适的投影方向，比如说上图中右边的更好。

这里指的就是最大化类间间隔，最小化类内方差。用计算机行话就是**“高内聚低耦合”**。

模型定义

首先是投影，我们假定原来的数据是向量 $x$，那么顺着 $w$ 的方向投影就是标量$z$：

$$z=w^T\cdot x(=|w|\cdot |x|\cos \theta )$$

投影的均值$\bar{z}$：

$$\bar{z}=\frac{1}{N}{w}^T\cdot x$$

投影的方差$S_z$：

$$\begin{array}{rl}{S}_z& =\frac{1}{N}\sum _{i=1}^{N_2}(z_i-\bar{z})(z_i-\bar{z}{)}^T\\ & =\frac{1}{N}\sum _{i=1}^{N_2}(w^T{x}_i-\bar{z})(w^T{x}_i-\bar{z}{)}^T\end{array}$$

假设属于两类的试验样本数量分别是 $N_1$和 $N_2$，那么我们采用方差矩阵来表征每一个类内的总体分布，这里我们使用了协方差的定义，用 $S$ 表示原数据的协方差：

$$\begin{array}{rl}{C}_1:Va{r}_z[C_1]& =\frac{1}{N_1}\sum _{i=1}^{N_1}(z_i-\overline{z_{c1}})(z_i-\overline{z_{c1}}{)}^T\\ & =\frac{1}{N_1}\sum _{i=1}^{N_1}(w^T{x}_i-\frac{1}{N_1}\sum _{j=1}^{N_1}{w}^T{x}_j)(w^T{x}_i-\frac{1}{N_1}\sum _{j=1}^{N_1}{w}^T{x}_j{)}^T\\ & =w^T\frac{1}{N_1}\sum _{i=1}^{N_1}(x_i-\overline{x_{c1}})(x_i-\overline{x_{c1}}{)}^{T}w\\ & =w^T{S}_{1}w\end{array}$$ $$\begin{array}{rl}{C}_2:Va{r}_z[C_2]& =\frac{1}{N_2}\sum _{i=1}^{N_2}(z_i-\overline{z_{c2}})(z_i-\overline{z_{c2}}{)}^T\\ & =w^T{S}_{2}w\end{array}$$

所以类内距离可以记为方差的和：

$$\begin{array}{r}Va{r}_z[C_1]+Va{r}_z[C_2]=w^T(S_1+S_2)w\end{array}$$

对于类间距离，我们可以用两类的均值表示这个距离：

$$\begin{array}{rl}(\overline{z_{c1}}-\overline{z_{c2}}{)}^2& =(\frac{1}{N_1}\sum _{i=1}^{N_1}{w}^T{x}_i-\frac{1}{N_2}\sum _{i=1}^{N_2}{w}^T{x}_i{)}^2\\ & =(w^T(\overline{x_{c1}}-\overline{x_{c2}}){)}^2\\ & =w^T(\overline{x_{c1}}-\overline{x_{c2}})(\overline{x_{c1}}-\overline{x_{c2}}{)}^{T}w\end{array}$$

综合这两点，由于协方差是一个矩阵，于是我们用将这两个值相除来得到我们的损失函数，并最大化这个值：

$$\begin{array}{rl}\hat{w}=\underset{w}{\mathrm{argmax}}J(w)& =\underset{w}{\mathrm{argmax}}\frac{(\overline{z_{c1}}-\overline{z_{c2}}{)}^2}{Va{r}_z[C_1]+Va{r}_z[C_2]}\\ & =\underset{w}{\mathrm{argmax}}\frac{w^T(\overline{x_{c1}}-\overline{x_{c2}})(\overline{x_{c1}}-\overline{x_{c2}}{)}^{T}w}{w^T(S_1+S_2)w}\\ & =\underset{w}{\mathrm{argmax}}\frac{w^T{S}_{b}w}{w^T{S}_{w}w}\end{array}$$

这里

• $S_b$(Between Class)表示类间方差

• $S_w$(Within Class)表示类内方差

模型求解

这样，我们就把损失函数和原数据集以及参数结合起来了。

下面对这个损失函数求偏导，注意我们其实对 $w$ 的绝对值没有任何要求，只对方向有要求，因此只要一个方程就可以求解了：

$$\begin{array}{rl}& \frac{\partial }{\partial w}J(w)=2S_{b}w(w^T{S}_{w}w{)}^{-1}-2w^T{S}_{b}w(w^T{S}_{w}w{)}^{-2}{S}_{w}w=0\\ & ⟹S_{b}w(w^T{S}_{w}w)=(w^T{S}_{b}w)S_{w}w\\ & ⟹w\propto S_w^{-1}{S}_{b}w=S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}})(\overline{x_{c1}}-\overline{x_{c2}}{)}^{T}w\propto S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}})\end{array}$$

于是 $S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}})$ 就是我们需要寻找的方向。最后可以归一化求得单位的 $w$ 值。