高斯判别分析

高斯判别分析

高斯判别分析(Gaussian Discriminate Analysis, GDA)，一种连续的软输出的概率生成模型。

概率生成模型

概率判别模型需要将$p(y|x)$的值求出来，但是概率生成模型只关心更像谁，即属于0多一点还是属于1多一点。

这里问题转化为：

$$p(y|x)=\frac{p(x|y)\times p(y)}{p(x)}\propto p(x|y)\times p(y)$$

$p(y)$是先验，$p(x|y)$是似然，$p(y|x)$是后验。

生成模型：

$$\hat{y}={\mathrm{argmax}}_{y\in \{0,1\}}p(y|x)={\mathrm{argmax}}_{y}p(y)p(x|y)$$

模型定义

1. 把$y$看作一个伯努利分布：$y\sim Bernoulli(\varphi )$。
2. 假设似然满足高斯分布：$x|y=1\sim \mathcal{N}({\mu }_1,\Sigma )$, $x|y=0\sim \mathcal{N}({\mu }_0,\Sigma )$

这里定义一个log似然函数：

$$\begin{array}{rl}\log -likelihood:w_0& =\log \frac{N}{i=1}p(x_i,y_i)\\ & =\sum _{i=1}^N\log (p(x_i|y_i)p(y_i))\\ & =\sum _{i=1}^N[\log p(x_i|y_i)+\log p(y_i)]\\ & =\sum _{i=1}^N\left[\log N{\left({\mu }_1\bar{z}\right)}^{y_i}\cdot N{\left({\mu }_2\bar{z}\right)}^{1-y_i}+\log {\varphi }^{y_i}{\left(-\varphi \right)}^{+y_i}\right]\\ & =\sum _{i=1}^N\left[\log N{\left({\mu }_1\bar{z}\right)}^{y_i}+\log N{\left({\mu }_2\bar{z}\right)}^{1-y_i}+\log {\varphi }^{y_i}{\left(-\varphi \right)}^{1-y_i}\right]\\ & =\sum _{i=1}^N[\underset{1}{\underbrace{\log N(M,\Sigma )}}+\underset{2}{\underbrace{\log N(M,\Sigma )}}+\underset{3}{\underbrace{\log {\varphi }^{y_i}(1-\varphi {)}^{-y_i}}}]\end{array}$$

模型求解-求 $\varphi$

首先对 进行求解，将式子3对 $\varphi$ 求偏导：

$$\begin{array}{r}\sum _{i=1}^N\frac{y_i}{\varphi }+\frac{y_i-1}{1-\varphi }=0\\ ⟹\varphi =\frac{\sum _{i=1}^N{y}_i}{N}=\frac{N_1}{N}\end{array}$$

模型求解-求 ${\mu }_1$

然后利用式子1求解 ${\mu }_1$：

$$\begin{array}{rl}\widehat{{\mu }_1}& ={\mathrm{argmax}}_{{\mu }_1}\sum _{i=1}^N{y}_i\log \mathcal{N}({\mu }_1,\Sigma )\\ & ={\mathrm{argmin}}_{{\mu }_1}\sum _{i=1}^N{y}_i(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)\end{array}$$

由于：

$$\sum _{i=1}^N{y}_i(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)=\sum _{i=1}^N{y}_i{x}_i^T{\Sigma }^{-1}{x}_i-2y_i{\mu }_1^T{\Sigma }^{-1}{x}_i+y_i{\mu }_1^T{\Sigma }^{-1}{\mu }_1$$

求微分左边乘以 $\Sigma$ 可以得到：

$$\begin{array}{r}\sum _{i=1}^N-2y_i{\Sigma }^{-1}{x}_i+2y_i{\Sigma }^{-1}{\mu }_1=0\\ ⟹{\mu }_1=\frac{\sum _{i=1}^N{y}_i{x}_i}{\sum _{i=1}^N{y}_i}=\frac{\sum _{i=1}^N{y}_i{x}_i}{N_1}\end{array}$$

模型求解-求${\mu }_0$

求解 ${\mu }_0$，由于正反例是对称的，所以：

$${\mu }_0=\frac{\sum _{i=1}^N(1-y_i)x_i}{N_0}$$

模型求解-求协方差 $\Sigma$

最为困难的是求解 $\Sigma$，我们的模型假设对正反例采用相同的协方差矩阵，当然从上面的求解中我们可以看到，即使采用不同的矩阵也不会影响之前的三个参数。首先我们有：

$$\begin{array}{rl}\sum _{i=1}^N\log \mathcal{N}(\mu ,\Sigma )& =\sum _{i=1}^N\log (\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}})+(-\frac{1}{2}(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu ))\\ & =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}Trace((x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu ))\\ & =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}Trace((x_i-\mu )(x_i-\mu {)}^T{\Sigma }^{-1})\\ & =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}NTrace(S{\Sigma }^{-1})\end{array}$$

在这个表达式中，我们在标量上加入迹从而可以交换矩阵的顺序，对于包含绝对值和迹的表达式的导数，我们有：

$$\begin{array}{rl}\frac{\partial }{\partial A}(|A|)& =|A|A^{-1}\\ \frac{\partial }{\partial A}Trace(AB)& =B^T\end{array}$$

因此：

$$\begin{array}{r}[\sum _{i=1}^N((1-y_i)\log \mathcal{N}({\mu }_0,\Sigma )+y_i\log \mathcal{N}({\mu }_1,\Sigma ){]}^{\prime }\\ =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}{N}_{1}Trace(S_1{\Sigma }^{-1})-\frac{1}{2}{N}_{2}Trace(S_2{\Sigma }^{-1})\end{array}$$

其中，$S_1,S_2$ 分别为两个类数据内部的协方差矩阵，于是：

$$\begin{array}{r}N{\Sigma }^{-1}-N_1{S}_1^T{\Sigma }^{-2}-N_2{S}_2^T{\Sigma }^{-2}=0\\ ⟹\Sigma =\frac{N_1{S}_1+N_2{S}_2}{N}\end{array}$$

这里应用了类协方差矩阵的对称性。

于是我们就利用最大后验的方法求得了我们模型假设里面的所有参数，根据模型，可以得到联合分布，也就可以得到用于推断的条件分布了。