线性分类

背景

线性回归是怎么过渡到线性分类的？

打破线性回归的全局非线性。

flowchart LR
    A(线性回归)-- 激活函数 ---B(线性分类)
    A-- 降维 ---B

这里我们定义分类函数

y = f (w^{T} x + b) y \in {0, 1} or y \in [0, 1]

这里我们将 $f$ 称作激活函数， $f^{- 1}$ 称为链接函数：

f f^{- 1} : w^{T} x + b ⟶ {0, 1} : {0, 1} ⟶ w^{T} x + b

对于分类任务，线性回归模型就无能为力了，但是我们可以在线性模型的函数进行后再加入一层激活函数，这个函数是非线性的，激活函数的反函数叫做链接函数。我们有两种线性分类的方式：

硬分类，我们直接需要输出观测对应的分类，即 $y \in {0, 1}$ 。这类模型的代表为：
1. 线性判别分析（Fisher 判别）
2. 感知机
软分类，产生不同类别的概率，即 $y \in [0, 1]$ ，这类算法根据概率方法的不同分为两种
1. 生成式（根据贝叶斯定理先计算参数后验，再进行推断）：高斯判别分析（GDA）和朴素贝叶斯等为代表
  1. GDA
  2. Naive Bayes
2. 判别式（直接对条件概率进行建模）：Logistic 回归