3-Linear Regression

线性回归

• 基础介绍：3-线性模型 | 西瓜书
• 最小二乘法
  • 向量空间视角
  • 概率视角
• 正则化简介
• 优化

优化

从频率派角度和贝叶斯角度我们都导出了线性回归模型，总结起来有三个特点：

1. 线性
   • 属性：x是P维向量，f关于x是线性的
     • ⇒ 特征转换(多项式回归)
   • 系数非线性：激活函数都是非线性的
     • ⇒ 线性分类
     • ⇒ 感知机
   • 全局非线性
     • ⇒ 神经网络
     • ⇒ 感知机
2. 全局性：没有将特征空间划分成不同的段
   • ⇒ 线性样条回归(把输入空间截断)
   • ⇒ 决策树(分割样本空间)
3. 数据未加工：拿到数据后直接拟合
   • ⇒ PCA
   • ⇒ 流形

打破其中的某些条件，可以导出不同的模型：