代价函数

19世纪，高尔顿在1996年的论文中提出了回归的概念，其在研究父子身高的问题时，发现存在某种关系，有没有可能存在一个数学模型，能够描述这种关系，进而预测身高？

Regression：re回退重复，gress行走，事实上就是求某种平均值

最小二乘法

如果函数预测函数是$y=wx+b$，那么就是线性回归。

这里我们使用均方差作为评价标准，开始推导代价函数。

$$\begin{gathered} \bar{e}=\frac{1}{n}\sum _{i=1}^n(w{x}_i-y_i{)}^2 \\ =\frac{1}{n}(\sum _{i=1}^n{x}_i^2{w}^2-2\sum _{i=1}^n{x}_i{y}_{i}w+\sum _{i=1}^n{y}_i^2) \\ =a{w}^2+bw+c \end{gathered}$$

此时，$\bar{e}$不再是关于$x$的函数，而是关于$w$的二次函数，如果预测函数长成$y=wx+b$，那么$\bar{e}$就是一个关于$w,b$的抛物面函数了。