L1正则化

也叫做Lasso。

L1正则化可以引起稀疏解。

从最小化损失的角度看，由于 L1 项求导在0附近的左右导数都不是0，因此更容易取到0解。

从另一个方面看，L1 正则化相当于：

$$\begin{gathered} \underset{w}{\mathrm{argmin}}L(w) \\ s.t.||w|{|}_1<C \end{gathered}$$

我们已经看到平方误差损失函数在 w 空间是一个椭球，因此上式求解就是椭球和 ||w||_1=C的切点，因此更容易相切在坐标轴上。