加了罚项之后多项式回归怎么完成呢？先从加了罚项的线性回归说起。

回忆一下，数据集上的经验误差函数为：

之前是通过最小二乘法来完成线性回归，也就是通过求该经验误差函数的最小值来得到：

现在我们需要增加罚项，也就是在之前的优化目标基础上加入罚项作为条件：

在数学中，这就是求解有条件的极值，可以通过以及拉格朗日乘数法的 KKT 条件得到拉格朗日函数，对该拉格朗日函数求极值相当于求解上述的条件极值，从而得到：

这种增加了罚项之后的线性回归称为 岭回归（Ridge Regression）。