使用均方范数作为硬性限制

• 通过限制参数值的选择范围来控制模型容量

• 通常不限制偏移（限不限制都差不多）

• 小的意味着更强的正则项

使用均方范数作为柔性限制

• 对每个，，都可以找到使得之前的目标函数等价于下面
• 可以通过拉格朗日乘子来证明

• 超参数控制了正则项的重要程度
• ：无作用
• ，

参数更新法则

• 计算梯度

• 时间更新参数
• 通常，在深度学习中通常叫做权重衰退

总结

• 权重衰退通过正则项使得模型参数不会过大，从而控制模型复杂度

• 正则项权重是控制模型复杂度的超参数