7.6 正则化技术：L1/L2正则化、早停法与Dropout原理

7.6 正则化技术：L1/L2正则化、早停法与Dropout原理

正则化是机器学习中用于防止过拟合、提升模型泛化能力的一系列核心技术集合。其核心思想是在经验风险最小化的目标函数中，引入一个对模型复杂度的惩罚项，或者通过修改学习过程本身，来约束模型的学习能力，从而在偏差与方差之间达到更好的平衡。本节将系统阐述三种具有代表性的正则化技术：基于参数惩罚的L1/L2正则化、基于训练过程控制的早停法以及针对神经网络结构的Dropout，分析其各自的数学原理、作用机制与实现细节。

7.6.1 正则化的基本框架与目标

给定训练数据集D={ (xi,yi)}i=1mD = \{(\mathbf{x}_i, y_i)\}_{i=1}^mD={(xi​,yi​)}i=1m​，标准经验风险最小化（ERM）的目标是寻找最小化经验损失的模型参数θ\boldsymbol{\theta}θ：
min⁡θ1m∑i=1mL(yi,f(xi;θ)) \min_{\boldsymbol{\theta}} \frac{1}{m} \sum_{i=1}^{m} L(y_i, f(\mathbf{x}_i; \boldsymbol{\theta}))θmin​m1​i=1∑m​L(yi​,f(xi​;θ))
其中LLL为损失函数。正则化通过引入一个惩罚项Ω(θ)\Omega(\boldsymbol{\theta})Ω(θ)来修改这一目标，形成结构风险最小化（SRM）框架[1]：
min⁡θ[1m∑i=1mL(yi,f(xi;θ))+λΩ(θ)] \min_{\boldsymbol{\theta}} \left[ \frac{1}{m} \sum_{i=1}^{m} L(y_i, f(\mathbf{x}_i; \boldsymbol{\theta})) + \lambda \Omega(\boldsymbol{\theta}) \right]θmin​[m1​i=1∑m​L(yi​,f(xi​;θ))+λΩ(θ