首页 /文章 /过拟合与正则化的可查证定义与经典结论

过拟合与正则化的可查证定义与经典结论

文章基于ESL与DL教材及AdamW论文,厘清过拟合、偏差方差权衡及L1/L2正则化定义。

过拟合正则化偏差-方差分解AdamW权重衰减2026Q4
分类:基础理论 › 机器学习基础 发布于 2026-10-25 36 次浏览

来源对照(2026-10-25 核验)。条目一:《统计学习要素》(ESL)第 7 章,教材电子版目录页。条目二:《深度学习》(DL)第 7 章,教材电子版目录页。条目三:arXiv(论文预印本平台)编号 1711.05101,中文译名《解耦权重衰减正则化》。条目四:PyTorch(开源深度学习框架)文档 AdamW 优化器页。

\n

过拟合与正则化:可查证的定义与经典结论

\n\n

过拟合是模型把训练样本里的噪声也学进去、泛化误差反而上升的现象。这个判断先立住,后面才有落点。ESL(《统计学习要素》,哈斯蒂等著)第 7 章把模型评估与选择放在同一框架下处理,偏差-方差分解就在这一章内。教材的标准做法:把期望预测误差拆成偏差平方、方差、不可约误差三部分。定性结论一句话:复杂度上升,偏差降、方差升,总误差呈 U 形。公式属教材标准内容,此处只作定性引用。

\n\n

定义不难。难的是把定义落到可操作的量上。训练误差持续下降而验证误差拐头向上,这是最直接的过拟合信号;条目一给出的评估路径正是用验证或交叉验证估计泛化误差,而不是看训练集表现。仅一处记载的细节不展开,待第二处印证的部分留白。

\n\n

L1(一范数)、L2(二范数)与权重衰减的原始表述

\n\n

L2 正则是在损失上加权重的平方惩罚项,L1 加绝对值惩罚。DL(《深度学习》,古德费洛等著)教材第 7 章把两类统称参数范数惩罚:L2(二范数惩罚)让权重向零收缩,L1(一范数惩罚)倾向产生稀疏解。这是教材层面的表述,不是某篇论文的独创。系数越大收缩越强;系数趋近零,退化为无正则。

\n\n

权重衰减这个名字容易引起混淆。在普通 SGD(随机梯度下降)下,L2 惩罚项对梯度的贡献等价于每步把权重按比例缩小,二者数值上等价。换到 Adam 这类自适应优化器,等价性破裂。AdamW(解耦权重衰减优化器)论文的核心论点就是:把权重衰减从梯度更新中解耦,才能恢复正确的衰减语义(arXiv(论文预印本平台)编号 1711.05101)。PyTorch(开源深度学习框架)官方文档的 AdamW 优化器页明确写着解耦权重衰减退(decoupled weight decay),文档转述,编号可查。更准确地说,调 Adam(自适应矩估计优化器)的 weight_decay(权重衰减参数)时,改的并不是 L2 惩罚项,而是解耦后的衰减系数。

\n\n
\n\n\n\n\n\n\n\n
定义与等价关系对照表
项目表述来源
L2(二范数)正则。权重平方惩罚项。条目二。
L1(一范数)正则。权重绝对值惩罚项。条目二。
SGD(随机梯度下降)下等价。权重衰减与 L2 数值等价。教材通识表述。
Adam族不等价。需解耦权重衰减。条目三。
AdamW文档。明写decoupled weight decay。条目四。
\n\n

上表逐格均为可核对的短判断。表中不含实验数字与具体精度,素材里标注待核实的数值一律不采信,只保留定性结论。

\n\n

偏差-方差权衡的经典结论与使用规则

\n\n

经典结论可以压缩成一句:复杂度要停在方差开始压倒偏差之前。条目一把这条结论放在模型评估与选择的语境里,强调的是用数据估计泛化误差曲线,而不是凭模型参数量猜。条目二则从正则化角度补充:惩罚项相当于对假设空间施加先验约束,从而压低方差。两处教材口径一致,可交叉印证。

\n\n

公式可以不背,用法必须会。可执行判断规则如下。第一,训练误差与验证误差的差距持续扩大时,先加正则或减容量,不要先调学习率。第二,用 Adam 族优化器时,把权重衰减参数理解为解耦衰减系数,不要按 L2 惩罚项的直觉去设值(条目三、四)。第三,在 L1(一范数)与 L2(二范数)之间选,先看要不要稀疏解:要稀疏选 L1(一范数),要平滑收缩选 L2(二范数),依据条目二。第四,任何关于“某系数最优”的具体数值,若无第二处独立来源,不写进结论,只写方向。

\n\n

还有一条边界要划清。偏差-方差分解假设数据独立同分布、损失为平方误差,分类任务下它是近似而非恒等式,条目一对此有讨论。把分解当成万能解释会出错。收尾三句:定义可查,等价有条件,数字要双源。

关键词 过拟合正则化偏差-方差分解AdamW权重衰减2026Q4 000112