BN与残差连接在原始论文中的表述
解析批归一化与残差连接原始论文核心差异:BN解决分布漂移,残差解决优化困难。
来源对照。条目一:arXiv(论文预印本平台)编号 1502.03167,中文译名《批归一化:通过减少内部协变量偏移加速深度网络训练》。条目二:编号 1512.03385,中文译名《面向图像识别的深度残差学习》。条目三:PyTorch(开源深度学习框架)官方文档的批归一化层页(以核验时可访问的最新版本为准)。
\nBN与残差连接:原始论文各自表述了什么
\n\n两篇论文解决的不是同一个问题。BN对准训练过程中的激活分布漂移,残差连接对准深层网络的优化困难。混为一谈会读错公式,也会用错默认参数。
\n\n先给判断。BN 对准的是分布问题:对每层输入做归一化以稳定分布。残差对准的是优化问题:让优化器更容易学恒等映射。一个是训练技巧,一个是结构改动。二者 2015 年同年发表,动机互不引用。
\n\nIoffe(论文一作)与 Szegedy(论文二作)在条目一论文中提出的动机术语是 Internal(内部)Covariate(协变量)Shift(偏移),下称内部协变量偏移。原文表述为:训练中前层参数更新导致后层输入分布变化,迫使后层不断适应新分布。论文用这个术语解释训练为何慢、为何对初始化敏感。
\n\n公式写在论文第 3 节:对 mini-batch(小批量)求均值与方差,归一化后做仿射变换,形式为 y 等于(x 减均值)除以根号下(方差加 eps),再乘 gamma、加 beta。gamma(缩放参数)与 beta(平移参数)是可学习参数,用来恢复表达能力。常被忽略的一点:归一化不是把激活压死,缩放与平移权留给网络自己调。
\n\n训练与推理行为不同,这是最容易出错的地方。PyTorch(开源深度学习框架)官方文档页 torch.nn.BatchNorm2d(二维批归一化层接口)写明:训练时用当前 batch(批内样本)的统计量。此处有个反直觉细节,PyTorch(开源深度学习框架)较新版本文档(以对应版本文档为准)原文直引:前向计算的标准差用有偏估计(原文措辞 biased estimator,对应 torch.var(..., unbiased=False)),而滑动平均里存的标准差用无偏估计(原文措辞 unbiased,对应 torch.var(..., unbiased=True))。两处口径不一致是官方明示的行为,不是实现缺陷(引用时以当日版本文档为准)。eps(防零除的小常数)默认 1e-5,momentum(动量系数)默认 0.1。文档特别注明:此处的动量与优化器里的动量含义不同,它是滑动平均的更新系数。还有一条硬细节:track_running_stats(滑动统计开关)关闭时,评估阶段也改用批内统计,不再走滑动平均。若忽略此点,推理结果会随批内样本组成波动。
\n\n统计维度也要说清。BatchNorm(批归一化,下同 BN)与下文 LayerNorm 的差别就在统计切法。形状为(样本数,通道数,高,宽)的输入,BatchNorm2d(二维批归一化层)沿通道维统计,对每个(样本,高,宽)切片算均值与方差。同一通道在整批、整幅空间共享一组统计量。LayerNorm(层归一化)不是这个切法,两者不能互换。
\n\n论文给出的收益包括:允许更大学习率、降低对初始化的依赖、部分替代 Dropout(随机失活正则法)。这些是论文表述。复现时数值随任务变化。还有一项只找到单一出处:论文里饱和激活函数下的梯度行为定量曲线。第二处印证没找到,此处不引用具体倍数。
\n\n残差连接:退化问题的表述与恒等快捷路径
\n\n条目二论文(arXiv 编号 1512.03385,作者署名 He 等四人)处理的现象叫退化。论文表述明确:深层网络训练误差反而高于浅层,且这不是过拟合,因为训练误差本身就在上升。论文进一步声称,退化不是梯度消失造成的,而是优化困难。这句是论文表述,后续工作对此有讨论,引用时应标注来源而非当作定论。
\n\n结构上,残差块学的是残差函数 F(x),输出 F(x)+x。维度一致时快捷连接取恒等映射,零额外参数。维度不一致,论文给两种方案:补零填充或 1×1 卷积投影。实验结论:恒等映射方案在参数量与精度上更划算。
\n\n设计要点一句话:学恒等映射比学零映射容易。当某一层的最优变换接近恒等映射时,优化器只要把 F(x) 压向零,不必从头拟合恒等变换。这是结构先验,不是训练技巧。
\n\n论文在 ImageNet(百万级图像分类数据集)上用相同深度的 plain(直筒式无捷径)网络与残差网络对比,控制变量比训练误差曲线。具体层数与误差数值不逐项引用,素材未逐表核验。可执行的做法:复现时先画训练误差曲线,深层高于浅层且训练误差不降,再考虑残差结构,别先怀疑梯度消失。
\n\n三、两者的边界与落地判断规则
\n\nBN改的是数值分布,残差改的是信息通路。二者可以叠加,但排查问题时顺序不同。
\n\n| 现象 | 先查 | 依据 |
|---|---|---|
| 训练初期损失震荡。 | 批归一化的动量系数与批大小。 | 条目三文档页。 |
| 推理精度掉点。 | 滑动统计开关与滑动平均值。 | 条目三文档页。 |
| 深层训练误差反升。 | 残差快捷路径是否恒等。 | 条目二论文。 |
| 小批量下批归一化不稳。 | 统计量噪声,考虑换归一化维度。 | 条目一论文。 |
三条可执行规则。第一,读BN先分清训练与评估两套统计量,再看eps与momentum的默认值,不要拿优化器momentum套用。第二,读残差先确认快捷连接是否带参数,恒等映射与投影的结论不能混用。第三,引用"退化不是梯度消失"时必须标注为论文表述,不当作已证结论。
\n\n两篇论文的表述都克制。BN没有承诺收敛速度的普适倍数,残差没有承诺任意深度都更好训练。复现时按原文条件设置,再谈收益。