首页 /文章 /从预训练缩放定律到推理期计算:公开论文口径对照

从预训练缩放定律到推理期计算:公开论文口径对照

本文对照Kaplan与Chinchilla缩放定律及推理期计算研究,强调引用公式需明确拟合区间、损失口径及外推边界,并指出跨报告数据口径差异风险,旨在规范基础理论栏目对缩放定律的解。

Scaling LawsChinchillaKaplanInference-time ComputeLlama 22026Q4
分类:基础理论 发布于 2026-10-25 37 次浏览

来源对照(抓取日期 2026 年 10 月 25 日,全部为公开论文)。条目一:Kaplan(谷歌早期研究员)等《神经语言模型的缩放定律》,arXiv(论文预印本平台)编号 2001.08361。条目二:Chinchilla(谷歌旗下 DeepMind(深度思维实验室)的龙猫代号模型)论文《训练计算最优的大语言模型》,2203.15556。条目三:推理期计算优化研究,2408.03314。条目四:Llama(开源大模型系列)2 技术报告,2307.09288。本文是基础理论栏目导航文:只对照论文自述口径与适用条件,不推导新结论。

\n

这个栏目收什么:把公式的前提讲全

\n

基础理论栏目的收录底线是一句话:任何缩放公式,必须连同它的拟合区间、损失口径、外推边界一起出现。只抄结论句的文章在本栏目不发。

\n

第一组对照:参数优先还是数据优先

\n

缩放定律的第一场公开争论在 2020 与 2022 年间。Kaplan 团队(条目一)的结论偏向参数优先:最优参数量增长快于数据量。Chinchilla 团队(条目二)用四百多个模型重新拟合,得出接近相反的配比:每个参数配二十个令牌上下才算计算最优,并用七十亿参数配一点四万亿令牌的实验验证。

\n

两文为何都对?差异出在拟合区间与损失口径:前者的数据范围没覆盖后者的量级。结论自然分叉。引用任何一方都必须写区间。这是本栏目的硬性要求。

\n

第二组对照:训练期计算与推理期计算

\n

2024 年起讨论重心移到推理期:给模型更多思考预算(多路采样、验证器筛选),小模型能在难题上换到大模型效果(条目三)。关键限定是论文自述的适用范围:该结论按任务难度分档报告,简单任务上追加计算反而有害;不同模型、不同任务的曲线不能叠在一张图上比。

\n

读推理期缩放文章的检查点因此有三条:任务难度怎么分档、计算预算怎么计量、验证器本身花不花钱。缺任何一条,数字都无法复算。

\n

第三组对照:论文口径与开源报告口径

\n

同一指标在不同报告里含义不同。Llama 2 技术报告(条目四)公开的训练令牌量与其模型卡存在不一致的记载先例。引用开源模型数据时,要注明取自哪份文件哪个版本。跨模型的缩放曲线直接并排画?多半是把口径不同的两组数硬拼。

\n

外推的边界

\n

Chinchilla 论文同时给出了拟合误差的来源:区间外推最容易失效,参数估计对损失口径敏感(条目二)。本栏目的统一立场:所有"按定律预测未来"的文章,必须写明所用定律的拟合范围与原文自报误差;超出范围的预测只能标注为假设。

\n

读这个栏目的顺序建议

\n

先读 Kaplan 与 Chinchilla 对照文,再读推理期计算文,最后碰外推争议文。公式推导类深文集中在本栏目后段,入门读者先去入门与导航栏目拿基线课程。

\n

条件声明

\n

文中全部结论为论文自述口径,出处见对照区;拟合区间、误差范围以原文为准,本文转述不构成对任何配比建议的背书。开源模型数据以对应版本文件为准。

关键词 Scaling LawsChinchillaKaplanInference-time ComputeLlama 22026Q4 000134