首页 /文章 /RAG 里「切块大小」怎么定:从公开论文与官方文档能读出的四条经验规则

RAG 里「切块大小」怎么定:从公开论文与官方文档能读出的四条经验规则

文章基于RAG原论文及LlamaIndex、LangChain文档,提出切块四规则:先定检索粒度、补元数据、重叠量按需设、小块准大块全仅为经验。

RAG切块策略LlamaIndexLangChain2026Q4
分类:应用开发 › RAG 检索增强生成 发布于 2026-10-25 31 次浏览

来源对照(核验于发布当日)。条目一:arXiv(论文预印本平台)编号 2005.11401,RAG(检索增强生成)的开山论文。条目二:LlamaIndex(开源检索框架)文档的节点解析页,实测可访问。条目三:LangChain(开源编排框架)文档的分块参数页。条目四:arXiv 编号 2312.10997,检索增强生成综述。

\n

RAG 里「切块大小」怎么定:从公开论文与官方文档能读出的四条经验规则

\n\n

目前不存在普适的切块大小最优解,公开材料只支持四条可操作规则,其余判断需以自有数据实测为准;文中各规则均标注出处,未核实的数字一律不写具体值。

\n\n

规则一:先定检索粒度,再谈字数

\n\n

RAG 原论文及主流实现倾向于将检索单元设定为稠密段落而非整篇文档(条目一,2020 年 5 月提交,已核验)。具体粒度表述未回查原论文全文,常见转述里的“约一百词”属未核实范围,此处不引用该数值。

\n\n

这条规则的实际含义只有一句:切块是检索器的输入单位,不是存储单位。切多大,取决于希望检索器一次命中多少语义。整篇塞进去,向量被平均掉,召回变糊;切得太碎,单块缺主语缺指代,检索再准也答不全。先把“一次检索要拿回什么”写清楚,再决定字数。

\n\n

规则二:切块要带元数据,不能只留纯文本

\n\n

条目二的文档写明:文档被切分为节点对象,并支持元数据继承。该页当日实测可访问。

\n\n

这一条比尺寸更值得优先做。切块时把来源文件、章节标题、页码、时间戳挂到每个节点上,检索后能过滤、能溯源、能拼回上下文。常见的“切块效果差”问题,往往与切分后丢失结构信息有关。尺寸调来调去,不如先把元数据补上。条目二里关于块尺寸与重叠量的具体推荐值未核到原文,此处不给数。

\n\n

规则三:重叠量是补丁,不是默认项

\n\n

条目三的文档有块尺寸与重叠量的建议口径及默认值,具体数值未核到原文,此处不抄。能确定的是:overlap 的作用是防止边界切断语义单元,代价是存储和检索冗余上升。

\n\n

判断口径就一条。看边界。观察切块是否频繁切断句子、表格行、代码块。切断了就加一点重叠量,没切断就不加。重叠量设大了,同一段内容在多个块里重复出现,检索结果互相挤占名额,召回反而变差。这一点可复测:固定其他参数,只调重叠量,观察命中率曲线。对于非官方文档给出的通用推荐值,应持审慎态度。

\n\n

规则四:「小块召回准、大块上下文全」是经验归纳,不是结论

\n\n

这句话流传很广,但缺乏单一权威出处,具体阈值与实验条件均未核实。严格说,连一处硬出处都难以找到。

\n\n

它的问题在于把两个维度混成一个。召回准不准,取决于 query 与块的语义匹配度;上下文全不全,取决于生成阶段能拿到多少相关材料。这两件事可以用不同手段解耦:小块检索、按元数据或邻近关系扩展上下文,属于常见工程做法,但效果因数据而异。把这句经验归纳当作公理直接套用阈值,缺乏严谨性。

\n\n

可复测的方法在这里。具体做法:固定嵌入(向量编码)模型、固定检索返回数、固定生成模型,只改变切块大小,在同一批标注查询上运行,记录召回率与答案完整度两条曲线。曲线交叉点附近的参数范围通常被视为性能平衡区。没有标注集就先人工标几十条,够看出趋势;他人报告的数值不可直接照抄。

\n\n

一张对照表,把能确定的和不能确定的分开

\n\n
\n\n\n\n\n\n\n\n\n
可确定与不可确定事项对照表
事项状态出处
检索单元为稠密段落已核验条目一
具体段落词数未核实,不引用需回查原始文档
综述论文编号已核验条目四
切块为节点且继承元数据已核验条目二
框架尺寸推荐值未核实,不引用条目二、三
小块准大块全经验归纳,无权威出处未核实
\n\n

表格中保留“未核实”状态旨在强调数据溯源的重要性:数值只要没有核对到原始文档,落笔即属二手转述,而转述在每一次复制中都会漂移,等到有人拿它去做容量规划时,误差已经无法追溯源头。

\n\n

可执行判断规则

\n\n

三条规则按顺序连成一条操作路径:切块之前先把“检索单元是什么”写成文字,写不出来就不必调参数;元数据补齐之前不碰尺寸,补齐之后再谈尺寸与重叠量;尺寸与重叠量的取舍只采信自有标注集上的曲线,曲线没跑出来以前,论文里的、文档里的、任何场合给出的推荐值都按假设处理。该流程虽不直接给出最优解,但能确保调参过程的可复现性与依据的可靠性。剩下的判断,交给自有数据说话。

关键词 RAG切块策略LlamaIndexLangChain2026Q4 000106