首页 /文章 /注意力机制的矩阵运算与复杂度

注意力机制的矩阵运算与复杂度

本文基于arXiv论文与PyTorch文档,详解自注意力机制的矩阵运算流程及O(n²d)复杂度成因,对比模块级与函数级接口差异,提供代码审查规则,指出长序列瓶颈及Flash Att。

Attention Is All You Need自注意力计算复杂度PyTorchFlash Attention2026Q4
分类:基础理论 › 数学基础 发布于 2026-10-25 28 次浏览

来源对照(2026-10-26 核验)。条目一:arXiv(论文预印本平台)编号 1706.03762《Attention Is All You Need(注意力就是全部所需)》正文公式与复杂度对照表。条目二:PyTorch(开源深度学习框架)文档 MultiheadAttention(多头注意力模块)页。条目三:同框架文档 scaled_dot_product_attention(缩放点积注意力函数)页。

\n

注意力机制的矩阵运算与复杂度

\n\n

自注意力的计算核心只有三步:打分、归一、加权。复杂度对序列长度是平方级。下文将详细推导该结论。

\n\n

给定输入矩阵X,形状为n×d,n是序列长度,d是模型维度。线性投影得到Q=XW_Q、K=XW_K、V=XW_V,三个矩阵形状都是n×d_k(多头时d_k是每个头的维度)。打分矩阵S=QK^T,形状n×n。这一步的乘法代价是n·n·d_k次乘加。softmax(归一化函数,把一组分数压成和为一的权重)沿最后一维归一化,逐行处理,代价与 n 的平方成正比。加权求和 softmax(S)V,形状 n×n 乘以 n×d_k,得到 n×d_k 的输出。三步串起来,主导项是n^2·d_k。条目一论文正文给出的缩放点积注意力公式为:Attention(注意力函数)等于 softmax 作用于(Q 乘 K 转置除以根号 d_k)再乘 V。其复杂度对照表把自注意力每层列为 O(n 平方乘 d),与循环层 O(n 乘 d 平方)、卷积层并列对比。平方项就来自那个n×n的打分矩阵。

\n\n

维度对应关系逐项核对。QK^T 要求 Q 与 K 列数相等,都是 d_k,乘出来才是 n×n。除以 √d_k 是标量缩放,不改形状,作用是压住点积随 d_k 增长的方差,论文正文有说明。softmax 作用在每一行:n 个分数归一化成权重,行和为一。再乘 V(n×d_v),列数 n 与 V 行数 n 对齐,输出 n×d_v。多头(multi-head,把模型维度拆成 h 份各自独立算注意力再拼接)时每个头独立做这套运算,d_k=d_model/h,拼接后经输出投影合并。条目二文档的形状约定与此一致:query 形状 (L,E),key/value 形状 (S,E),输出 (L,E),权重形状 (L,S)。L 与 S 不必相等。交叉注意力里就是两个不同长度。

\n\n

复杂度随 n 的变化不是线性的。n 翻倍,打分矩阵元素数变四倍,乘加次数也变四倍。长序列的主要瓶颈在于此。序列从 512 涨到 4096,平方项涨 64 倍,显存里那个 n×n 中间矩阵同样涨 64 倍。条目一中的复杂度对照表清晰表明:自注意力用平方换并行,循环层线性但串行。两条路径各有代价,不存在两头都占的选项。

\n\n

实现层面的两个入口

\n\n

框架提供两个层次的接口。条目二所述模块级封装,内部完成投影、分头、缩放点积、拼接、输出投影,文档页给出q/k/v投影权重与out_proj的形状约定,也支持键位掩码与注意力掩码两类开关。条目三所述函数级入口直接接收已投影好的 Q、K、V,文档明确支持多种后端,含一类 IO 感知(以读写显存的次数为优化目标)的快速注意力算子实现 Flash Attention(快闪注意力核,跳过中间矩阵直接分块计算)。后端切换是定性能力:在满足条件时减少中间 n×n 矩阵的物化,从而缓解显存压力。具体节省比例随 PyTorch(开源深度学习框架)版本、硬件、数据类型、掩码类型变化,第二处量化出处未找到,本文不写数字。

\n\n

两个入口的差别在责任划分。模块级接口把投影和分头包进去,调用者只管传embedding;函数级接口要求调用者自己管投影和头维度,换来的是对后端的直接控制。做复杂度分析时,函数级接口更透明,因为Q、K、V的形状和d_k一目了然。在工程集成场景下,模块级接口更便捷。选择取决于是否需要在中间张量上做干预。

\n\n
\n\n\n\n\n\n\n
运算步骤与代价对照表
步骤输入形状输出形状主导代价
线性投影。n×d。n×d_k。n·d·d_k。
打分QK^T。n×d_k与d_k×n。n×n。n^2·d_k。
缩放与softmax。n×n。n×n。n^2。
加权求和。n×n与n×d_v。n×d_v。n^2·d_v。
\n\n

表中四行代价相加,平方项压过线性项,总复杂度为 O(n 平方乘 d)。形状部分条目一与条目二、三两处来源一致;代价量级仅条目一给出,第二处独立教材印证未找到,留白待核。多头不改变量级:h个头每个做n^2·d_k,d_k=d/h,合计仍是n^2·d。

\n\n

可执行判断规则

\n\n

拿到一段注意力代码,按下面顺序判断即可,不必猜。

\n\n

第一,看QK^T的两个操作数最后一维是否相等,不等就是维度错误,与复杂度无关。第二,看softmax作用在哪一维,必须是打分矩阵的最后一维,作用错维度的结果行和不为一时直接判错。第三,估算 n 平方乘 d_k 与 n 乘 d 平方谁大:n远大于d时平方项主导,此时优先考虑函数级接口与支持flash后端的路径;n与d同量级时投影代价不可忽略,不应仅关注打分矩阵的开销。第四,看到任何声称显存节省具体倍数的说法,先问版本、硬件、dtype、mask四个条件是否写明,缺一个就不采信。第五,序列长度是唯一进入平方项的变量,压长度比压维度更有效,这是从条目一的复杂度对照表直接读出的操作顺序。

\n\n

平方项不是缺陷,是设计选择的结果。判断一段实现是否合理,看它有没有把这个平方项放在明面上处理。

关键词 Attention Is All You Need自注意力计算复杂度PyTorchFlash Attention2026Q4 000111