文章
全部内容 · 共 5 篇 · 最新在前
数学基础
提示缓存与上下文缓存:省钱之前先算失效
本文解析OpenAI、Anthropic等主流LLM API的提示缓存机制,强调精确前缀匹配与TTL失效风险。
浏览 50 次
2026-10-28 →
数学基础
GPU 推理的冷启动与缩容:serverless 不是万能
本文解析GPU推理中Serverless缩容的局限,指出冷启动包含权重加载、运行时初始化等四段代价。
浏览 28 次
2026-10-28 →
数学基础
注意力机制的矩阵运算与复杂度
本文基于arXiv论文与PyTorch文档,详解自注意力机制的矩阵运算流程及O(n²d)复杂度成因,对比模块级与函数级接口差异,提供代码审查规则,指出长序列瓶颈及Flash Att。
浏览 30 次
2026-10-25 →