首页 /文章

文章

全部入门与导航基础理论大模型专题应用开发工程与基础设施行业与场景伦理、安全与合规综合项目与职业成长
基础理论 数学基础 5机器学习基础 2深度学习基础 2神经网络架构 2训练与优化 1

全部内容 · 共 5 篇 · 最新在前

数学基础

提示缓存与上下文缓存:省钱之前先算失效

本文解析OpenAI、Anthropic等主流LLM API的提示缓存机制,强调精确前缀匹配与TTL失效风险。

浏览 50 次 2026-10-28 →
数学基础

GPU 推理的冷启动与缩容:serverless 不是万能

本文解析GPU推理中Serverless缩容的局限,指出冷启动包含权重加载、运行时初始化等四段代价。

浏览 28 次 2026-10-28 →
数学基础

模型路由不是 if-else:级联、置信度与回退

本文解析LLM模型路由机制,涵盖级联、学习型路由及回退策略。

浏览 32 次 2026-10-28 →
数学基础

推理账单拆解:prefill、decode 与批处理的经济学

本文解析大模型推理成本结构,指出输出单价高源于decode串行瓶颈。

浏览 28 次 2026-10-28 →
数学基础

注意力机制的矩阵运算与复杂度

本文基于arXiv论文与PyTorch文档,详解自注意力机制的矩阵运算流程及O(n²d)复杂度成因,对比模块级与函数级接口差异,提供代码审查规则,指出长序列瓶颈及Flash Att。

浏览 30 次 2026-10-25 →