文章
全部内容 · 共 20 篇 · 最新在前
小模型上位工程记:7B级模型在垂直任务替换大模型的评估流程
垂直场景替换大模型需严谨流程:从专属抽样、离线打分到影子流量与回退开关,构建可复制的评估线,规避盲目切换风险。
2026欧盟AI法案金融信贷合规实务
文章解析2026年欧盟AI法案与中国算法备案在金融信贷领域的合规差异,对比高风险监管与备案制度,提出动态映射机制以应对跨境双重监管挑战。
端侧推理后端怎么选:CPU/GPU/NPU 三类后端在官方文档里的支持矩阵
端侧推理后端选型缺少单页速查表:ExecuTorch、LiteRT、ONNX Runtime 三类后端的量化支持、算子回退与平台门槛分散在各 EP 文档页。本文按公开文档整理支持矩阵与空格的含义。
AI 代码审查工具到底审什么:官方文档能核实的检查项与漏检边界
文章基于ExecuTorch、LiteRT及ONNX Runtime官方文档,梳理AI代码审查在端侧推理中的检查项与漏检边界。
蒸馏上线的合规与评测:小模型不是大模型的免费副本
文章剖析小模型蒸馏面临的合规风险,指出欧盟AI法案及OpenAI等厂商许可条款收紧,强调需厘清版权与合同责任,并借助ISO/NIST标准建立评测证据链。
提示缓存与上下文缓存:省钱之前先算失效
本文解析OpenAI、Anthropic等主流LLM API的提示缓存机制,强调精确前缀匹配与TTL失效风险。
GPU 推理的冷启动与缩容:serverless 不是万能
本文解析GPU推理中Serverless缩容的局限,指出冷启动包含权重加载、运行时初始化等四段代价。
端侧模型的运行时选择:llama.cpp、MLX、ONNX Runtime 与 ExecuTorch
本文对比llama.cpp、MLX、ONNX Runtime及ExecuTorch四大端侧推理运行时,分析其平台假设、量化机制与内存管理差异,指出选型应优先考量模型来源、目标平台兼。
从预训练缩放定律到推理期计算:公开论文口径对照
本文对照Kaplan与Chinchilla缩放定律及推理期计算研究,强调引用公式需明确拟合区间、损失口径及外推边界,并指出跨报告数据口径差异风险,旨在规范基础理论栏目对缩放定律的解。
AI 助教进课堂与论文复现:2026 年公开试点数据的横向盘点
盘点2026年AI在编程、课堂及科研领域的试点数据,指出任务复杂度与上下文依赖决定提效方向,强调评估需警惕自循环偏差,主张结合样本量与任务类型理性解读效果。
注意力机制的矩阵运算与复杂度
本文基于arXiv论文与PyTorch文档,详解自注意力机制的矩阵运算流程及O(n²d)复杂度成因,对比模块级与函数级接口差异,提供代码审查规则,指出长序列瓶颈及Flash Att。
工作流编排的两种范式:DAG 与 Agent 循环在官方文档中的边界划分
文章对比Anthropic、LangGraph与Airflow文档,指出工作流编排边界在于路径决定权:开发者预设即workflow,模型运行时生成即agent。
Transformer 注意力机制——数学推导与实现要点
Transformer 注意力机制的原理与实现。从 Q、K、V 推导出发,说明多头注意力与位置编码,分析 O(N²) 瓶颈及 GQA 等优化路径。
MoE 混合专家架构——路由机制与显存特性
MoE 架构的机制与资源特性。说明五种路由方案的实现与训练特性,澄清“激活参数”与“显存占用”的区别,对比 2026 年 9 月主流实现。