文章
全部内容 · 共 29 篇 · 最新在前
Anthropic 招股书里的数字链:估值该按哪条口径复算
Anthropic S-1 招股书数字链拆解:9.74亿经营利润与807亿净亏损为何同时成立,估值该按哪条口径复算。
代理说测试全绿,怎么证明这些测试本可以失败
mustfail 思路:测试要先证明自己能失败,才配说它通过。文章拆了断言、变异、反证三层做法,给出落地清单。
LLM 发布门禁:用离线评测加在线金丝雀替代拍脑袋
本文结合欧盟AI法案与NIST框架,提出以离线回归评测、在线金丝雀监控及预设回滚机制构建LLM发布门禁,替代主观决策,实现可审计的放量流程。
Agent 可观测性:把 token、工具调用和失败原因放进 trace
本文解析OpenTelemetry GenAI语义约定,指导如何将Agent的token用量、工具调用及失败原因纳入统一trace树,解决日志定位失效问题,并给出采样与隐私合规的工。
RAG 评测集的最小可用标准
本文梳理RAG评测最小可用标准,涵盖答案正确性、归因一致性、检索召回及对抗鲁棒性四层机制,强调自建评测集需分层抽样与版本管理,警惕公开指标跨域迁移风险。
SWE-bench 之后:编码 Agent 评测如何避免刷榜
本文剖析SWE-bench及Verified子集在编码Agent评测中的刷榜风险,指出答案泄漏、成本偏差及过程黑箱问题,提出通过固定环境、轨迹审计与成本调整通过率构建可信评测体系。
温度调低不等于结果更可靠:LLM 采样参数的一个常见误解
文章澄清LLM采样参数误解:降低temperature仅改变分布形状,不提升事实准确性或保证可复现。
把「上下文窗口大」当成「记忆好」:三个已被公开文档证伪的常见假设
文章指出上下文窗口大不等于记忆好,逐一证伪塞得进就用得上、窗口上限即记忆量、窗口越大越省事三个假设,强调需做位置扰动评测并分开核算token成本。
大模型应用岗高频面试题归档:公开面经交叉核对
本文归档大模型应用岗公开面经中的高频面试题,按RAG原理、Agent设计、prompt细节、评测方法四类归纳典型问法与准备建议,并给出时间分配和备真实项目细节等优先级规则,所有题目。
同一模型换基准分数不能直接相减:编码基准交叉核对手册
SWE-bench Verified 等编码基准的公开分数怎么对照着读:四家来源并列、测试条件逐行标注,给出同榜/跨榜差距可信度的三条判断规则。
Bonsai 2 补齐三款三值量化模型:9B 只有 2GB,端侧 agent 的账要重新算
PrismML 新增基于 Qwen3.5 的三值量化模型 Bonsai 2 2B/4B/9B(权重仅 -1/0/+1),9B 体积 2GB、比全精度小 9 倍以上;4090/M5 Pro 上吞吐最高 5 倍、能效 3 倍,iPhone 上 9B 达 34 tokens/s。Apache 2.0 开源,llama.cpp/MLX 可跑;保留率具体数字未公开是选型缺口。
一小时写一个星际争霸机器人:StarSkirmish v0.2 测出大模型的长程编程成色
StarSkirmish Bench v0.2:给每个大模型 1 小时用官方 CLI 写星际争霸 C++ 机器人再打人类 bot 循环赛。GPT-6 Astra 居首但对人类顶级 bot 胜率仅 7%;GPT-6.1 Sol 以约十分之一成本拿第二;得分最强预测因子是敢不敢早练强敌。
一小时能写出多强的星际争霸机器人?大模型"写代码打比赛"基准出炉
评测规则很简单:给每个大模型 1 小时,从零写一个星际争霸机器人,然后拿去跟人类写的竞技级机器人打,看胜率。这就是 StarSkirmish Bench v0.2。规则不新,狠在对手是真人写的竞技级机器人。
RAG 系统评估——指标、数据集与落地方法
RAG 系统的评估方法。提出分层指标体系,说明黄金 QA 集的构建要点与评估方法,归纳常见失败模式与诊断流程,可供搭建可复跑的评测流程。
GPT-5 架构拆解——稀疏注意力、MoE 与记忆管理
GPT-5 架构的公开信息梳理与推断。基于官方口径与逆向分析,讨论稀疏 MoE、动态注意力、显式思维三方面推断,说明其对应用适配的工程影响。
LLM 对齐技术——RLHF、DPO 与 Constitutional AI 对比
主流 LLM 对齐技术的对比与选型。梳理 RLHF、DPO、Constitutional AI 三条路线,从七个维度对比特性,给出场景决策表与调优陷阱。
大模型推理优化——KV 缓存与量化的取舍
大模型推理阶段的显存与成本优化。以 27B 模型在 A100 80GB 上的部署为例,对比 KV 缓存与量化两条路线的取舍与精度代价,并给出部署组合建议。
长上下文技术——位置编码、记忆压缩与成本
长上下文技术的成本结构。围绕位置编码与记忆压缩,结合 27B 模型实测,分析上下文由 4K 扩展至 1M 时的性能与成本变化,供预算与选型参考。
自建还是调 API:LLM 成本分界点的算法
自建 GPU 与 API 调用的成本结构拆解(输入/输出、缓存命中率、GPU 折旧、利用率、运维)+ 三条分界点通用公式(含利用率与现金流修正)+ 2026-09 四个修正项(GPU 价格战/框架效率/推理服务化/缓存杠杆)+ 五档 token 量级速查表 + 四类常见误判。
本地部署显存计算:通用公式与 27B 实操
LLM 显存三部分构成(权重 / KV Cache / 系统开销)+ 通用计算公式(FP16/INT8/INT4/AWQ/GGUF 对照表)+ KV Cache 长上下文爆炸风险 + 27B INT4 在 24GB 卡上的完整估算工作流 + MoE 模型显存陷阱(按总参数量算)+ 实操步骤。
Gemini 3.8 Flash 上线后:Google 长程 Agent 策略拆解
Gemini 3.8 Flash(2026-09-02 GA)技术规格(100万 token 上下文、多模态输入)+ 定价策略($0.75/$3.75 推广期至 2026-12-31)+ 性能基准(14 项 8 项第一)+ 3.8 Live 语音特化拆分 + Google 长程 Agent 策略全景 + 6 个场景选型建议。