首页 /文章

文章

全部入门与导航基础理论大模型专题应用开发工程与基础设施行业与场景伦理、安全与合规综合项目与职业成长
大模型专题 模型家族与选型 5预训练与微调 3对齐技术 1模型侧推理改造 3模型能力与范式 3评测与基准 2

全部内容 · 共 29 篇 · 最新在前

评测与基准

评测脚本本身也是变量:harness 配置如何改变同一模型的分数

文章指出评测分数受harness配置影响。

浏览 22 次 2026-11-04 →
大模型专题

Anthropic 招股书里的数字链:估值该按哪条口径复算

Anthropic S-1 招股书数字链拆解:9.74亿经营利润与807亿净亏损为何同时成立,估值该按哪条口径复算。

浏览 85 次 2026-10-30 →
大模型专题

代理说测试全绿,怎么证明这些测试本可以失败

mustfail 思路:测试要先证明自己能失败,才配说它通过。文章拆了断言、变异、反证三层做法,给出落地清单。

浏览 64 次 2026-10-30 →
大模型专题

AI代理执行shell命令的护栏该长在哪一层:从shellfirm说起

本文以shellfirm为例,探讨AI代理执行Shell命令的护栏设计。

浏览 49 次 2026-10-30 →
预训练与微调

LLM 发布门禁:用离线评测加在线金丝雀替代拍脑袋

本文结合欧盟AI法案与NIST框架,提出以离线回归评测、在线金丝雀监控及预设回滚机制构建LLM发布门禁,替代主观决策,实现可审计的放量流程。

浏览 34 次 2026-10-28 →
预训练与微调

Agent 可观测性:把 token、工具调用和失败原因放进 trace

本文解析OpenTelemetry GenAI语义约定,指导如何将Agent的token用量、工具调用及失败原因纳入统一trace树,解决日志定位失效问题,并给出采样与隐私合规的工。

浏览 25 次 2026-10-28 →
模型家族与选型

RAG 评测集的最小可用标准

本文梳理RAG评测最小可用标准,涵盖答案正确性、归因一致性、检索召回及对抗鲁棒性四层机制,强调自建评测集需分层抽样与版本管理,警惕公开指标跨域迁移风险。

浏览 25 次 2026-10-28 →
模型家族与选型

SWE-bench 之后:编码 Agent 评测如何避免刷榜

本文剖析SWE-bench及Verified子集在编码Agent评测中的刷榜风险,指出答案泄漏、成本偏差及过程黑箱问题,提出通过固定环境、轨迹审计与成本调整通过率构建可信评测体系。

浏览 28 次 2026-10-28 →
大模型专题

温度调低不等于结果更可靠:LLM 采样参数的一个常见误解

文章澄清LLM采样参数误解:降低temperature仅改变分布形状,不提升事实准确性或保证可复现。

浏览 40 次 2026-10-25 →
预训练与微调

LoRA原文关键参数与结论

本文解析LoRA核心机制与关键参数,指出其通过冻结原权重、训练低秩矩阵实现高效微调。

浏览 38 次 2026-10-25 →
大模型专题

把「上下文窗口大」当成「记忆好」:三个已被公开文档证伪的常见假设

文章指出上下文窗口大不等于记忆好,逐一证伪塞得进就用得上、窗口上限即记忆量、窗口越大越省事三个假设,强调需做位置扰动评测并分开核算token成本。

浏览 33 次 2026-10-25 →
大模型专题

大模型应用岗高频面试题归档:公开面经交叉核对

本文归档大模型应用岗公开面经中的高频面试题,按RAG原理、Agent设计、prompt细节、评测方法四类归纳典型问法与准备建议,并给出时间分配和备真实项目细节等优先级规则,所有题目。

浏览 36 次 2026-10-25 →
大模型专题

同一模型换基准分数不能直接相减:编码基准交叉核对手册

SWE-bench Verified 等编码基准的公开分数怎么对照着读:四家来源并列、测试条件逐行标注,给出同榜/跨榜差距可信度的三条判断规则。

浏览 47 次 2026-10-25 →
模型侧推理改造

Bonsai 2 补齐三款三值量化模型:9B 只有 2GB,端侧 agent 的账要重新算

PrismML 新增基于 Qwen3.5 的三值量化模型 Bonsai 2 2B/4B/9B(权重仅 -1/0/+1),9B 体积 2GB、比全精度小 9 倍以上;4090/M5 Pro 上吞吐最高 5 倍、能效 3 倍,iPhone 上 9B 达 34 tokens/s。Apache 2.0 开源,llama.cpp/MLX 可跑;保留率具体数字未公开是选型缺口。

浏览 43 次 2026-10-21 →
模型侧推理改造

一小时写一个星际争霸机器人:StarSkirmish v0.2 测出大模型的长程编程成色

StarSkirmish Bench v0.2:给每个大模型 1 小时用官方 CLI 写星际争霸 C++ 机器人再打人类 bot 循环赛。GPT-6 Astra 居首但对人类顶级 bot 胜率仅 7%;GPT-6.1 Sol 以约十分之一成本拿第二;得分最强预测因子是敢不敢早练强敌。

浏览 47 次 2026-10-21 →
大模型专题

一小时能写出多强的星际争霸机器人?大模型"写代码打比赛"基准出炉

评测规则很简单:给每个大模型 1 小时,从零写一个星际争霸机器人,然后拿去跟人类写的竞技级机器人打,看胜率。这就是 StarSkirmish Bench v0.2。规则不新,狠在对手是真人写的竞技级机器人。

浏览 47 次 2026-10-18 →
评测与基准

RAG 系统评估——指标、数据集与落地方法

RAG 系统的评估方法。提出分层指标体系,说明黄金 QA 集的构建要点与评估方法,归纳常见失败模式与诊断流程,可供搭建可复跑的评测流程。

浏览 73 次 2026-09-22 →
模型家族与选型

GPT-5 架构拆解——稀疏注意力、MoE 与记忆管理

GPT-5 架构的公开信息梳理与推断。基于官方口径与逆向分析,讨论稀疏 MoE、动态注意力、显式思维三方面推断,说明其对应用适配的工程影响。

浏览 64 次 2026-09-22 →
对齐技术

LLM 对齐技术——RLHF、DPO 与 Constitutional AI 对比

主流 LLM 对齐技术的对比与选型。梳理 RLHF、DPO、Constitutional AI 三条路线,从七个维度对比特性,给出场景决策表与调优陷阱。

浏览 68 次 2026-09-22 →
模型侧推理改造

大模型推理优化——KV 缓存与量化的取舍

大模型推理阶段的显存与成本优化。以 27B 模型在 A100 80GB 上的部署为例,对比 KV 缓存与量化两条路线的取舍与精度代价,并给出部署组合建议。

浏览 74 次 2026-09-22 →
模型能力与范式

长上下文技术——位置编码、记忆压缩与成本

长上下文技术的成本结构。围绕位置编码与记忆压缩,结合 27B 模型实测,分析上下文由 4K 扩展至 1M 时的性能与成本变化,供预算与选型参考。

浏览 77 次 2026-09-22 →
大模型专题

自建还是调 API:LLM 成本分界点的算法

自建 GPU 与 API 调用的成本结构拆解(输入/输出、缓存命中率、GPU 折旧、利用率、运维)+ 三条分界点通用公式(含利用率与现金流修正)+ 2026-09 四个修正项(GPU 价格战/框架效率/推理服务化/缓存杠杆)+ 五档 token 量级速查表 + 四类常见误判。

浏览 52 次 2026-09-21 →
大模型专题

本地部署显存计算:通用公式与 27B 实操

LLM 显存三部分构成(权重 / KV Cache / 系统开销)+ 通用计算公式(FP16/INT8/INT4/AWQ/GGUF 对照表)+ KV Cache 长上下文爆炸风险 + 27B INT4 在 24GB 卡上的完整估算工作流 + MoE 模型显存陷阱(按总参数量算)+ 实操步骤。

浏览 60 次 2026-09-21 →
大模型专题

Gemini 3.8 Flash 上线后:Google 长程 Agent 策略拆解

Gemini 3.8 Flash(2026-09-02 GA)技术规格(100万 token 上下文、多模态输入)+ 定价策略($0.75/$3.75 推广期至 2026-12-31)+ 性能基准(14 项 8 项第一)+ 3.8 Live 语音特化拆分 + Google 长程 Agent 策略全景 + 6 个场景选型建议。

浏览 35 次 2026-09-21 →
1 / 2 下一页