自建还是调 API:LLM 成本分界点的算法
自建 GPU 与 API 调用的成本结构拆解(输入/输出、缓存命中率、GPU 折旧、利用率、运维)+ 三条分界点通用公式(含利用率与现金流修正)+ 2026-09 四个修正项(GPU 价格战/框架效率/推理服务化/缓存杠杆)+ 五档 token 量级速查表 + 四类常见误判。
自建还是调 API:LLM 成本分界点的算法
\n以 H100 整机示意价 $30,000、API 单价 $0.15/百万 token 计,月 token(模型处理与计费的计量单位)消耗落在 69 亿至 146 亿之间时,自建与调 API 的成本大致打平;低于 69 亿,API 通常更省;高于 146 亿,自建开始占优。两个数分别对应“不计运维与利用率”和“计入运维与利用率”两种口径。分界点随卡价、电价、利用率和运维投入浮动,拿自家参数套一遍下文公式即可。文中价格为写作时公开定价页的示意价,采购时以当期报价单为准。
\n一、关键假设
\nA6000 48GB 约 $5,500;H100 整机按公开定价页示意价 $30,000 计(整机与二手价差较大,实际采购以报价单为准);退役残值通常跌到 10-20%。电费按 ¥0.6/kWh 计:4090 满载 350W、日均 8h 约 ¥1.7/天;H100 满载 700W、日均 8h 约 ¥3.4/天;机房与散热在电费基础上额外加 30-50%。美元与人民币按 1 美元≈7.2 元折算,汇率变动时自行重算。自建利用率典型值 30-60%,80% 属峰值而非常态,全年均值多在 30-60%;闲时 GPU 仍耗电,摊到有效产出上单价明显抬高。一线城市中级运维 1 人投入 50% 工时,年成本约 ¥15-30 万(含模型与框架更新、bug 修复、监控),折成上浮比例 m 的办法见第二节。推理框架方面,vLLM(高吞吐推理框架)与 llama.cpp(本地推理引擎)吞吐量存在量级差异,同硬件选错框架成本差可达数成,需按自家模型实测。
\n二、分界点公式与两组参数
\n以月 token 消耗量 P(单位:百万 token)为自变量,a 为 API 每百万 token 加权均价(输入/输出价差大时按实际配比加权),u 为自建每百万 token 的电费成本(不含折旧与运维),G 为 GPU 月折旧,r 为利用率,m 为运维成本相对电费成本的上浮比例。
\n临界值一(API 账单超过 GPU 折旧分摊,不计运维与利用率):P ≈ G ÷ (a − u),适用条件 a > u。
\n例:H100 按整机 $30,000(整机含 CPU/内存会更高,套用时查当期报价)、36 个月摊,G≈$833/月;API 单价 a=$0.15/百万、自建电费成本 u=$0.03/百万,P* = 833 ÷ (0.15−0.03) ≈ 6,942 百万 token/月,约 69 亿 token/月。
\n临界值二(计入运维与利用率):P ≈ [G ÷ (a − u·(1+m))] × (1/r),适用条件 a > u·(1+m)。
\n代入 r=0.5、m=0.2:u·(1+m)=0.036,a−0.036=0.114,833÷0.114≈7,307,再乘 1/r=2,得 7,307×2≈14,614 百万 token/月,约 146 亿 token/月。
\n| 参数 | 含义 | 取值来源 |
|---|---|---|
| G | GPU 月折旧 | 卡价 ÷ 使用月数 |
| u | 自建每百万 token 电费成本 | 电费摊到实际产出 token |
| a | API 每百万 token 加权均价 | 厂商定价页,注意输入/输出差价 |
| r | 利用率(0-1) | 自家负载曲线,常见 0.3-0.6 |
| m | 运维使自建电费单价上浮比例(0-1) | 运维年成本 ÷ 年电费成本 |
| P* | 分界点(百万 token/月) | P* ≈ [G ÷ (a − u·(1+m))] × (1/r) |
按上表取值代入,P 高于 P* 时自建更划算,低于则继续用 API。任一参数拿不准时,取两组结果中较高者作为保守估计。现金流约束不构成独立公式,只影响首付能力:GPU 首付越高,可承受的月 token 量越低。建模时把首付除以 36 计入月成本即可。
\n| 模型 | 自建 token 单价(估算) | 对应 API 单价 | 临界值一(百万 token/月) | 临界值二(含利用率) |
|---|---|---|---|---|
| 本地 27B(INT4(4 比特量化),批量≥8) | 约 $0.03/百万 | 同档 API 报价 $1-2/百万(以各家定价页为准) | 约 27,777 | 约 66,665 |
| H100 场景 | 约 $0.15/百万 | — | 约 6,942 | 约 14,614 |
注:两行场景不同(27B 本地部署对 H100 单卡 API 参照),临界值不可横向比较;下文速查表以 H100 场景的 69 亿/146 亿为基准。
\n三、典型场景速查(按公开定价页估算,H100 场景口径)
\n| 月消耗 token | 推荐方案 | 原因 |
|---|---|---|
| < 1 亿 | API 调用 | 自建分摊高,API 远便宜 |
| 1 亿 ~ 69 亿 | API 为主 + 缓存优化 | 未过临界值一;提高 context cache(上下文缓存)命中率是回报最快的一项 |
| 69 亿 ~ 146 亿 | 混合试点(自建 + API 备份) | 已过临界值一、未稳过临界值二;自建承担稳定负载、API 分流高峰 |
| 146 亿 ~ 1000 亿 | 全自建为主(多卡 + 推理框架) | 利用率临界值已过,API 成本更高;高峰利用率需达 60% 以上 |
| > 1000 亿 | 全自建 + 推理框架优化 | 只考虑推理框架优化(如 SGLang(高并发推理框架) / vLLM),自备量化版本 |
上表按 H100 单价口径排布;若按 27B 本地部署口径(临界值二约 667 亿 token/月),各档起点需整体上移,不可直接套用。
\n四、常见误判
\n月分摊应先于首付测算。一套 H100 约 $30,000,按月分摊 1/36 后占月 IT 预算的比例需自行测算,首付只是其中一项。
\n自建省下的是 API 账单,电费、折旧、运维仍需照付。模型与框架更新时,自建方可能需改造推理服务适配新接口。
\n80% 不是基线。生产环境峰值过后利用率快速下降,实际均值通常只有 30-60%。
\n在部分数据出境受限场景下,自建是否可行须由法务评估,本文不作可行性判断;此时 token 处理成本应计入合规成本项。
\n五、把公式走一遍:一个假设算例
\n以下为假设推演,数字只为演示代入过程。假设某团队承接内部工单问答机器人,月消耗约 40 亿 token,全部走 API。先算账:H100 按整机 $30,000、36 个月摊,G≈$833/月;API 均价 a=$0.11/百万,自建电费成本 u=$0.04/百万,P* = 833 ÷ 0.07 ≈ 11,900 百万,约 119 亿 token/月。月消耗 40 亿低于临界值 119 亿,自建不划算,自购 GPU 应暂缓。
\n预算转向缓存:把高频问答做进 context cache(上下文缓存),假设命中率做到四成上下,账单可少掉三成以上;再把高峰溢出切给 API、主力留在云端小模型套餐,月支出还能降一层。这一轮决策不动硬件,改的是 a、u、r、m 四个参数的取值。
\n数据来源与口径说明
\n卡价取自整机厂商与二手交易平台的公开定价页区间中值,文中为写作时示意价,未逐条记录检索日期与链接,采购前请以当期报价单复核;API 单价取自各厂商公开定价页,示例中按输入/输出同价化简。电费按 ¥0.6/kWh、运维薪资按一线城市招聘平台公开区间估算。本文不引用未定位到具体期号或帖子的二手转述。