首页 /文章 /LLM 应用监控落地:从追踪采样到提示注入告警的工程链路

LLM 应用监控落地:从追踪采样到提示注入告警的工程链路

文章详解LLM应用监控工程链路,涵盖指标、追踪、日志分工及尾部采样策略。

OpenTelemetryLLM可观测性尾部采样提示注入Prometheus2026Q4
分类:工程与基础设施 › 监控、日志与安全 发布于 2026-10-25 44 次浏览

来源对照(抓取日期 2026 年 10 月 25 日)。条目一:OpenTelemetry(开源可观测标准与工开源可观测标准与工具集)官方的生成式模型语义约定页。条目二:前述开源可观测标准项目的采样概念文档。条目三:该项目的采集端中转组件仓库,尾部采样处理器说明页。条目四:Prometheus(开源指标监控系统)及其查询语言文档。条目五:Grafana(可视化与告警平台)官方告警文档。条目六:OWASP(开放网络应用安全项目)大模型风险清单 LLM01 页。条目七:间接提示注入研究论文,arXiv(论文预印本平台)编号 2302.12173。

\n

三类信号先分开:指标、追踪、日志各管一段

\n

传统服务监控只有指标与日志。LLM(大语言模型)应用多了第三类:一次终端请求背后可能串起检索、多次模型调用、工具执行,单看平均延迟会漏掉"整条链路慢在哪"。工程上的共识分工是:指标管总量趋势。追踪(trace,一次请求跨服务的完整调用记录)管单次定位。日志管细节回查。

\n

这套生成式模型语义约定把模型请求统一成一组属性字段。请求的模型名、输入输出用量、耗时等都用固定命名空间描述,各家SDK(软件开发工具包)按同一套字段上报。其中按输入与输出分别计量的令牌(token,模型处理文本的最小单位)字段可以直接接成本统计。每个团队、每个功能的钱花在哪,从这条指标出。

\n

采样:全量追踪付不起,尾部采样是解法

\n

LLM 应用的追踪体积比普通服务大得多:一次调用的提示词和回复全文动辄几千字。全量存追踪会先爆存储。这笔账要提前算。

\n

该开源标准项目的采样文档区分两种做法:头部采样在请求起点决定留不留,便宜但看不见结果;尾部采样等整条链路结束再判定,能按"慢的、出错的定向保留"。其采集端中转组件的尾部采样处理器支持按延迟阈值、状态码写策略:错误追踪全留,正常流量抽百分之几。这是目前公开文档里最主流的折中。

\n

告警:指标规则成熟,模型行为告警刚起步

\n

传统告警链路很成熟。Prometheus 用查询语言表达式写告警规则,Alertmanager(告警路由组件)负责分派静默;Grafana 对 Prometheus 数据源配规则并设通知策略。响应率下滑、令牌消耗突增,这类指标告警照搬即可。省事的区间。

\n

模型行为类告警没有现成标准件。OWASP 把提示注入(用精心构造的输入操纵模型行为)列为大模型应用十大风险第一位,建议做输入输出过滤。落到监控上就是两类信号:过滤器命中计数进指标;可疑样本留日志供回查。

\n

间接注入:监控面要盖到检索内容

\n

提示注入不只来自提问端输入。2023 年的研究论文(见对照区条目七)演示了间接注入:恶意指令藏在网页、检索文档里,模型读到就执行。挂检索的应用更麻烦。监控范围要扩到"入库内容来源"一层。外部文档被注入,光盯提问输入框看不见。

\n

公开实践里的最小配置组合:入站过滤器命中指标加出站敏感词指标,按来源维度打标签;追踪里保留检索片段标识,出问题时能回查是哪份文档带进来的。

\n

条件声明

\n

本文全部能力描述来自文首所列官方文档与论文,抓取日期见对照区;未做性能实测。语义约定仍在演进,字段名以接入时的当前版本为准。

关键词 OpenTelemetryLLM可观测性尾部采样提示注入Prometheus2026Q4 000129