首页 /文章 /LLM 应用可观测性:该记哪些字段、日志留多久才够

LLM 应用可观测性:该记哪些字段、日志留多久才够

LLM应用可观测性应遵循OpenTelemetry GenAI语义约定,分层采集字段并分离计量与追踪数据。

OpenTelemetry GenAILLM可观测性GDPR合规日志留存策略2026Q4
分类:工程与基础设施 发布于 2026-10-25 37 次浏览

字段分层:先定语义约定,再谈留存

\n

LLM应用的可观测性字段应优先对齐OpenTelemetry(开放遥测)GenAI语义约定,留存期限则须由合规要求单独裁定。两者混写会同时损害排障效率与合规性。语义约定仍在演进。OpenTelemetry文档将GenAI属性列为语义约定的一部分,涵盖gen_ai.system、gen_ai.request.model、gen_ai.usage.input_tokens等字段(OpenTelemetry GenAI语义约定,访问日期2026-10-25)。同一文档还定义gen_ai.operation.name与gen_ai.response.finish_reasons,用于区分操作类型与终止原因(同上)。这些字段的共同点是结构化、低基数、可聚合。需先确认所选SDK版本对上述属性的支持程度,再决定采集清单;语义约定并非冻结标准,字段名与取值枚举存在调整可能,升级时需做字段映射校验。

\n

厂商侧字段可作为交叉校验来源。OpenAI Chat接口的usage对象含prompt_tokens、completion_tokens、total_tokens,用于计量与成本核算(OpenAI API参考,访问日期2026-10-25,以当日文档站为准)。响应体另含id、created、model等元数据,可用于请求追踪(同上)。Anthropic Messages API返回usage中的input_tokens与output_tokens,并提供request-id响应头用于排障(Anthropic Messages API文档,访问日期2026-10-25)。两套字段命名不同,映射表需在采集层固化。计量字段与追踪字段要分开落库。前者用于账单核对,后者用于链路定位,混存会放大查询成本。

\n

日志数据模型决定字段能否被检索。OpenTelemetry日志数据模型规范定义日志记录结构与严重级别(OpenTelemetry Logs Data Model,访问日期2026-10-25)。按该模型组织记录,可使GenAI属性与普通日志共用同一套查询语义。字段清单宜分三层:请求层记录模型标识、操作名与调用方标识;响应层记录token用量、终止原因与request-id;关联层记录trace标识与时间戳。三层之外的内容,尤其是prompt与response全文,默认不进入日志主体。

\n

留存期限:可观测窗口与法定留存分开设计

\n

可观测性需要的留存窗口通常短于合规留存窗口。前者服务于故障复盘与成本趋势分析,后者受法规约束。GDPR(通用数据保护条例)第5条确立存储限制原则,要求个人数据不留存超过必要期限(GDPR Art.5,访问日期2026-10-25)。第17条赋予数据主体删除权,直接影响日志留存设计(GDPR Art.17,访问日期2026-10-25)。删除权意味着日志中若含可识别个人的内容,需具备按主体定位并清除的能力。该能力应在设计阶段落地。

\n

安全日志管理可参照NIST SP 800-92《计算机安全日志管理指南》,该文档给出日志管理与留存的一般性建议(NIST SP 800-92,访问日期2026-10-25)。OWASP Logging Cheat Sheet建议日志避免记录敏感数据并定义留存策略(OWASP Logging Cheat Sheet,访问日期2026-10-25)。两份材料均未给出适用于LLM应用的统一天数。任何固定天数的主张都需回到适用法域与数据处理协议中确认,未回查原始报告前不宜采信。

\n

厂商数据政策需按版本引用。OpenAI文档说明默认不使用API数据训练模型,除非显式选择加入;数据留存细节以官方条款为准(OpenAI API数据使用政策,访问日期2026-10-25,以当日文档站为准)。政策文本会随版本变更,引用时应记录版本号与生效日期,并在评审时复核。把政策条款当作技术配置依据,容易在版本更新后失效。

\n
\n\n\n\n\n\n\n
LLM应用日志字段分层与留存考量对照
层级代表字段主要用途留存考量
请求层gen_ai.request.model、gen_ai.operation.name区分模型与操作类型按排障窗口设定
响应层gen_ai.usage.input_tokens、gen_ai.response.finish_reasons成本核算与异常终止定位与账单周期对齐
关联层trace标识、request-id、时间戳跨系统链路追踪随追踪系统策略
内容层prompt与response全文质量评估与人工复核默认不采集或脱敏后短留
\n

内容层是风险集中区。prompt与response可能含个人数据、访问凭据与业务机密,默认写入日志会同时扩大泄露面与删除成本。可行做法是内容层单独存储、单独授权、单独设定短留存,并在写入前做敏感信息识别。日志主体只保留哈希或引用标识。该设计使可观测查询不依赖原文,也使删除请求可定点执行。

\n

可执行判断规则

\n
    \n
  • 需先确认语义约定版本,再冻结字段清单;升级时执行字段映射回归。
  • \n
  • 计量字段与追踪字段分表存储,避免查询路径互相拖累。
  • \n
  • 内容层默认不进入日志主体,确需采集时做脱敏并设定短于其他层的留存。
  • \n
  • 留存天数须由适用法域与数据处理协议推导,不采用无出处的固定值。
  • \n
  • 引用厂商数据政策时记录版本号与生效日期,并在评审周期内复核。
  • \n
  • 删除权响应路径需覆盖日志存储,设计阶段即验证按主体清除的可行性。
  • \n
关键词 OpenTelemetry GenAILLM可观测性GDPR合规日志留存策略2026Q4 000124