可观测数据保留策略:按诊断价值分配成本

为指标、日志和链路设计热温冷分层、降采样与删除策略,在合规前提下控制长期存储。

文章目录 · 4 节

“全部保留一年”通常既昂贵又难以查询。保留周期应由故障发现时间、容量分析窗口、审计要求和数据敏感度共同决定。

先做数据分类

数据 热存储 长期策略
告警与 SLO 指标 30 天 降采样保留 13 个月
应用调试日志 7 至 14 天 仅归档关键事件
安全审计日志 90 天 按法规不可变归档
Trace 3 至 7 天 错误与关键交易延长

表中的周期只是起点,必须结合本组织的调查周期和法规校准。

分层而非一刀切

热层支持快速聚合,温层降低副本和性能,冷层使用对象存储。指标长期保留可从原始样本降采样到小时或天级,但 SLO 计算所需精度要提前验证。

治理要求

  • 明确每类数据 owner、用途和删除责任
  • 敏感字段采用更短周期与严格访问控制
  • 删除策略覆盖索引、对象存储和备份副本
  • 监控每日摄入量、查询率和每 TB 成本

收尾清单

每季度抽查一次真实事故,确认所需数据仍在且可查询。保留策略变更要记录对合规、取证和容量趋势分析的影响。