← AI 术语表

AI 术语表 · 进阶 · 数据工程 · MLOps 与 LLMOps

数据可观测性

数据可观测性是指持续监视数据是否按时、以正确的数量和形式流入,一旦出现异常就立即发出通知,并能追踪原因。

关于这个术语
难度
进阶 · 需要了解内部原理的专业术语
加入时间
2026-10-09
通俗解释 这类似于在水管各处安装水压计和水质传感器的管理系统:一旦断水或水变浑浊,就会发出警报,并指出是哪一段出了问题。同样,没有安装传感器的管段出现问题时,仍然可能被漏掉。

工作原理

对数据管道中流动的每张表自动测量若干信号。通常关注新鲜度(数据是否按时更新)、数量(行数是否比平时突然减少或增加)、模式(列是否消失或格式是否改变)、分布(值的范围或空值比例是否与平时不同)、血缘(这些数据从哪里来、到哪里去)。系统学习历史模式,通过异常检测捕捉与平时不同的变化,并通知负责人。借助血缘信息,还能同时显示问题最先出现的位置以及受影响的仪表盘和模型。

数据可观测性关注的信号

流入状态

  • 新鲜度:是否按时更新
  • 数量:行数是否突然变化
  • 模式:列或格式是否改变

内容与关联

  • 分布:值范围、空值比例是否与平时相同
  • 血缘:问题从哪里开始、影响到哪里
对每张表自动检查以下问题,与平时不同时发出通知。

为什么重要

数据问题往往在没有任何错误信息的情况下悄悄发生。例如,源系统变更后某一列全部变成空值,管道也可能照常结束运行。等到有人在报表中偶然发现这类问题时,往往已经基于错误数字做出了决策,或者模型已经学错了。数据可观测性能及早发现这类“静默故障”,缩小损失范围。

注意事项

如果说数据质量检查更接近于核对“这个值必须大于 0”这类预先设定的规则,那么可观测性则侧重于更广泛地监视那些没有预设规则的异常,并追踪原因。两者与其说是竞争关系,不如说是配合使用的关系。监视对象一多,警报响得过于频繁,就容易被忽视,因此最好从重要数据开始确定优先级。在 AI 模型运维中,它与观察输入数据变化的数据漂移监控密切相关。

示例

假设某购物网站的销售仪表盘某天早上显示的数字远低于平时。如果有数据可观测性工具,它在凌晨就会发出“订单表行数比平时大幅减少”的警报,并沿着血缘指出支付系统一侧的数据采集任务部分失败,同时说明这一问题会影响销售仪表盘和推荐模型的训练数据。负责人可以在高管查看仪表盘之前重新补齐数据。

相关术语