AI 术语表 · 基础 · 数据工程
数据血缘
数据血缘是指记录并展示数据从哪里来、经过了哪些处理、流向了哪里。它也称为“数据谱系”,可以让人回溯确认一个数字的来源和流转路径。
通俗解释 这类似于超市农产品的溯源。就像能知道农产品在哪个农场种植、经过哪些仓库和工厂才到达门店一样,也可以追踪仪表板上的数字是从哪张原始表、经过什么计算得出的。
工作原理
企业数据通常从原始数据库采集,经过整理和转换后存入数据仓库,再用于报表、仪表板或机器学习模型训练。数据血缘工具会在这个过程中用连线记录“哪张表生成了哪张表”“哪一列经过什么计算变成了什么”。记录方式包括自动分析 SQL 或管道代码、收集作业运行时留下的记录、由人工手动填写等。以表为单位查看的称为表级血缘,细化到列的称为列级血缘。
为什么重要
当仪表板上的数字突然异常时,可以沿着数据血缘回溯,快速找出问题出在哪个环节。反过来,在修改原始表之前,可以预先确认有哪些报表和模型在使用这张表,从而避免事故,这称为影响分析。它也用于需要掌握个人信息扩散范围的合规工作。在 AI 时代,需要说明模型用哪些数据训练的情况越来越多,因此它变得更加重要。
注意事项
数据血缘不是画一次就完事的图,而需要随着管道的变化同步更新。人工维护很快就会与实际情况脱节,因此最好尽量采用自动采集。像传递 Excel 文件、手动复制这类发生在系统之外的流转无法被捕捉,会留下空白。它通常与数据目录、数据治理工具一起使用。
示例
数据目录服务和数据转换工具会提供这样的界面:点击某张表,就以关联图的形式展示该表的“上游(来源)”和“下游(使用该表的地方)”。例如,分析师收到“月销售额”仪表板数值有误的报告后,可以在这张图上沿着销售额汇总表 → 订单整理表 → 原始订单 DB 的顺序追溯,确认是哪个转换环节出了问题。