AI 术语表 · 基础 · 数据工程
数据目录
数据目录是一份清单兼搜索服务,把公司内部有哪些数据、存放在哪里、含义是什么、由谁管理、是否可以放心使用等信息集中整理在一处,方便查找。
通俗解释 它就像图书馆的图书检索系统。它收集的不是书本身,而是书名、作者、位置、能否借阅等“关于书的信息”,让人不必翻遍书架也能找到想要的书。
工作原理
数据目录收集的不是数据本身,而是关于数据的信息,即元数据。它会自动扫描数据库、数据湖、数据仓库等,收集表名、列结构、更新时间等技术信息。在此基础上,人工再补充“这张表的销售额含增值税”之类的业务说明,以及负责人、是否含敏感信息等标签。用户在搜索框中输入“月度销售额”之类的关键词查找相关数据,查看说明和质量信息后再使用。
数据目录的构建与使用流程
- 1自动收集表名·列结构·更新时间
- 2补充说明业务含义·负责人·敏感信息标签
- 3搜索如搜索“月度销售额”
- 4确认后使用查看说明·质量后判断
为什么重要
公司数据越多,花在询问“这个数据到底有没有”“有好几张相似的表,哪张才对”上的时间就越多。有了数据目录,分析师和 AI 开发者无需逐一询问负责人,就能自己找到数据。对含有个人信息的数据加以标注,可以防止被随意使用,因此它是数据治理的基础。它也是防止数据湖变成“数据沼泽”的关键工具。
注意事项
数据目录建起来不难,难的是保持最新。技术信息可以自动收集,但业务含义、负责人等信息需要人持续补充,很容易被搁置。因此,很多时候会把展示数据从哪里来、流向哪里的数据血缘,以及质量检查结果等一并关联起来,使其成为“活的”清单。近来,LLM 也被用来自动起草表和列的说明,或者让 Text-to-SQL 等功能参考目录中的说明来提高准确率。
示例
设想一家金融公司的数据分析师为了构建“客户流失预测模型”,在公司内部的数据目录中搜索“解约”。他们可以在搜索结果中找到解约记录表,在说明栏中确认各列的含义、负责部门以及是否含个人信息的标注,然后申请访问权限,立即开始分析。