数据治理
数据治理是一套体系,用于确定并落实组织所拥有的数据由谁、按什么规则、如何管理和使用。它涵盖数据负责人、访问权限、质量标准、保存与删除规则等各个方面。
通俗解释 这与图书馆的运营规则类似。只有事先规定好哪本书放在哪里、谁可以借哪些书、书籍损坏由谁负责,图书馆才能正常运转。不过,数据与书不同,很容易复制,传播也很快,因此管理起来更加棘手。
工作原理
首先为每项数据指定负责人(数据所有者),并将该数据的含义以文档形式记录下来。接着划分访问权限,明确谁可以查看哪些数据;对个人信息这类敏感数据单独标记,并更严格地处理。追踪数据从哪里来、流向哪里(数据血缘),并制定质量标准、定期检查。这些规则由委员会或专门的负责部门制定,再通过数据目录等工具应用到实际系统中。
治理基本检查项
责任与定义
- 每项数据是否都指定了负责人
- 数据的含义是否有文档定义
保护与权限
- 是否划分了谁可以查看哪些数据
- 敏感数据是否单独标记
追踪与质量
- 是否追踪数据从哪里来、流向哪里
- 是否定期检查质量标准
为什么重要
AI 模型的好坏取决于它学习和参考的数据。如果用来源不明或未经授权的数据构建模型,结果就难以信任,还可能引发个人信息泄露或版权问题。此外,如果各部门对同一指标的定义不同,同一个问题就会得到不同的答案。随着各国对 AI 和个人信息的监管日趋严格,能够说明使用了哪些数据、如何使用的体系,正在成为开展业务的必要条件。
注意事项
治理并不是引入一个工具就能完成的事,而需要人员、流程和技术相互配合。规则定得过于严格,想使用数据的人会被流程拖累,转而寻找绕过的办法。因此,很多组织会从风险较高的数据开始分阶段实施。数据质量管理、个人信息去标识化等活动,可以看作数据治理这一大框架下的具体活动。
示例
企业基于内部文档构建回答问题的 RAG 聊天机器人时,如果没有数据治理,人事记录、高管报告等只应由部分员工查看的文档,也可能作为回答依据暴露给所有用户。因此,许多企业会为每份文档标注安全等级和访问权限,并在检索阶段只取出与提问者权限相符的文档。