数据质量
数据质量是指数据在多大程度上足够准确、完整、一致和及时，能满足使用目的。用低质量数据做出的分析或 AI 模型，其结果也难以信任。
通俗解释 这就像食材的新鲜度。厨艺再好的厨师（模型），用变质的食材也做不出好菜。不过正如“好食材”的标准因菜而异，数据质量的标准也取决于用途。
工作原理
数据质量通常从几个维度来看。代表性的有：值是否与实际事实相符（准确性）、是否有空缺字段（完整性）、各系统中的值是否相同（一致性）、是否足够新（及时性）、同一条记录是否重复（唯一性）、是否遵守规定格式（有效性）。在数据管道中间设置这些规则的自动检查，一旦超出标准就发送通知或不再传往下一步。
质量标准与常见问题
| 检查内容 | 常见问题示例 | |
|---|---|---|
| 准确性 | 是否符合事实 | 录入错误的值 |
| 完整性 | 是否有空缺 | 缺失的字段 |
| 一致性 | 各系统是否相同 | 各部门定义不同 |
| 及时性 | 是否足够新 | 已废止的旧文档 |
| 唯一性 | 是否有重复 | 同一记录有多条 |
| 有效性 | 是否遵守格式 | 日期格式混杂 |
为什么重要
正如“垃圾进，垃圾出”这句话所说，模型会原样学到数据中的错误和偏差。特别是在 LLM 训练中，随着“数据质量比数量更能左右性能”的认识普及，去重和过滤低质量文档已成为重要步骤。在业务用 AI 中，如果检索到错误文档，也会得出貌似合理但错误的答案。质量问题发现得越晚，修复成本越高，因此最好在数据进入的早期就抓住。
注意事项
完美的数据几乎不存在，因此制定适合用途的“足够好的质量”标准更为现实。起初质量很好的数据也可能随着时间推移与现实产生偏差，这称为数据漂移。因此质量检查不是一次性的，需要持续反复进行。确定质量标准和负责人的工作与数据治理同步推进。
示例
运营企业内部知识检索聊天机器人的团队经常遇到这样的问题：同一规定的旧版和新版同时被检索到，聊天机器人给出了已废止的规定。为防止这种情况，会在管道中加入质量管理步骤：给文档标注撰写日期和有效期，过滤重复文档，并将过时文档从索引中移除。