数据集卡片
数据集卡片是一份说明文档,整理了数据集的来源、包含的内容,以及可以用在哪里、不可以用在哪里。它是附在数据上的“使用说明书兼成分表”。
通俗解释 它类似于食品包装背面的配料和过敏原标识。不过与食品标识不同,它没有法定格式,写得多详细取决于制作方。
工作原理
在公开数据集或在团队内部共享时,以回答一份既定问题清单的方式撰写文档。通常包括收集目的、来源与收集方法、数据构成(条目数、语言、标签类型)、预处理过程、已知的偏差与局限、许可证、个人信息处理方式,以及推荐用途与应避免的用途。这种问答式文档有时称为“Datasheets”,整理成卡片形式的则称为“Data Cards”。Hugging Face 等数据共享平台建议在每个数据集仓库中一并上传这样的卡片。
数据集卡片包含的项目
来源与构成
- 收集目的与来源
- 收集与预处理方法
- 条目数、语言、标签类型
负责任的使用
- 已知的偏差与局限
- 许可证
- 个人信息处理方式
- 推荐用途与应避免的用途
为什么重要
AI 模型会原样继承训练数据的特性。如果数据偏向某种语言或某个地区,模型也会朝那个方向偏。然而,当数据的制作者和使用者不是同一批人时,这些情况很难传达。数据集卡片弥合了这一差距,让使用者在选用数据之前就能判断其是否合适。随着版权和个人信息问题日益突出,它作为说明数据来源的资料也变得重要起来。
注意事项
有卡片并不意味着数据是干净的。由于是由作者自行填写的文档,可能存在遗漏或写得过于乐观的部分。数据已经变化而卡片原封不动、传递过时信息的情况也很常见。附在模型上的类似文档叫作“模型卡片”,两者结合起来看,才能看清模型学到了什么。
示例
打开 Hugging Face 上的公开数据集页面,首屏看到的说明文档就是数据集卡片。可以在这里确认数据是从哪些网站或文档收集的、在什么许可证下可以使用、混有哪些语言,再判断能否用于自己的项目。企业中常常在内部数据目录里设置类似模板,要求登记新的训练数据时一并填写卡片。