数据版本管理

数据版本管理是指在数据集每次变化时记录其状态，以便随时取回某一时间点的数据，并比较发生了哪些变化。

关于这个术语

通俗解释 就像文档编辑工具的“版本历史”一样，如果不满意昨天的修改，可以恢复到上周的状态，或查看两个版本之间的差异。不过数据比文档大得多，需要一种巧妙的方法，不是每次整体复制，而是只记录变化的部分。

工作原理

每次修改或新增数据时，为该时间点的状态留下版本标记（快照）。常见做法是将大文件原样留在存储中，版本管理工具只记录文件的唯一指纹（哈希）和位置。这样同一个文件就不会在多个版本中重复存储。把代码版本和数据版本绑定在一起，就能准确记录“这个模型是用哪些代码和哪些数据训练的”。

机器学习模型的结果不仅取决于代码，也在很大程度上取决于训练数据。如果数据悄悄发生变化，即使用相同代码重新训练也会得到不同的模型，而且很难找到性能下降的原因。有了数据版本管理，就能完全重现实验，并把出问题的数据恢复到之前的状态。在监管或审计中需要证明“这个决策用了哪些数据”时，它也能作为依据。

如果直接使用面向代码的版本管理工具，大型数据文件很快会让仓库变得臃肿。因此常常使用数据专用工具，或数据湖仓表格式所提供的“时间旅行（查询过去时间点）”功能。如果永久保留所有版本，存储成本会增加，因此需要制定保留期限规则。包含个人信息的数据可能也留存在旧版本中，处理删除请求时需要注意。

代码版本管理 vs 数据版本管理

代码版本管理以文本文件为主

数据版本管理以大型数据集为主

공통 把两者绑定在一起，就能重现结果是用哪些代码和数据得出的

两者都是恢复到过去状态并查看差异，但处理对象的大小和存储方式不同。

假设某团队重新训练客户咨询分类模型后性能下降。如果做了数据版本管理，就可以比较旧模型使用的数据版本和新版本，发现最近的标注工作中混入了大量错误标签，然后恢复到之前的数据重新训练。与实验跟踪工具或模型注册表配合使用，每个模型所用的数据版本都会被自动记录。