AI 术语表 · 基础 · 数据工程
数据湖
数据湖是一种大容量存储库，以低成本将表格数据、日志、图像、文档等各类数据按原始形态集中存放在一处。它不预先定义格式，先存下来，使用时再按需要的方式读取。
通俗解释 它就像一个不加分类、什么东西都先放进去的大仓库。什么都能放，很方便，但如果没有清单和整理规则，就很容易变成找不到所需物品的“杂物仓库”。
工作原理
数据湖通常建立在云对象存储这类便宜且几乎可以无限扩展的空间之上。数据库表、服务器日志、传感器记录、PDF、图像、音频文件都以原始格式作为文件保存。存储时不强制结构，分析时再套上所需的结构来读取。实践中，常常按阶段分区管理，例如存放原始数据的区域、存放整理后数据的区域、存放可直接用于分析的数据的区域。
为什么重要
AI 训练不仅需要表格数据，还需要大量文本、图像、语音等非结构化数据。数据仓库擅长处理整理好的表格数据，但要原样存放这些多样的原始数据，成本高且不方便。数据湖可以做到“即使还不知道以后怎么用，也先保存起来”，当需要新的分析或模型训练时，可以从原始数据重新开始。因此它常与 ELT 方式的数据管道配合使用。
数据湖与数据仓库
数据湖按原样保存
- 文本、图像、日志等，什么都能存
- 存储时不强制结构
- 低成本大容量保存
- 缺乏管理会变成“数据沼泽”
数据仓库整理好的表格数据
- 擅长结构化数据分析
- 按预先定义的结构存储
- 不便于保存非结构化原始数据
공통 融合两者优点的架构是数据湖仓
注意事项
如果没有任何规则只是不断堆积数据，就会变成没人知道什么在哪里、是否可信的“数据沼泽（data swamp）”。为防止这种情况，需要用数据目录管理清单，并通过数据治理制定访问权限和质量规则。另外，由于以文件为单位存储，它曾存在难以像传统数据库那样安全处理修改和删除的弱点。弥补这一弱点并融合数据仓库优点的架构就是数据湖仓。
示例
可以设想一家视频服务把观看日志、字幕文件、缩略图、客户咨询记录全部按原样存入数据湖。分析团队从中取出观看日志制作使用统计，AI 团队则从同一存储库中取出字幕和咨询记录，用作推荐模型或客服聊天机器人的训练数据。