AI 术语表 · 进阶 · 数据工程 · AI 平台与解决方案
数据湖仓
数据湖仓是一种数据存储与分析架构,它在一个系统中融合了“数据湖”(以低成本原样存放任何数据)和“数据仓库”(快速、可靠地分析整理好的数据)的优点。
关于这个术语
- 难度
- 进阶 · 需要了解内部原理的专业术语
- 分类
- 数据、运维与平台
- 领域
- 数据工程, AI 平台与解决方案
- 加入时间
- 2026-10-08
有何不同
数据湖把日志、图像、文档、表格等所有数据按原始格式存放在便宜的云存储中。它很灵活,但管理一松懈,就容易变成不知道什么在哪里的“数据沼泽”。数据仓库整理得很好,但难以处理非结构化数据,而且成本较高。因此过去常常两者并用,并在其间复制、搬运数据;数据湖仓则把两者合而为一。
数据湖·数据仓库·数据湖仓
| 非结构化数据 | 整理与可靠性 | 低成本存储 | |
|---|---|---|---|
| 数据湖 | ✓ | ✕ | ✓ |
| 数据仓库 | ✕ | ✓ | △ |
| 数据湖仓 | ✓ | ✓ | ✓ |
工作原理
最底层以 Parquet 等开放文件格式将数据存储在云对象存储中。在其上叠加 Delta Lake、Apache Iceberg、Apache Hudi 等“表格式”层,使一组文件可以像数据库表一样操作。这一层提供变更记录、并发写入时的冲突防止、历史时间点数据查询等类似数据仓库的功能。这样,SQL 分析工具和机器学习训练工具无需复制数据,就能共同读取同一个存储库。
数据湖仓的层次
分析与 AI 工具SQL 分析、BI、机器学习训练
表格式层Delta Lake·Iceberg·Hudi,变更记录·冲突防止
云对象存储以 Parquet 等开放文件格式存储原始数据
为什么受到关注
在 AI 时代,不仅是表格数据,文档、图像、对话记录等非结构化数据也已成为训练和 RAG 的核心材料。数据湖仓将这些数据与原有的销售数据集中在一处管理,使分析团队和 AI 团队可以基于同一份数据工作。由于不必多次复制数据,成本和数据不一致问题也随之减少。
注意事项
由于需要组合表格式、存储和处理引擎,初期设计和运维都需要专业能力。对于某些需要极快响应的报表,专用数据仓库可能仍然更方便。使用开放格式可以减少对特定厂商的依赖,但权限管理和数据治理仍需另外仔细处理。
示例
一家金融公司将交易明细(表格)、咨询录音转写文本、客户提交的材料图像全部存入云端数据湖仓。分析团队用 SQL 提取月度交易统计,AI 团队用同一存储库中的咨询文本训练客户咨询分类模型,内部聊天机器人则把从材料中提取的内容用于 RAG 检索。各部门无需各自复制一份数据。