← AI 术语表

AI 术语表 · 进阶 · 数据工程 · AI 平台与解决方案

数据湖仓

数据湖仓是一种数据存储与分析架构,它在一个系统中融合了“数据湖”(以低成本原样存放任何数据)和“数据仓库”(快速、可靠地分析整理好的数据)的优点。

关于这个术语
难度
进阶 · 需要了解内部原理的专业术语
加入时间
2026-10-08
通俗解释 这就像在大仓库(数据湖)里整箱堆放货物,同时贴上条码清单和出入记录(元数据层),让它能像门店(数据仓库)一样随取随用。相当于不用建两座仓库,一座就能承担两种角色。

有何不同

数据湖把日志、图像、文档、表格等所有数据按原始格式存放在便宜的云存储中。它很灵活,但管理一松懈,就容易变成不知道什么在哪里的“数据沼泽”。数据仓库整理得很好,但难以处理非结构化数据,而且成本较高。因此过去常常两者并用,并在其间复制、搬运数据;数据湖仓则把两者合而为一。

数据湖·数据仓库·数据湖仓

非结构化数据整理与可靠性低成本存储
数据湖✓✕✓
数据仓库✕✓△
数据湖仓✓✓✓
✓ 表示很适合,△ 表示部分适合,✕ 表示不太适合。

工作原理

最底层以 Parquet 等开放文件格式将数据存储在云对象存储中。在其上叠加 Delta Lake、Apache Iceberg、Apache Hudi 等“表格式”层,使一组文件可以像数据库表一样操作。这一层提供变更记录、并发写入时的冲突防止、历史时间点数据查询等类似数据仓库的功能。这样,SQL 分析工具和机器学习训练工具无需复制数据,就能共同读取同一个存储库。

数据湖仓的层次

分析与 AI 工具SQL 分析、BI、机器学习训练

表格式层Delta Lake·Iceberg·Hudi,变更记录·冲突防止

云对象存储以 Parquet 等开放文件格式存储原始数据

自下而上逐层叠加。中间的表格式层让一组文件可以像表一样使用。

为什么受到关注

在 AI 时代,不仅是表格数据,文档、图像、对话记录等非结构化数据也已成为训练和 RAG 的核心材料。数据湖仓将这些数据与原有的销售数据集中在一处管理,使分析团队和 AI 团队可以基于同一份数据工作。由于不必多次复制数据,成本和数据不一致问题也随之减少。

注意事项

由于需要组合表格式、存储和处理引擎,初期设计和运维都需要专业能力。对于某些需要极快响应的报表,专用数据仓库可能仍然更方便。使用开放格式可以减少对特定厂商的依赖,但权限管理和数据治理仍需另外仔细处理。

示例

一家金融公司将交易明细(表格)、咨询录音转写文本、客户提交的材料图像全部存入云端数据湖仓。分析团队用 SQL 提取月度交易统计,AI 团队用同一存储库中的咨询文本训练客户咨询分类模型,内部聊天机器人则把从材料中提取的内容用于 RAG 检索。各部门无需各自复制一份数据。

相关术语