AI 术语表 · 基础 · 数据工程
ETL·ELT
ETL·ELT 是一种作业方式：把分散在各处的数据取出（Extract），转换成便于使用的形式（Transform），再集中装入一处（Load）。转换在装入之前进行叫 ETL，在装入之后进行叫 ELT。
如何运作
首先，从会员数据库、订单系统、网站日志、外部服务等存放数据的地方取出所需数据（抽取）。接着统一日期格式、清理缺失值和重复项、合并多张表等，按分析需要加以整理（转换）。最后装入数据仓库或数据湖等存储（加载）。ETL 在单独的处理服务器上完成转换后只装入干净的结果；ELT 则先把原始数据装入存储，再利用存储本身的计算能力进行转换。
ETL 与 ELT 的区别
ETL提取 → 转换 → 加载
- 在单独的服务器上预先整理
- 只存储干净的结果
- 适合存储空间昂贵的情况
ELT提取 → 加载 → 转换
- 先把原始数据存入存储库
- 利用存储库的计算能力整理
- 便于日后重新转换
공통 两者都是把分散的数据以可分析的形式汇集到一处的方法
为什么重要
无论是 AI 模型还是公司内部仪表盘，最终都需要“整理好的数据”才能正常运行。原始数据在各系统中的格式和名称各不相同，直接合并会导致数字出错或无法分析。ETL·ELT 让这一整理过程不必每次手工完成，而是按既定顺序自动重复执行。因此它被视为数据管道最基本的骨架。
需要了解的要点
过去存储空间和计算成本都很高，因此通常采用先整理、只装入必要数据的 ETL。随着云数据仓库等能在存储内部低成本、高速完成大规模计算，先装入原始数据的 ELT 得到广泛使用。ELT 保留了原始数据，便于日后用其他方式重新转换，但未经整理的数据不断堆积，可能变得难以管理。像个人信息这类不能原样放入存储的数据，即使在 ELT 中也需要在装入前进行过滤。
示例
在线购物网站每晚从订单系统、会员数据库和广告点击日志中提取数据，汇集到数据仓库，再整理成“按客户的购买汇总表”，供第二天早上的销售仪表盘和推荐模型训练使用，这就是典型的 ETL/ELT 作业。收集公司内部文档、为 RAG 构建检索索引的过程，也是提取文档、切分整理、再存入向量数据库，遵循的是同样的思路。