AI 용어집 · 심화 · 데이터 엔지니어링 · AI 플랫폼·솔루션
데이터 레이크하우스 Data Lakehouse, 데이터 레이크
데이터 레이크하우스는 무엇이든 원본 그대로 싸게 쌓아 두는 '데이터 레이크'와, 정리된 데이터를 빠르고 믿을 수 있게 분석하는 '데이터 웨어하우스'의 장점을 한 시스템에 합친 데이터 저장·분석 구조입니다.
무엇이 다른가
데이터 레이크는 로그, 이미지, 문서, 표 등 모든 데이터를 원본 형식 그대로 값싼 클라우드 저장소에 쌓아 두는 곳입니다. 유연하지만 관리가 느슨해지면 무엇이 어디 있는지 모르는 '데이터 늪'이 되기 쉽습니다. 데이터 웨어하우스는 정리가 잘되어 있지만 비정형 데이터를 다루기 어렵고 비용이 듭니다. 그래서 예전에는 둘을 함께 두고 데이터를 복사해 옮겼는데, 레이크하우스는 이 둘을 한곳으로 합칩니다.
레이크·웨어하우스·레이크하우스
| 비정형 데이터 | 정리·신뢰성 | 저렴한 저장 | |
|---|---|---|---|
| 데이터 레이크 | ✓ | ✕ | ✓ |
| 데이터 웨어하우스 | ✕ | ✓ | △ |
| 레이크하우스 | ✓ | ✓ | ✓ |
어떻게 작동하나
맨 아래에는 클라우드 객체 저장소에 Parquet 같은 공개 파일 형식으로 데이터를 저장합니다. 그 위에 Delta Lake, Apache Iceberg, Apache Hudi 같은 '테이블 형식' 층을 얹어, 파일 묶음을 데이터베이스의 표처럼 다룰 수 있게 합니다. 이 층이 변경 기록, 동시에 쓸 때의 충돌 방지, 과거 시점 데이터 조회 같은 웨어하우스다운 기능을 제공합니다. 그러면 SQL 분석 도구와 머신러닝 학습 도구가 데이터를 복사하지 않고 같은 저장소를 함께 읽습니다.
레이크하우스의 층
분석·AI 도구SQL 분석, BI, 머신러닝 학습
테이블 형식 층Delta Lake·Iceberg·Hudi, 변경 기록·충돌 방지
클라우드 객체 저장소Parquet 같은 공개 파일 형식으로 원본 저장
왜 주목받나
AI 시대에는 표 데이터뿐 아니라 문서, 이미지, 대화 기록 같은 비정형 데이터가 학습과 RAG의 핵심 재료가 됐습니다. 레이크하우스는 이런 데이터와 기존 매출 데이터를 한곳에서 관리하므로, 분석팀과 AI팀이 같은 데이터를 보고 일할 수 있습니다. 데이터를 여러 번 복사하지 않아 비용과 불일치 문제도 줄어듭니다.
알아 둘 점
테이블 형식, 저장소, 처리 엔진을 조합해야 하므로 처음 설계와 운영에 전문성이 필요합니다. 아주 빠른 응답이 필요한 일부 보고서에서는 전용 웨어하우스가 여전히 편할 수 있습니다. 공개 형식을 쓰면 특정 업체에 덜 묶이지만, 권한 관리와 데이터 거버넌스는 따로 꼼꼼히 챙겨야 합니다.
예시
한 금융 회사가 거래 내역(표), 상담 녹취 텍스트, 고객 제출 서류 이미지를 모두 클라우드 레이크하우스에 저장합니다. 분석팀은 SQL로 월별 거래 통계를 뽑고, AI팀은 같은 저장소의 상담 텍스트로 고객 문의 분류 모델을 학습시키며, 사내 챗봇은 서류에서 뽑은 내용을 RAG 검색에 씁니다. 데이터를 부서마다 따로 복사해 두지 않아도 됩니다.