AI 용어집 · 기초 · 데이터 엔지니어링 · AI 플랫폼·솔루션
데이터 웨어하우스 Data Warehouse, DW
데이터 웨어하우스(DW)는 회사 곳곳의 데이터를 분석하기 좋은 형태로 정리해 한곳에 모아 둔 저장소입니다. 일상 업무를 처리하는 데이터베이스와 달리, 많은 데이터를 한꺼번에 집계하고 질문하는 데 맞춰져 있습니다.
어떻게 작동하나
데이터 파이프라인이 주문·회원·재고 같은 여러 시스템의 데이터를 정기적으로 가져와 웨어하우스에 넣습니다. 들어갈 때 미리 정한 표 구조(스키마)에 맞춰 정리되므로, 사용자는 SQL이라는 질의 언어로 원하는 숫자를 바로 뽑을 수 있습니다. 내부적으로는 열(column) 단위로 저장하는 방식을 많이 써서, 수억 줄 중 몇 개 항목만 골라 합계를 내는 질문을 빠르게 처리합니다. 요즘은 Snowflake, Google BigQuery, Amazon Redshift 같은 클라우드 서비스로 쓰는 경우가 많습니다.
운영 데이터베이스와 무엇이 다른가
쇼핑몰의 주문 데이터베이스는 '주문 한 건 저장', '배송 상태 변경'처럼 작고 잦은 작업을 빠르게 처리하도록 만들어졌습니다. 여기에 큰 집계 질문을 던지면 느릴 뿐 아니라 실제 서비스까지 느려질 수 있습니다. 데이터 웨어하우스는 분석 전용 공간을 따로 두어, 서비스에 부담을 주지 않고 과거 데이터까지 쌓아 놓고 분석하게 해 줍니다.
운영 DB 대 데이터 웨어하우스
운영 데이터베이스서비스를 돌리는 곳
- 작고 잦은 읽기·쓰기
- 주문 한 건 저장, 상태 변경
- 주로 현재 데이터
데이터 웨어하우스분석하는 곳
- 큰 집계 질문에 최적화
- 여러 시스템의 데이터를 모음
- 과거 데이터까지 쌓아 둠
공통 둘 다 표 형태로 데이터를 저장하고 SQL로 다룬다
왜 중요한가
경영 보고서, 매출 대시보드 같은 BI(비즈니스 인텔리전스) 도구가 대부분 웨어하우스를 바탕으로 돌아갑니다. 부서마다 숫자가 다르게 나오는 문제를 줄이기 위해 '공식 숫자는 여기서 나온다'는 단일 기준점 역할도 합니다. 최근에는 LLM에게 자연어로 질문하면 SQL을 만들어 웨어하우스에서 답을 찾게 하는 방식도 많이 시도되고 있습니다.
알아 둘 점
정해진 표 구조에 맞춰야 하므로 이미지, 음성, 긴 문서 같은 비정형 데이터를 담기에는 잘 맞지 않습니다. 구조를 바꾸려면 파이프라인과 보고서도 함께 고쳐야 해서 변화에 다소 느립니다. 이런 한계를 보완하려고 데이터 레이크나 데이터 레이크하우스가 함께 쓰입니다.
예시
한 유통 회사가 매장 POS, 온라인몰, 물류 시스템의 데이터를 매일 밤 클라우드 데이터 웨어하우스로 모읍니다. 다음 날 아침 경영진은 BI 대시보드에서 지점별·상품별 매출을 확인하고, 분석가는 SQL로 '비 오는 날 많이 팔린 상품'을 뽑아 봅니다. 사내 AI 비서에 '지난달 서울 지역 매출 알려 줘'라고 물으면 AI가 웨어하우스에 질의해 답을 가져오는 식으로도 연결됩니다.