AI 용어집 · 심화 · 데이터 엔지니어링
데이터 메시 Data Mesh
데이터 메시는 회사 데이터를 중앙 데이터팀 한 곳이 모두 관리하는 대신, 데이터를 만드는 각 업무 조직(도메인)이 자기 데이터를 '제품'처럼 책임지고 내놓게 하는 조직·운영 방식이다.
어떻게 작동하나
데이터 메시는 흔히 네 가지 원칙으로 설명된다. 첫째, 주문·결제·물류처럼 업무 영역(도메인)별 팀이 자기 데이터를 직접 책임진다. 둘째, 그 데이터를 다른 팀이 쉽게 찾고 믿고 쓸 수 있도록 설명서와 품질 기준을 갖춘 '데이터 제품'으로 내놓는다. 셋째, 각 팀이 매번 인프라를 새로 만들지 않도록 공용 셀프서비스 데이터 플랫폼을 제공한다. 넷째, 보안·표준 같은 규칙은 전사 공통으로 정하되 실행은 각 팀이 하는 연합형 거버넌스를 둔다.
중앙 집중 방식과 데이터 메시
중앙 집중 방식중앙 데이터팀이 전담
- 모든 요청이 한 팀에 몰림
- 업무 맥락을 깊이 알기 어려움
- 표준을 맞추기는 쉬움
데이터 메시도메인 팀이 직접 책임
- 데이터를 '제품'으로 내놓음
- 공용 셀프서비스 플랫폼 사용
- 공통 규칙은 연합형 거버넌스로
공통 둘 다 회사 데이터를 믿고 쓸 수 있게 만드는 운영 방식
왜 중요한가
회사가 커지면 모든 데이터 요청이 중앙 데이터팀으로 몰려 병목이 생긴다. 또 중앙팀은 각 업무의 맥락을 깊이 알기 어려워 데이터 의미를 잘못 해석하기도 한다. 데이터 메시는 데이터를 가장 잘 아는 팀이 직접 책임지게 해 이런 문제를 줄이려는 시도다. 기술 도구 이름이 아니라 조직 구조와 책임 분담에 관한 개념이라는 점이 특징이다.
알아 둘 점
각 도메인 팀에 데이터 역량과 인력이 있어야 하므로 작은 조직에는 오히려 부담이 될 수 있다. 공통 표준 없이 분산만 하면 팀마다 형식이 제각각인 데이터 섬이 생길 위험이 있다. 그래서 데이터 컨트랙트, 데이터 카탈로그, 공용 플랫폼 같은 장치가 함께 필요하다. 실제로는 중앙 방식과 메시 방식을 섞어 쓰는 회사도 많다.
예시
여러 사업부를 둔 기업이 데이터 메시를 도입하면, 예를 들어 결제팀이 '결제 내역' 데이터 제품을 직접 만들어 데이터 카탈로그에 등록하고 담당자·갱신 주기·품질 기준을 함께 적어 둔다. 마케팅팀은 중앙팀에 요청하지 않고 카탈로그에서 이 데이터 제품을 찾아 바로 분석에 쓴다.