AI 용어집 · 기초 · 데이터 엔지니어링
데이터 리니지 Data Lineage, 데이터 계보
데이터 리니지는 데이터가 어디서 와서 어떤 처리를 거쳐 어디로 흘러갔는지를 기록하고 보여 주는 것이다. '데이터 계보'라고도 하며, 숫자 하나의 출처와 이동 경로를 거슬러 올라가 확인할 수 있게 해 준다.
어떻게 작동하나
회사 데이터는 보통 원본 데이터베이스에서 수집되어 정리·변환을 거친 뒤 데이터 웨어하우스에 쌓이고, 다시 보고서·대시보드나 머신러닝 모델 학습에 쓰인다. 데이터 리니지 도구는 이 과정에서 '어떤 표가 어떤 표를 만들었는지', '어떤 열이 어떤 계산으로 바뀌었는지'를 연결선으로 기록한다. 기록 방법은 SQL이나 파이프라인 코드를 자동으로 분석하는 방식, 작업이 실행될 때 남는 기록을 모으는 방식, 사람이 직접 적는 방식 등이 있다. 표 단위로 보는 것을 테이블 수준 리니지, 열 단위까지 보는 것을 컬럼 수준 리니지라고 부른다.
왜 중요한가
대시보드 숫자가 갑자기 이상해지면 리니지를 거슬러 올라가 어느 단계에서 문제가 생겼는지 빠르게 찾을 수 있다. 반대로 원본 표를 바꾸기 전에 그 표를 쓰는 보고서·모델이 무엇인지 미리 확인해 사고를 막을 수 있는데, 이를 영향도 분석이라고 한다. 개인정보가 어디까지 퍼져 있는지 파악해야 하는 규제 대응에도 쓰인다. AI 시대에는 모델이 어떤 데이터로 학습했는지 설명해야 할 일이 늘어나 더 중요해졌다.
알아 둘 점
리니지는 한 번 그려 두면 끝나는 그림이 아니라 파이프라인이 바뀔 때마다 함께 갱신되어야 한다. 사람이 손으로 관리하면 금방 실제와 어긋나기 때문에 가능한 한 자동 수집을 쓰는 편이 좋다. 엑셀 파일 전달이나 수작업 복사처럼 시스템 밖에서 일어난 이동은 잡히지 않는 빈틈이 생긴다. 보통 데이터 카탈로그·데이터 거버넌스 도구와 함께 쓰인다.
예시
데이터 카탈로그 서비스나 데이터 변환 도구들은 표를 클릭하면 그 표의 '위쪽(원천)'과 '아래쪽(이 표를 쓰는 곳)'을 연결 그래프로 보여 주는 화면을 제공한다. 예를 들어 분석가가 '월 매출' 대시보드의 값이 틀렸다는 보고를 받으면, 이 그래프에서 매출 집계 표 → 주문 정리 표 → 원본 주문 DB 순으로 따라가며 어느 변환 단계가 잘못됐는지 확인한다.