AI 용어집 · 심화 · 데이터 엔지니어링 · MLOps·LLMOps
데이터 옵저버빌리티 Data Observability
데이터 옵저버빌리티는 데이터가 제때, 올바른 양과 형태로 들어오고 있는지 계속 지켜보다가 이상이 생기면 바로 알려 주고 원인을 추적할 수 있게 하는 것이다.
어떻게 작동하나
데이터 파이프라인을 흐르는 표마다 몇 가지 신호를 자동으로 측정한다. 흔히 신선도(데이터가 제시간에 갱신되었나), 양(평소보다 행 수가 갑자기 줄거나 늘었나), 스키마(컬럼이 사라지거나 형식이 바뀌었나), 분포(값의 범위나 빈 값 비율이 평소와 다른가), 리니지(이 데이터가 어디서 와서 어디로 가는가)를 본다. 과거 패턴을 학습해 평소와 다른 움직임을 이상 탐지로 잡아내고 담당자에게 알린다. 리니지 정보를 이용해 문제가 처음 생긴 지점과 영향을 받는 대시보드·모델을 함께 보여 준다.
데이터 옵저버빌리티가 보는 신호
들어오는 상태
- 신선도: 제시간에 갱신되었나
- 양: 행 수가 갑자기 변했나
- 스키마: 컬럼·형식이 바뀌었나
내용과 연결
- 분포: 값 범위·빈 값 비율이 평소와 같은가
- 리니지: 문제가 어디서 시작돼 어디에 영향을 주나
왜 중요한가
데이터 문제는 오류 메시지 없이 조용히 생기는 경우가 많다. 예를 들어 원천 시스템이 바뀌어 한 컬럼이 모두 빈 값으로 들어와도 파이프라인은 정상 종료될 수 있다. 이런 문제를 사람이 보고서에서 우연히 발견할 때쯤이면 이미 잘못된 숫자로 의사결정을 했거나 모델이 잘못 학습한 뒤다. 데이터 옵저버빌리티는 이런 '조용한 고장'을 일찍 발견해 피해 범위를 줄여 준다.
알아 둘 점
데이터 품질 검사가 '이 값은 0보다 커야 한다'처럼 미리 정한 규칙을 확인하는 데 가깝다면, 옵저버빌리티는 규칙을 정해 두지 않은 이상까지 넓게 감시하고 원인을 추적하는 데 초점을 둔다. 둘은 경쟁 관계라기보다 함께 쓰는 관계다. 감시 대상이 많아지면 경보가 너무 자주 울려 무시되기 쉬우므로, 중요한 데이터부터 우선순위를 정하는 것이 좋다. AI 모델 운영에서는 입력 데이터의 변화를 보는 데이터 드리프트 감시와 맞닿아 있다.
예시
한 쇼핑몰의 매출 대시보드가 어느 날 아침 평소보다 훨씬 낮은 숫자를 보였다고 하자. 데이터 옵저버빌리티 도구가 있었다면 새벽에 이미 '주문 테이블의 행 수가 평소보다 크게 줄었다'는 경보를 보내고, 리니지를 따라 결제 시스템 쪽 데이터 수집 작업이 일부 실패했다는 점과 이 문제가 매출 대시보드와 추천 모델 학습 데이터에 영향을 준다는 점을 함께 알려 준다. 담당자는 임원이 대시보드를 보기 전에 데이터를 다시 채울 수 있다.