데이터셋 카드 Datasheets·Data Cards
데이터셋 카드는 데이터셋이 어디서 왔고, 무엇이 들어 있으며, 어디에 써도 되고 어디에는 쓰면 안 되는지를 정리한 설명 문서입니다. 데이터에 붙이는 '사용 설명서이자 성분표'입니다.
어떻게 작동하나
데이터셋을 공개하거나 팀 안에서 공유할 때 정해진 질문 목록에 답하는 방식으로 문서를 씁니다. 보통 수집 목적, 출처와 수집 방법, 데이터 구성(항목 수, 언어, 라벨 종류), 전처리 과정, 알려진 편향과 한계, 라이선스, 개인정보 처리 방식, 권장 용도와 피해야 할 용도를 담습니다. 이런 질문형 문서를 'Datasheets', 카드 형태로 정리한 것을 'Data Cards'라고 부르기도 합니다. Hugging Face 같은 데이터 공유 플랫폼은 데이터셋 저장소마다 이런 카드를 함께 올리도록 권합니다.
데이터셋 카드에 담는 항목
출처·구성
- 수집 목적과 출처
- 수집·전처리 방법
- 항목 수·언어·라벨 종류
책임 있는 사용
- 알려진 편향과 한계
- 라이선스
- 개인정보 처리 방식
- 권장 용도와 피해야 할 용도
왜 중요한가
AI 모델은 학습한 데이터의 성격을 그대로 닮습니다. 데이터가 특정 언어나 지역에 치우쳐 있으면 모델도 그 방향으로 치우칩니다. 그런데 데이터를 만든 사람과 쓰는 사람이 다르면 이런 사정이 쉽게 전달되지 않습니다. 데이터셋 카드는 그 간극을 메워, 쓰는 사람이 데이터를 고르기 전에 맞는지 판단할 수 있게 해 줍니다. 저작권·개인정보 문제가 커지면서 데이터의 출처를 설명하는 자료로도 중요해졌습니다.
알아 둘 점
카드가 있다고 데이터가 깨끗하다는 뜻은 아닙니다. 쓰는 사람이 스스로 적는 문서라서 빠뜨리거나 낙관적으로 쓴 부분이 있을 수 있습니다. 데이터가 바뀌었는데 카드가 그대로 남아 낡은 정보를 전하는 일도 흔합니다. 모델에 붙이는 비슷한 문서로는 '모델 카드'가 있으며, 둘을 함께 봐야 모델이 무엇을 배웠는지 그림이 그려집니다.
예시
Hugging Face에 올라온 공개 데이터셋 페이지를 열면 첫 화면에 보이는 설명 문서가 바로 데이터셋 카드입니다. 여기서 어떤 웹사이트나 문서에서 모았는지, 어떤 라이선스로 쓸 수 있는지, 어떤 언어가 섞여 있는지를 확인한 뒤 내 프로젝트에 써도 되는지 판단합니다. 기업에서는 사내 데이터 카탈로그에 비슷한 양식을 두고, 새 학습 데이터를 등록할 때 카드를 함께 쓰도록 하는 경우가 많습니다.