데이터 선택 다시 보기: LLM 파인튜닝에서는 난이도보다 커버리지가 중요하다

문제

파인튜닝 비용을 줄이려면 학습 데이터 일부만 골라 써야 한다. 기존 연구는 '어려운 예제가 더 유익하다'는 가정으로 여러 난이도 점수를 만들었다. 하지만 이 점수들은 주로 소형 분류 모델에서 검증됐다. 출력 공간이 전체 어휘인 LLM 파인튜닝에서도 통하는지는 분명하지 않았다.

방법

Perplexity, Confidence, Variability, VoG(Variance of Gradients), PVI 다섯 가지 난이도 점수를 LLM 파인튜닝용으로 바꿨다. Llama 3 8B와 OLMo 2 7B를 Social IQa, CommonsenseQA, CosmosQA에서 학습 데이터 1~75%로 파인튜닝해 랜덤 선택과 비교했다. 커버리지는 이렇게 측정했다. 파인튜닝 전 모델의 마지막 층 Hidden Representation을 k-means로 군집화한다. 그다음 전체 데이터와 선택된 부분집합의 군집 분포 사이 Jensen-Shannon Divergence(JSD)를 계산한다. 마지막으로 입력 분포를 대표하는 데이터를 고르는 간단한 클러스터링 기반 선택법을 구현했다.

결과

• 세 데이터셋과 두 모델 모두에서 랜덤 선택이 다섯 가지 난이도 기반 방법과 비슷하거나 자주 더 나았다. 난이도 방법 중 평균 정확도는 VoG가 가장 높았다.
• 전체 데이터의 50%만 써도 100% 학습과 거의 같은 성능이 나왔다. 저자들은 이를 데이터셋에 중복이 많다는 근거로 해석했다.
• 모든 데이터셋·모델·선택 비율에서 랜덤 선택의 평균 JSD가 가장 낮았다(커버리지가 가장 높음). 평균 JSD와 정확도의 Spearman 상관은 −0.71~−0.90으로 강한 음의 상관을 보였다.
• 저자들은 클러스터링 기반 선택이 단일 도메인 과제에서 랜덤과 같거나 높은 성능을 냈다고 보고했다. 선택 비율이 늘수록 성능이 단조 증가해, 랜덤 선택의 불안정성도 피했다.
• 다양한 도메인이 섞인 Tülu 3 SFT 데이터에서는, 특히 적은 데이터 비율에서 클러스터링 기반 선택이 비교한 모든 방법을 앞섰다고 저자들은 보고했다.

한계

주요 실험은 7~8B 모델 두 개와 객관식 QA 데이터셋 세 개로 한정된다. 평가는 첫 토큰 정확 일치 방식이다. 단일 도메인에서는 제안 방법이 랜덤과 비슷한 수준이고 가끔만 앞선다. 커버리지 측정은 k값과 임베딩 선택에 민감해 여러 k와 시드로 평균을 냈다. 제공된 본문이 클러스터링 방법 설명 도중에 끊겨, 제안 방법의 세부 수치는 초록과 서론 기준으로만 정리했다.

의미

파인튜닝 데이터를 줄일 때 정교한 난이도 점수보다 랜덤 선택이나 분포를 고르게 덮는 선택이 더 안전한 기본값일 수 있다. 특히 여러 도메인이 섞인 데이터에서는 랜덤 선택만으로는 균형이 깨지기 쉽다. 이럴 때 임베딩 군집 기반 선택이 실용적인 대안이 된다.

핵심 용어

데이터 선택(Data Selection)

학습 데이터 중 일부만 골라 학습해 비용을 줄이면서 성능을 유지하려는 기법이다.

난이도 점수(Difficulty Score)

모델의 손실, 확신도, 그래디언트 변화 등으로 각 예제가 얼마나 어려운지 매긴 점수다. 보통 어려운 예제를 우선 선택한다.

커버리지(Coverage)

선택한 데이터가 전체 입력 분포를 얼마나 고르게 대표하는지를 뜻한다. 이 논문은 임베딩 군집 분포의 차이로 측정했다.

Jensen-Shannon Divergence(JSD)

두 확률분포가 얼마나 다른지 재는 대칭적 지표다. 값이 낮을수록 선택 데이터가 전체 분포와 비슷하다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Lalchand Pandia, Kanishka Misra, Allyson Ettinger · 게시 2026-11-05 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.