논문 리뷰 · 2026년 11월 11일
연습 정확도가 감추는 비용: 자기 생성 학습 데이터의 풀이 예시와 새 규칙의 조합적 활용
A Cost That Practice Accuracy Hides: Worked Solutions in Self-Generated Training Data and the Compositional Use of New Rules
자기 생성 학습 데이터를 만들 때 풀이 예시를 함께 보여주는지에 따라 모델을 비교해, 연습 정확도는 같아도 새 규칙을 연속으로 재사용하는 능력은 크게 달라짐을 보였다.
문제
모델이 규칙을 컨텍스트에 두고 연습 문제를 푼 뒤, 정답인 출력만 골라 규칙 없이 파인튜닝하는 방식이 널리 쓰인다. 이때 프로그램이 만든 풀이 예시를 함께 주면 학습 타깃이 짧아지고 비용도 줄어든다. 하지만 연습한 연산의 정확도만 보면, 새 규칙을 다른 방식으로 재사용하는 능력의 차이를 놓칠 수 있다.
방법
가상의 배터리 셀 'Kestrel'에 대해 새로 만든 정량 규칙 2개(전압 이완 T1, 전류 의존 가용 용량 T2)를 정의했다. 2B 파라미터 추론 모델이 규칙 시트만 보거나(Gen), 시트와 프로그램이 작성한 풀이를 함께 보며(Inst) 128개 순방향 문제의 학습 타깃을 만든다. 최종 답이 맞은 타깃만 남기고, 컨텍스트를 뺀 상태에서 LoRA+로 학습한다. 평가는 컨텍스트 없이 연습한 순방향 사용, 학습하지 않은 역산, 두 구간에 같은 규칙을 이어 쓰는 조합(composition)으로 나눴다. 사전 등록한 전향적 검증, 새 인자값 테스트, 독립적으로 샘플링한 두 번째 타깃 뱅크, 학습량을 맞춘 10회 학습 조건도 함께 실험했다.
결과
- 6회 학습 후 전향적 검증에서 조합 문제 성공률은 시트만 쓴 타깃이 24.3%p 높았다(95% 신뢰구간 14.6~34.0).
- 학습에 없던 인자값에서는 순방향 정확도가 둘 다 87.5%로 같았지만, 조합 정확도는 58.3% 대 23.6%로 34.7%p 차이가 났다(25.7~43.8).
- 독립 샘플링한 두 번째 타깃 뱅크에서도 같은 방향(+14.6%p, 2.1~26.0)이 재현됐다. 도메인 토큰 수를 맞추려고 풀이 예시 정책을 10회 학습하자 차이가 16.3%p로 줄었고, 두 번째 뱅크에서는 6.2%p(−6.3~18.8)로 사전 지정한 검정을 통과하지 못했다.
- 풀이 예시 정책은 캡처 토큰이 42% 적고 업데이트 시간이 28% 짧았다. 그러나 학습된 모델은 조합 성공 1회당 생성 토큰을 2.6배(두 번째 뱅크 2.1배) 더 썼다.
한계
가상의 도메인 하나, 주 모델 하나(2B), 학습 레시피 하나로 한 실험이다. 조합은 같은 규칙을 순차로 재사용하는 것만 다루고, 두 규칙을 결합하는 경우는 다루지 않는다. 타깃의 어떤 속성이 차이를 만드는지는 분리하지 못했다. 학습량을 맞추면 차이가 줄고 두 번째 뱅크에서는 유의하지 않아, 차이의 크기는 불확실하다. 정답만 주는 조건은 순방향 정확도 기준을 통과하지 못해 결론을 내지 못했다.
의미
자기 생성 데이터 파이프라인을 운영할 때 흔히 기록하는 지표(생성 비용, 학습 시간, 유사 문제 정확도)만으로는 컨텍스트 설계를 고르기에 부족하다. 학습에서 요구하지 않은 활용 방식과 추론 비용까지 함께 평가해야 한다는 근거를 준다.
핵심 용어
- 캡처 컨텍스트(capture context)
- 모델이 자기 학습 타깃을 생성할 때 컨텍스트에 넣어 주는 자료다. 학습과 평가 때는 제거된다. 여기서는 규칙 시트만 주는 경우와 시트에 풀이 예시를 더하는 경우를 비교했다.
- Context Distillation
- 추가 컨텍스트를 보고 생성한 출력을, 그 컨텍스트 없이 같은 출력을 내도록 모델에 학습시키는 방식이다.
- 과소명세(underspecification)
- 학습 분포의 검증 데이터에서는 성능이 같지만 분포 밖에서는 다르게 동작하는 모델들이 같은 파이프라인에서 나올 수 있는 현상이다.
원문
저자: Jiantong Xu · 게시 2026-11-09 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.