GIST: Offline RLVR을 위한 Gibbs 목표 기반 계층적 데이터 선택

문제

Offline RLVR(검증 가능한 보상 기반 강화학습)은 미리 샘플링한 응답 풀로 학습하면서 보통 모든 응답의 모든 토큰을 감독한다. 하지만 응답과 토큰마다 정보량이 다르다. 기존 방법은 응답 선택이나 토큰 선택 중 한쪽만 다뤘고, 정답 여부와 샘플링 방식에 따라 어떤 토큰이 유익한지는 다루지 않았다.

방법

이론: KL 정규화 RLVR의 최적해인 Gibbs 목표 정책과 현재 정책의 차이를 양방향 KL로 측정하고, 이를 위아래로 묶는 KL 곡률 점수를 유도했다. 참조 정책에서는 이 불일치가 정확히 분해된다. 정답 응답은 순방향 항이 지배하며 낮은 확률 토큰에 정보가 몰린다. 오답 응답은 역방향 항이 지배하며 자주 생성되는 응답과 높은 확률 토큰에 정보가 몰린다. 방법: 프롬프트마다 온도 1.0으로 16개, 0.3으로 16개를 생성한다. 정답은 온도 1.0 풀에서, 오답은 0.3(최빈값 근처) 풀에서 각 4개씩 고르고, 두 종류를 모두 확보한 프롬프트만 남긴다. 토큰은 초기 정책 확률이 응답 평균보다 낮은 정답 토큰과 높은 오답 토큰만 감독한다. 모든 선택은 학습 전에 한 번만 하며, BOLT(가중 우도)와 SFT 목적 함수에 붙여 썼다.

결과

• Qwen3-0.6B, Qwen3.5-2B, Gemma-4-E2B-it 세 모델과 BOLT·SFT 두 목적 함수 조합에서 GSM8K, MATH-500, MBPP 결과가 30개 설정 중 29개에서 개선됐고, 평균 정확도는 모든 경우에 올랐다.
• Qwen3-0.6B/GSM8K에서 같은 후보 풀로 학습한 선택 기준선 7개보다 Strict 정확도가 높았다. 이때 감독 토큰 수는 같은 프롬프트의 전체 후보 학습보다 66.6%, 무작위 선택보다 31.5% 적었다.
• 같은 비교에서 전체 후보로 학습할 때보다 옵티마이저 스텝도 49.9% 적었다.

한계

정답·오답 쿼터(각 4개)는 이론에서 나온 값이 아닌 실무적 선택이다. 이 때문에 정답이 거의 나오지 않는 가장 어려운 프롬프트는 학습에서 빠진다. 두 클래스의 비중은 이론으로 정해지지 않아 같은 쿼터를 썼다. 분석은 참조 정책에서의 불일치에 대한 것으로, 선택한 데이터로 학습한 결과까지 보장하지는 않는다(저자 언급). 실험은 2B 이하 소형 모델과 수학·코드 벤치마크에 한정됐다.

의미

RLVR 학습 데이터를 '무엇을 남기고 무엇을 감독할지'에 원리적 기준을 제시한다. 온도와 초기 정책 확률처럼 학습 전에 얻을 수 있는 신호만 쓰므로 구현 비용이 낮고, 학습 토큰과 계산량을 크게 줄이면서 성능을 높일 수 있다.

핵심 용어

RLVR(Reinforcement Learning with Verifiable Rewards)

수학 정답 확인이나 코드 테스트처럼 자동으로 정오를 판정할 수 있는 보상을 쓰는 강화학습이다.

Gibbs 최적 정책

KL 정규화 보상 최대화 문제의 해로, 참조 정책 확률에 보상의 지수 가중치를 곱한 분포다. Offline 학습이 맞추려는 목표다.

순방향/역방향 KL

순방향은 목표가 원하는 행동을 정책이 얼마나 놓치는지, 역방향은 정책이 목표가 원하지 않는 곳에 얼마나 확률을 두는지를 잰다.

온도 페어링(temperature pairing)

정답은 온도 1.0 샘플에서, 오답은 낮은 온도(최빈값 근처) 샘플에서 골라 각각 가장 유익한 응답을 얻는 GIST의 응답 선택 방식이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Xuliang Huang, Tianxiang Zhao, Chengwei Qin, Yao Shu · 게시 2026-11-04 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.