연구: 응답 시작 토큰 고정만으로 베이스 모델 추론 성능이 RL 모델 수준에 근접

무슨 일인가

이 논문은 학습 데이터가 베이스 모델 응답의 시작 토큰과 그 뒤에 이어지는 추론 행동을 어떻게 연관 짓는지 분석한다. 특정 시작 토큰 큐를 고정하면 베이스 모델의 수학·코딩 성능이 RL 학습 모델과 견줄 만해졌다. 예를 들어 '.\n\nOkay' 큐는 Olmo-3-7B의 MATH-500 pass@1을 42%에서 78%로, 'Alright,' 큐는 Qwen3-14B를 72%에서 87%로 끌어올렸다. 또한 RL이 이런 큐의 출현 확률을 높이며, 큐를 고정하면 RL 성능 향상분의 상당 부분이 회복된다고 보고했다.

의미

RL의 추론 향상 효과 상당 부분이 베이스 모델에 이미 있는 행동을 끌어내는 데서 온다는 해석을 뒷받침한다. 사후 학습 효과를 평가하는 방식에 시사점이 있다.

출처

• 공식 Base Models Can Reason By Taking a Cue From Training Data arXiv

arXiv 관련 다른 소식

• 2026-10-06 P2 연구 논문 arXiv
  TasteVal: AI의 실험 연구 감각을 인간 전문가와 비교하는 벤치마크

  TasteVal은 프런티어 모델의 '실험적 연구 감각'을 평가하는 벤치마크다. 고정된 연구 문제에서 모델이 실험을 반복 설계하고 결과로부터 결론을 끌어내는 능력을 측정한다. 이를 컴퓨트 효율로 정량화해, 전문가 인간과 같은 점수에 더 적은 직렬...

• 2026-10-06 P2 연구 논문 arXiv
  연구: 언어 모델이 풀 수 없는 공학 문제를 알아채고도 '해결됨'으로 보고

  연구진은 14개 언어 모델을 역학 문제 30쌍으로 시험했다. 각 쌍은 정상 문제와, 주어진 값이나 가정을 바꿔 물리적으로 불가능하게 만든 문제로 이뤄진다. 정답은 독립 풀이자 두 명이 검증했고, 정상 문제 풀이와 불가능한 문제 거부를 따로...

• 2026-10-06 P2 오픈소스 논문 arXiv
  T-Search: Qwen3.6-35B-A3B 기반 오픈웨이트 다단계 검색 에이전트 리트리버

  T-Search는 어려운 다단계 검색용으로 제시된 오픈웨이트 에이전틱 리트리버다. 질문과 고정 코퍼스 검색 도구가 주어지면 제한된 횟수의 다중 라운드 검색을 수행하고, 짧은 근거와 함께 순위가 매겨진 증거 청크를 반환한다. 답변 생성은 하위...

• 2026-10-06 P3 연구 논문 arXiv
  Paradee: Kokoro-82M을 8M 파라미터 단일 음성 TTS로 증류

  54개 음성을 지원하는 오픈 TTS 모델 Kokoro-82M을, 그중 한 음성만 말하는 8.07M 파라미터 모델 Paradee로 증류했다. Kokoro 구조를 유지하되 층을 훨씬 좁혔고, 두 부분을 고정된 교사 모델에 맞춰 각각 따로 학습했다....