논문 리뷰 · 2026년 11월 13일
강화학습으로 LLM의 자기 주도 학습(Self-Learning) 능력 끌어내기
Incentivizing Self-Learning in Large Language Models via Reinforcement Learning
LLM이 교과서를 직접 탐색하며 증명 문제를 풀도록 세분화된 보상으로 강화학습시켜, 증명 정확도를 51.5%에서 79.5%로 올렸다.
문제
낯선 분야의 문제를 풀려면 관련 정보에 접근하는 것만으로는 부족하다. 새 원리를 이해하고 풀이에 엮어 넣어야 한다. 기존 RAG나 미리 묶어 둔 문맥에서 배우는 방식은 지식 습득과 추론이 서로 영향을 주고받는 과정을 잘 다루지 못한다. 저자들은 긴 참고자료에서 스스로 필요한 내용을 찾아 공부하고 적용하는 'self-learning' 능력을 연구 대상으로 삼았다.
방법
수학 교과서 158권에서 연습문제 5,183개를 뽑아 '문제-교과서' 쌍을 만들고, 모델이 볼 수 있는 교과서에서는 풀이를 지웠다. BookNavigator 인터페이스는 목차 보기(get_toc), 키워드 검색(search_index), 절 읽기(read_section) 세 가지 행동을 제공한다. Intern-S2-Preview-35B를 GRPO로 50 step 학습시키며, 증명 정답 여부(GLM-5.2가 8회 모두 정답으로 판정해야 통과)에 두 가지 보상을 더했다. (1) 정답 Trajectory에서 도구를 썼을 때 주는 탐색 보너스로, cosine 스케줄로 1에서 0.25까지 줄인다. (2) 초기 정책의 고정 복사본이 라운드별 도구 사용을 '유용·중립·해로움'으로 평가하고, 그에 따라 advantage를 라운드마다 재분배한다.
결과
- 전체 증명 정확도가 51.5%에서 79.5%로 28.0%p 올랐다. 같은 방식으로 RL 학습한 고정 검색 기준선 중 가장 좋은 Top-k Sections(73.1%)보다 6.4%p 높았다.
- 학습 전 Self-Learning(51.5%)은 교과서 없이 푸는 No-Book(55.7%)보다 낮았지만, RL 후에는 No-Book(68.5%)을 11.0%p 앞섰다.
- 학습에 쓰지 않은 교과서(OOD-Book)에서 85.2%, 학습에 없던 과목(확률·통계, OOD-Subject)에서 86.7%로 모든 비교 방식 중 가장 높았다.
- BookNavigator 없이 원래 평가 방식을 쓴 BrowseComp-Plus와 CL-bench에서도 기본 모델보다 각각 1.7%p, 2.3%p 개선됐다.
- 저자들은 정답 여부만 보상으로 쓰면 정확도는 오르지만 교과서 탐색이 줄어든다고 보고했다. 탐색 보너스와 도구 크레딧을 함께 쓰면 도구 호출 횟수를 최대로 늘리지 않고도 다른 분야 성능이 더 좋았다.
한계
증명 정답 판정과 도구 사용 평가를 모두 LLM 심사기에 맡겨 채점 오류가 섞일 수 있다. RL 실험은 Intern-S2-Preview-35B 한 모델, 50 rollout step 규모다. 과제는 수학 교과서 기반 증명에 한정되고, 교과서 검색은 키워드 방식이다. 수학 밖 작업에서의 개선폭은 1~2%p 수준으로 크지 않다. 입력 본문이 중간에 잘려 있어 성능 향상 원인 분석과 Ablation 세부 수치는 확인하지 못했다.
의미
모델에 지식을 더 넣는 대신 '모르는 내용을 스스로 찾아 배우는 방법'을 학습시킨다는 방향을 보여 준다. 사내 문서나 매뉴얼처럼 긴 자료를 읽으며 문제를 푸는 에이전트를 설계할 때, 고정된 검색 결과를 붙이는 RAG보다 능동적으로 탐색하는 방식이 나을 수 있다는 근거가 된다.
핵심 용어
- GRPO(Group Relative Policy Optimization)
- 같은 문제에 대해 여러 응답을 뽑고, 그룹 안에서 상대적으로 얼마나 나은지를 advantage로 삼아 정책을 업데이트하는 강화학습 알고리즘이다.
- Self-learning
- 모델이 문제를 푸는 도중에 참고자료에서 필요한 지식을 스스로 찾아 읽고 이해해 적용하는 능력을 말한다.
- Credit assignment
- 최종 보상을 Trajectory 안의 개별 행동(여기서는 라운드별 도구 호출)에 얼마나 나눠 줄지 정하는 문제다.
- LLM-as-judge
- 다른 LLM이 모델의 출력(여기서는 증명)이 맞는지 판정해 평가나 보상 신호로 쓰는 방식이다.
원문
저자: Lingkai Kong, Yuzhe Gu, Haiteng Zhao, Zijian Wu, Youqing Fang, Zhouqi Hua, Yanan Sun, Kai Chen, 외 · 게시 2026-10-29 · 라이선스 CC BY 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.