← 주요 논문

논문 리뷰 · 2026년 11월 13일

강화학습으로 LLM의 자기 주도 학습(Self-Learning) 능력 끌어내기

Incentivizing Self-Learning in Large Language Models via Reinforcement Learning

강화학습언어 모델에이전트 고급 추천 27 cs.CL Intern Large Models

LLM이 교과서를 직접 탐색하며 증명 문제를 풀도록 세분화된 보상으로 강화학습시켜, 증명 정확도를 51.5%에서 79.5%로 올렸다.

문제

낯선 분야의 문제를 풀려면 관련 정보에 접근하는 것만으로는 부족하다. 새 원리를 이해하고 풀이에 엮어 넣어야 한다. 기존 RAG나 미리 묶어 둔 문맥에서 배우는 방식은 지식 습득과 추론이 서로 영향을 주고받는 과정을 잘 다루지 못한다. 저자들은 긴 참고자료에서 스스로 필요한 내용을 찾아 공부하고 적용하는 'self-learning' 능력을 연구 대상으로 삼았다.

방법

수학 교과서 158권에서 연습문제 5,183개를 뽑아 '문제-교과서' 쌍을 만들고, 모델이 볼 수 있는 교과서에서는 풀이를 지웠다. BookNavigator 인터페이스는 목차 보기(get_toc), 키워드 검색(search_index), 절 읽기(read_section) 세 가지 행동을 제공한다. Intern-S2-Preview-35B를 GRPO로 50 step 학습시키며, 증명 정답 여부(GLM-5.2가 8회 모두 정답으로 판정해야 통과)에 두 가지 보상을 더했다. (1) 정답 Trajectory에서 도구를 썼을 때 주는 탐색 보너스로, cosine 스케줄로 1에서 0.25까지 줄인다. (2) 초기 정책의 고정 복사본이 라운드별 도구 사용을 '유용·중립·해로움'으로 평가하고, 그에 따라 advantage를 라운드마다 재분배한다.

결과

한계

증명 정답 판정과 도구 사용 평가를 모두 LLM 심사기에 맡겨 채점 오류가 섞일 수 있다. RL 실험은 Intern-S2-Preview-35B 한 모델, 50 rollout step 규모다. 과제는 수학 교과서 기반 증명에 한정되고, 교과서 검색은 키워드 방식이다. 수학 밖 작업에서의 개선폭은 1~2%p 수준으로 크지 않다. 입력 본문이 중간에 잘려 있어 성능 향상 원인 분석과 Ablation 세부 수치는 확인하지 못했다.

의미

모델에 지식을 더 넣는 대신 '모르는 내용을 스스로 찾아 배우는 방법'을 학습시킨다는 방향을 보여 준다. 사내 문서나 매뉴얼처럼 긴 자료를 읽으며 문제를 푸는 에이전트를 설계할 때, 고정된 검색 결과를 붙이는 RAG보다 능동적으로 탐색하는 방식이 나을 수 있다는 근거가 된다.

핵심 용어

GRPO(Group Relative Policy Optimization)
같은 문제에 대해 여러 응답을 뽑고, 그룹 안에서 상대적으로 얼마나 나은지를 advantage로 삼아 정책을 업데이트하는 강화학습 알고리즘이다.
Self-learning
모델이 문제를 푸는 도중에 참고자료에서 필요한 지식을 스스로 찾아 읽고 이해해 적용하는 능력을 말한다.
Credit assignment
최종 보상을 Trajectory 안의 개별 행동(여기서는 라운드별 도구 호출)에 얼마나 나눠 줄지 정하는 문제다.
LLM-as-judge
다른 LLM이 모델의 출력(여기서는 증명)이 맞는지 판정해 평가나 보상 신호로 쓰는 방식이다.

원문

저자: Lingkai Kong, Yuzhe Gu, Haiteng Zhao, Zijian Wu, Youqing Fang, Zhouqi Hua, Yanan Sun, Kai Chen, 외 · 게시 2026-10-29 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.