RLVR: 검증 가능한 보상으로 LLM 추론 능력 키우기

왜 필요했나: 흉내 내기와 사람 채점의 한계

LLM의 추론 능력을 높이는 가장 익숙한 방법은 SFT(지도 미세조정)다. 잘 쓴 풀이를 보여 주고 그대로 따라 쓰게 하는 방식이다. 하지만 표 추론 연구인 Reasoning-Table논문에 따르면 SFT는 성과를 냈지만, 모방 학습에 따르는 편향 때문에 처음 보는 문제에 대한 일반화와 견고성이 약했다. 보여 준 풀이를 흉내 내는 것과 스스로 문제를 푸는 것은 다른 능력이라는 뜻이다.

사람의 판단을 보상으로 쓰는 RLHF(인간 피드백 강화학습)도 있다. 다만 사람의 선호를 학습한 보상 모델을 따로 만들어야 하고, 이 보상 모델이 틀리면 모델이 그 허점을 파고드는 보상 해킹이 생길 수 있다. 수학 증명이나 코드처럼 맞고 틀림이 분명한 문제에 굳이 사람의 취향을 흉내 내는 채점자를 둘 필요는 없다.

여기서 나온 생각이 RLVR(Reinforcement Learning with Verifiable Rewards, 검증 가능한 보상 강화학습)이다. 수학 문제는 최종 답을 정답과 비교하고, 코드는 테스트를 돌려 보면 된다. RLVR 연구논문에 따르면 DeepSeek-R1이 쓴 GRPO(Group Relative Policy Optimization) 알고리즘으로 긴 CoT(Chain-of-Thought, 단계별 사고 과정) 추론이 가능해지면서 RLVR에 관심이 크게 쏠렸다.

핵심 아이디어: 해설집 없이 정답지만 있는 자습

RLVR은 해설집 없이 정답지만 들고 문제집을 푸는 수험생과 비슷하다. 누구도 풀이 과정을 가르쳐 주지 않는다. 대신 같은 문제를 여러 번 풀어 보고 정답지와 맞춰 본 뒤, 맞았을 때 썼던 방식을 다음에 더 자주 쓴다. 이렇게 반복하면 맞히는 풀이 습관이 점점 몸에 붙는다.

핵심은 보상을 사람의 판단이 아니라 프로그램이 내린다는 점이다. 정답 일치, 단위 테스트 통과, SQL 실행 결과 일치, 정해진 출력 형식 준수처럼 기계적으로 확인할 수 있는 규칙이 채점자다. Reasoning-Table논문도 '단순한 규칙 기반 결과 보상'만으로 여러 벤치마크(Benchmark)에서 SFT를 앞섰다고 보고했다.

여기서 의문이 하나 생긴다. 최종 답만 채점하면 엉터리 과정으로 우연히 맞힌 풀이도 상을 받지 않을까? RLVR 연구논문는 이론 틀을 세워, 답의 정답 여부만으로 보상을 줘도 올바른 추론이 장려되는 이유를 설명했다. 잘못된 과정은 평균적으로 정답에 덜 도달하므로, 여러 번 반복하면 올바른 과정이 더 많이 강화된다는 논리다.

어떻게 작동하나

한 번의 학습 단계는 대략 다음 순서로 진행된다. 첫째, 정답이나 테스트가 딸린 문제를 하나 고른다. 둘째, 지금의 모델(정책)이 같은 문제에 답을 여러 개 만든다. 이 답 하나하나를 Rollout이라고 부른다. 셋째, 검증기가 각 Rollout을 채점해 맞으면 1, 틀리면 0 같은 보상을 준다. 넷째, GRPO는 같은 문제에 나온 답들을 한 그룹으로 보고, 그룹 평균보다 나은 답은 더 자주 나오게, 못한 답은 덜 나오게 모델을 고친다. 이 과정을 계속 반복한다.

이 방식은 On-policy, 즉 현재 모델이 직접 만든 답으로 배운다. 탐색 연구 ASE논문가 지적하듯, 모델은 자기 Rollout에 실제로 나온 Trajectory(풀이 경로)에서만 직접 학습 신호를 받는다. 그래서 그룹 안의 답이 모두 맞거나 모두 틀리면 서로 비교할 차이가 없어 배울 것이 거의 없다. 문제 난이도가 중요한 이유다.

상대 예산 이론논문은 이 현상을 하나의 값으로 설명한다. 상대 예산 ξ는 생성 토큰 예산 H를, 기본 모델이 첫 정답에 이르기까지 쓰는 토큰 수의 기대값으로 나눈 값이다. ξ가 0에 가까우면 쓸모 있는 Trajectory가 드물어 필요한 샘플 수가 폭증한다. ξ가 1 근처의 균형 구간이면 학습이 가장 효율적이다. ξ가 아주 크면 학습은 안정적이지만 반복당 얻는 이득이 줄어든다. 실험에서는 ξ가 1.5~2.0일 때 학습 효율이 가장 높았고, 추론 성능도 이때 정점이었다.

여러 알고리즘이 실제로 무엇을 최적화하는지도 정리됐다. Davis·Recht의 연구논문는 정답이면 1, 아니면 0을 주는 이진 보상 알고리즘 상당수가 '정답을 낼 확률'을 단조 변환한 값을 끌어올리는 확률적 경사 상승이라고 보였다. 거부 샘플링 방식에서는 그 변환이 로그이고, GRPO에서는 제곱근의 아크사인이다. 겉보기에 다른 알고리즘들이 결국 정답 확률을 높인다는 같은 목표를 서로 다른 가중치로 좇고 있다는 뜻이다.

발전 흐름: 무엇이 밝혀졌나

첫 번째 쟁점은 RLVR이 정말로 추론 능력을 넓히는가, 아니면 원래 풀 수 있던 문제를 더 자주 맞히게 할 뿐인가였다. 2025년 RLVR 연구논문는 Pass@K(K번 시도해 한 번이라도 맞으면 성공으로 치는 지표) 실험을 다시 검토했다. 여기에 최종 답과 중간 추론 단계가 모두 맞아야 성공으로 치는 CoT-Pass@K라는 새 지표를 더했다. 그 결과 RLVR이 수학과 코딩 과제에서 추론의 경계를 넓힐 수 있으며, 학습 초기부터 올바른 추론을 장려한다는 근거를 제시했다.

두 번째 흐름은 적용 영역을 넓힌 것이다. 같은 2025년 Reasoning-Table논문은 표 질의응답·사실 검증·Text-to-SQL을 묶은 표 추론에 강화학습을 처음 적용했다. 그 결과 표 추론 벤치마크에서 Claude-3.7-Sonnet보다 4.0% 높은 성능을 냈고, 7B 모델로 BIRD dev 데이터셋에서 68.3%를 기록했다. 정답을 기계로 확인할 수 있으면 수학 밖에서도 같은 틀이 통한다는 사례다.

세 번째 흐름은 이론적 이해다. 2025년 Davis·Recht의 연구논문는 알고리즘마다 최적화하는 목표가 무엇인지 밝혔다. 2026년 상대 예산 이론논문은 과제와 계산 예산에 따라 RLVR의 효과가 달라지는 이유를 ξ라는 값 하나로 설명했다. '해 보니 된다'에서 '언제, 왜 되는가'로 질문이 옮겨 간 셈이다.

부작용: 과신과 다양성 감소

RLVR에는 잘 알려진 부작용이 두 가지 있다. 첫째는 보정(calibration) 저하다. 보정이 잘된 모델은 70% 확신할 때 실제로 70% 정도 맞힌다. 2026년 DCPO 연구논문에 따르면 RLVR을 거친 모델은 틀린 답에도 지나치게 확신하게 된다. 기존 연구는 보정 목표를 학습 목표에 그대로 더했지만, 이 연구는 정확도를 높이는 방향과 보정 오차를 줄이는 방향 사이에 근본적인 경사 충돌이 있다는 것을 이론으로 보였다. 그래서 추론과 보정 목표를 아예 분리하는 DCPO를 제안했고, GRPO와 비슷한 정확도를 유지하면서 보정 성능이 가장 좋았다고 보고했다.

둘째는 풀이 다양성 감소다. TAR 연구논문는 한정된 On-policy Rollout만으로 배우면, 의미상 다르지만 똑같이 정답인 풀이 방식이 점점 억눌린다는 것을 보였다. 한번 충분히 덜 뽑히게 된 풀이 방식은 일반적인 RLVR로는 거의 되살아나지 않는다. TAR는 기본 모델이 냈던 다양한 정답 풀이를 작은 메모리 뱅크에 모아 두고, 그 풀이가 억눌리고 있을 때만 골라서 다시 보여 준다. 6개 수학 추론 벤치마크와 두 가지 크기의 Qwen2.5 모델에서 성능과 다양성의 균형이 기존 방법보다 나았다.

Flat-RLVR논문은 같은 현상을 '분포가 날카로워진다(distribution sharpening)'고 표현한다. 모델의 출력 분포가 한 지점에 지나치게 몰리면서, 드물지만 맞는 Trajectory가 사라진다는 것이다. 이 연구는 보상이 평평한 지점을 찾는 SAM(sharpness-aware minimization)을 GRPO 계열과 결합했다. 그 결과 한 번 시도했을 때의 정확도는 유지하면서 샘플 다양성을 높였다. 두 연구 모두 Pass@1을 올리는 일과 Pass@K를 지키는 일 사이에 긴장이 있다는 점을 보여 준다.

요즘 어디로 가고 있나

첫 번째 방향은 탐색을 넓히는 것이다. ASE논문는 같은 정책에서 반복해 샘플을 뽑으면 비슷한 풀이 경로에만 몰린다는 문제에서 출발했다. 같은 문제에 대한 정답과 오답의 내부 활성값 차이를 군집화해 '탐색 벡터' 묶음을 만들고, 이후 Rollout마다 다른 벡터를 적용해 다른 풀이 경로를 시도하게 한다. DAPO-Math-17k로 학습한 Qwen3-1.7B-Base와 Qwen3-8B-Base에서 6개 수학 벤치마크의 평균 Mean@8이 같은 Rollout 예산의 GRPO보다 각각 4.87%p, 1.87%p 높았다.

두 번째 방향은 수학 문제를 넘어 긴 에이전트 과제로 가는 것이다. 이런 과제는 사람이 과제와 검증 방법을 일일이 만들기 어렵다. Explorer-Zero논문는 출제자 모델이 환경을 직접 탐색하며 과제를 만들고, 중간 상태와 최종 상태를 검증 목표로 기록한다. 그래서 일부만 완료해도 부분 보상을 받을 수 있다. 사람이 주석한 학습 과제 없이도 AppWorld에서 30B 에이전트가 과제 성공률 59.67%를 기록해, 사람이 주석한 과제로 강화학습한 결과(62.65%)에 가까워졌다.

세 번째 방향은 Off-policy 학습, 즉 지금 모델이 아닌 예전 모델이 만든 답으로 배우는 경우다. 실제 학습 시스템에서는 답을 만드는 쪽과 학습하는 쪽이 어긋나기 쉽다. 이를 중요도 가중치로 보정하면 긴 응답에서 분산이 커진다. GGPO논문는 이 가중치 없이 같은 프롬프트에 대한 응답들을 비교하는 손실 함수를 제안했다. 학습-추론 불일치 상황과 고정된 오프라인 데이터에서 GRPO·AGRO보다 나았다. 또 참조 정책을 주기적으로 갱신하는 것이 중요했다. 갱신하지 않으면 다섯 벤치마크 가중 평균이 32.96이었고, 기본 갱신 일정을 쓰면 46.58이었다.

한계와 쟁점

가장 근본적인 한계는 이름 그대로 '검증 가능한' 영역에서만 힘을 쓴다는 점이다. 수학, 코드, 표, SQL처럼 정답을 기계로 확인할 수 있는 과제는 잘 맞는다. 하지만 글의 설득력이나 조언의 적절성처럼 정답이 하나로 정해지지 않는 과제에는 그대로 쓰기 어렵다. 검증기가 허술하면 모델이 형식만 맞추고 내용은 틀리는 식으로 채점의 빈틈을 노릴 수 있다는 점도 늘 따져야 한다.

RLVR이 능력을 넓히는가, 이미 있던 능력을 더 자주 끌어내는가 하는 논쟁도 완전히 끝나지 않았다. 논문 연구는 추론 경계가 넓어진다는 근거를 냈다. 반면 TAR논문와 Flat-RLVR논문은 한 번에 맞히는 정확도가 오르는 동안 드물지만 맞는 풀이 방식이 사라질 수 있다는 것을 보였다. 어떤 지표(Pass@1, Pass@K, CoT-Pass@K)로 보느냐에 따라 결론이 달라질 수 있다.

실무 관점에서는 두 가지를 기억해 둘 만하다. 하나는 DCPO 연구논문가 보인 과신 문제다. RLVR을 거친 모델이 확신을 보여도 그 확신을 그대로 믿기 어렵다. 다른 하나는 상대 예산 이론논문이 보인 난이도 문제다. 모델 수준과 토큰 예산에 비해 너무 어려운 문제만 모으면 학습 신호가 거의 나오지 않는다.

더 공부하려면

처음이라면 RLVR 연구논문부터 읽기를 권한다. RLVR이 무엇을 바꾸는지에 대한 논쟁, Pass@K와 CoT-Pass@K의 차이, 답만 채점해도 과정이 좋아지는 이유를 한 번에 정리해 준다. 이어서 Davis·Recht의 짧은 연구논문로 알고리즘들이 결국 같은 목표를 좇는다는 점을 보고, 상대 예산 이론논문으로 언제 학습이 잘되는지 감을 잡으면 좋다.

그다음에는 부작용을 다룬 DCPO논문, TAR논문, Flat-RLVR논문을 함께 읽으면 정확도만 보면 놓치는 것이 무엇인지 보인다. 수학 밖으로 적용하는 방법이 궁금하다면 표 추론의 Reasoning-Table논문을 보면 된다.

최근 흐름은 문제에 따라 고르면 된다. 탐색은 ASE논문, 에이전트 과제의 보상 설계는 Explorer-Zero논문, 학습 시스템에서 생기는 Off-policy 문제는 GGPO논문를 보면 된다.