스터디 · 2026-10-16 · 심화

사람 피드백 강화학습에서 DPO·GRPO까지: 선호를 모델에 가르치는 법

사전학습만 한 LLM은 '다음 단어 맞히기'에 능할 뿐 사용자 의도를 따르도록 배운 적이 없어서, RLHF·DPO·GRPO 같은 사후 학습으로 사람의 선호나 정답 신호를 가르친다. 이 노트는 보상 모델과 PPO를 쓰는 RLHF에서 강화학습 단계를 덜어낸 DPO, 별도 가치 모델 없이 답변 묶음 안에서 비교하는 GRPO까지, 각 방법이 무엇을 바꿨는지와 남은 쟁점을 정리한다.

왜 필요했나: 크게 만들어도 말을 잘 듣지는 않는다
핵심 아이디어: 요리를 시키는 대신 두 접시 중 고르게 한다
어떻게 작동하나: 세 가지 방식의 단계
발전 흐름: 세 출발점 논문이 각각 새로 한 것
요즘 어디로 가고 있나: 에이전트, 보안, 효율
한계와 쟁점
더 공부하려면

핵심 정리

사전학습 목표(다음 토큰 예측)와 '사용자 지시를 도움 되고 안전하게 따르기'는 다른 목표이며, RLHF는 이 차이를 사람의 선호 비교로 메운다.
RLHF는 SFT → 보상 모델 학습 → PPO 강화학습의 3단계로 이뤄지고, InstructGPT에서는 1.3B 모델이 175B GPT-3보다 더 선호됐다.
DPO는 보상 모델과 강화학습 단계를 따로 두지 않고, 선호 쌍 데이터로 간단한 분류 손실 하나만 써서 같은 목표를 최적화한다.
GRPO는 PPO의 변형으로, 같은 질문에 대한 여러 답변을 묶어 서로 비교하므로 별도 가치 모델(critic)이 필요 없고 메모리를 아낀다.
최근 연구는 긴 에이전트 작업에서 단계별 공로 배분, 선호 데이터 오염 같은 보안 위협, 학습 안정성과 메모리 효율을 다룬다.

왜 필요했나: 크게 만들어도 말을 잘 듣지는 않는다

LLM(대규모 언어 모델)은 인터넷 글을 보며 '다음 토큰 맞히기'를 배운다. InstructGPT 논문논문은 이 목표가 '사용자 지시를 도움이 되고 안전하게 따르기'와는 다른 목표라고 지적하고, 이런 상태를 목표가 어긋나 있다(misaligned)고 불렀다. 그래서 모델은 사실을 지어내거나(환각), 편향되거나 유해한 글을 쓰거나, 아예 지시를 따르지 않기도 한다.

같은 논문은 모델을 키운다고 이 문제가 저절로 풀리지는 않는다는 점을 출발점으로 삼았다. 원하는 행동을 사람이 직접 써서 보여 주는 지도 학습(SFT, 지도 미세조정)도 한 방법이지만, 좋은 답변 예시를 많이 쓰려면 비용이 크게 든다. DPO 논문논문도 전문가가 직접 쓴 시범보다 '두 답변 중 어느 쪽이 나은가' 같은 상대 판단이 모으기 쉽다고 말한다.

그래서 등장한 것이 RLHF(인간 피드백 강화학습)다. 사람이 고른 선호를 보상 신호로 바꿔, 모델이 그 보상을 더 받도록 사후 학습하는 방식이다. 이 흐름은 이후 '보상을 어떻게 만들고, 어떻게 효율적으로 최적화하나'를 두고 DPO와 GRPO로 이어진다.

핵심 아이디어: 요리를 시키는 대신 두 접시 중 고르게 한다

요리 대회를 떠올리면 쉽다. 심사위원에게 완벽한 요리를 직접 해 보라고 하면 어렵지만, 두 접시를 맛보고 어느 쪽이 나은지 고르라고 하면 금방 한다. RLHF는 이 '고르기'를 대량으로 모은 뒤, 고르는 기준을 흉내 내는 '기계 심사위원'(보상 모델)을 만들고, 요리사(언어 모델)가 그 심사위원에게 좋은 점수를 받도록 연습시킨다.

DPO는 기계 심사위원을 따로 만들지 않는다. DPO 논문논문의 부제 '당신의 언어 모델은 사실 보상 모델이다'처럼, 요리사 자신이 '좋은 접시는 더 자주, 나쁜 접시는 덜 자주 내도록' 바로 고친다. 수학적으로 기존 RLHF와 같은 목표를 겨누면서도 단계가 훨씬 단순하다.

GRPO는 한 손님(질문)에게 요리를 여러 접시 만들어 보고, 그 접시들끼리 점수를 비교해 평균보다 나은 쪽을 강화한다. '이 질문이 원래 몇 점짜리인지'를 따로 예측하는 모델 없이 같은 묶음 안의 비교로 기준선을 삼는다는 점이 핵심이다.

어떻게 작동하나: 세 가지 방식의 단계

RLHF는 InstructGPT논문에서 정리한 세 단계로 작동한다. 첫째, 라벨러가 쓴 바람직한 답변 시범으로 GPT-3를 지도 학습한다(SFT). 둘째, 같은 프롬프트에 대한 모델 출력 여러 개를 라벨러가 순위 매기고, 이 데이터로 '라벨러가 어느 쪽을 더 좋아할지' 예측하는 보상 모델(RM)을 학습한다. 셋째, 이 보상 모델을 보상 함수로 삼아 PPO라는 강화학습 알고리즘으로 SFT 모델을 다시 파인튜닝한다. 이 과정에서 모델이 원래 모델에서 너무 멀어지지 않도록 묶어 두는 제약을 함께 건다.

DPO논문는 둘째와 셋째 단계를 하나로 합친다. 연구진은 보상 모델을 새로운 방식으로 표현하면 그에 맞는 최적 정책(모델이 답을 내는 방식)을 닫힌 식으로 바로 얻을 수 있음을 보였다. 그래서 '선호된 답변과 거절된 답변' 쌍만 있으면, 선호된 답변의 상대 확률은 올리고 거절된 답변의 상대 확률은 내리는 이진 분류 손실 하나로 학습이 끝난다. 학습 중에 모델에서 답변을 샘플링할 필요도 없다. 단순한 확률 비율만 쓰면 모델이 망가지는데, DPO는 예시마다 가중치를 달리 줘서 이를 막는다고 설명한다.

GRPO(Group Relative Policy Optimization)는 DeepSeekMath논문가 소개한 PPO의 변형으로, PPO의 메모리 사용을 줄이면서 수학 추론 능력을 높이는 것을 목표로 했다. 이후 연구들의 설명을 보면 GRPO 계열은 같은 프롬프트로 여러 Rollout(모델이 실제로 생성해 본 답변)을 묶음으로 만들고, 그 묶음 안의 보상 통계로 각 답변이 얼마나 나은지 판단한다. 예를 들어 Fed-GRPO논문는 GRPO 학습 중 자연스럽게 생기는 보상 통계를 활용하고, 묶음 기반 강화학습을 다룬 MCGPO논문와 CCPO논문는 이런 학습을 별도 가치 모델(critic) 없이 하는 방식이라고 설명한다.

RLHF·DPO·GRPO의 학습 경로 위 줄은 보상 모델과 PPO를 쓰는 RLHF, 가운데 줄은 선호 쌍으로 바로 학습하는 DPO, 아래 줄은 답변 묶음 안에서 비교하는 GRPO다. 세 경로 모두 결국 조정된 모델을 만든다.

발전 흐름: 세 출발점 논문이 각각 새로 한 것

InstructGPT2022 논문는 RLHF를 폭넓은 지시 따르기에 적용해 효과를 보여 줬다. 40명의 계약 라벨러를 뽑아 데이터를 만들었고, 사람 평가에서 1.3B 파라미터 InstructGPT의 출력이 100배 이상 큰 175B GPT-3보다 더 선호됐다. 175B InstructGPT는 175B GPT-3보다 85±3%의 비율로 선호됐고, 입력에 없는 내용을 지어내는 비율은 GPT-3의 41%에서 21%로 줄었다.

DPO2023 논문는 RLHF가 '복잡하고 자주 불안정한 절차'라는 문제를 겨눴다. 여러 언어 모델을 학습하고 학습 루프 안에서 계속 샘플링해야 하는 부담을 없애고, 강화학습 없이 같은 목표를 최적화했다. 최대 6B 파라미터 모델로 한 실험에서 생성 문장의 감정 조절은 PPO 기반 RLHF를 넘었고, 요약과 한 턴짜리 대화에서는 응답 품질이 비슷하거나 더 나았다.

DeepSeekMath2024 논문는 방향이 조금 다르다. 사람 선호보다 수학 추론 능력이 목표였고, 수학 관련 토큰 120B개로 7B 모델을 추가 사전학습한 뒤 GRPO로 강화학습했다. 이 7B 모델은 외부 도구나 투표 없이 경쟁 수준의 MATH 벤치마크에서 51.7%를 기록했다. RLHF가 '사람의 비교'를 보상으로 썼다면, GRPO는 PPO 계열을 더 가볍게 만들어 추론 학습에 쓰는 길을 열었다. 이후 연구에서 이 흐름은 정답 여부처럼 검증 가능한 보상을 쓰는 RLVR(검증 가능한 보상 강화학습)과 함께 언급된다.

요즘 어디로 가고 있나: 에이전트, 보안, 효율

첫째 방향은 긴 작업을 하는 에이전트의 공로 배분이다. GRPO 계열은 마지막 결과(성공·실패)만 보상으로 받는 경우가 많아서, 수십 단계 중 어느 행동이 잘했는지 가리기 어렵다. CCPO논문는 다른 Trajectory(행동 기록)에서 같은 관찰이 나온 단계를 찾아 비교하되, 맥락이 비슷할수록 더 무게를 둔다. 또한 성공한 Trajectory 안의 군더더기 행동도 걸러내도록 '그 단계가 실제로 얼마나 진전을 만들었나'를 함께 본다. 이 방법은 Qwen2.5-Instruct 1.5B·7B 모델에서 ALFWorld 성공률을 최대 97.4%, WebShop을 79.4%까지 끌어올렸고, GRPO보다 각각 최대 21.6점, 18.5점 높았다.

둘째 방향은 선호 데이터의 보안이다. DPO가 널리 쓰이면서 선호 데이터 자체가 공격 대상이 됐다. DPOison-VL논문은 VLM(비전-언어 모델)을 DPO로 학습할 때, 프롬프트·답변·선호 표시는 그대로 두고 일부 학습 이미지에만 눈에 띄지 않는 변형을 넣는 공격을 제시했다. 학습 데이터의 2%만 오염시켜도 공격 성공률이 최대 98%에 이르렀다. 사람이 검수해도 걸러지지 않는 데이터 포이즈닝이 정렬 결과를 조용히 바꿀 수 있다는 경고다.

셋째 방향은 더 촘촘한 신호와 효율이다. FSPO논문는 RLVR의 결과 점수 하나만으로는 답변 전체를 거칠게만 가르친다고 보고, 과거의 다음 토큰 분포를 고정된 목표로 저장해 토큰 단위로 더 촘촘하게 학습 신호를 준다. 별도 Teacher 모델을 계속 유지하지 않는 방식이며, 5시간 학습 예산 안에서 가장 강한 기준선보다 평균 약 4%포인트 높았고 Olmo3-7B-Instruct에서 최대 메모리를 약 70GB에서 56GB로 줄였다.

최근 연구의 눈에 띄는 수치

최대 21.6점CCPO, ALFWorld에서 GRPO 대비

2% → 98%DPOison-VL, 오염 비율과 공격 성공률

70GB → 56GBFSPO, 최대 메모리 절감

각 연구가 자신의 실험 환경에서 보고한 수치로, 실제 서비스 성능을 뜻하지 않는다.

한계와 쟁점

가장 근본적인 쟁점은 '누구의 선호인가'다. InstructGPT논문는 스스로 이 방법이 넓은 의미의 '인간 가치'가 아니라 특정 집단(주로 라벨러와 연구자)이 밝힌 선호에 모델을 맞춘다고 밝혔다. 같은 논문에서 유해 출력은 줄었지만 편향을 측정한 Winogender·CrowS-Pairs에서는 뚜렷한 개선이 없었고, RLHF 도중 SQuAD·DROP 같은 공개 NLP 데이터셋 성능이 떨어지는 현상도 관찰됐다. 연구진은 사전학습 데이터를 섞는 변형(PPO-ptx)으로 이 하락을 줄였다고 보고했다.

둘째는 보상의 질이다. RLHF는 학습된 보상 모델을 최대화하므로, 보상 모델이 사람의 진짜 판단을 잘못 흉내 내면 모델이 그 빈틈을 파고들 수 있다(보상 해킹). 원래 모델에서 너무 멀어지지 않게 묶는 제약이 이를 막는 장치 중 하나다. DPO는 별도 보상 모델을 두지 않지만, 선호 데이터 자체에 그대로 의존한다. DPOison-VL논문이 보여 주듯 그 데이터가 오염되면 정렬 방향이 바뀐다.

셋째는 결과 보상의 거칠기다. GRPO처럼 최종 정답 여부만 보는 방식은 긴 작업에서 어떤 단계가 기여했는지 알려 주지 못한다. CCPO논문와 FSPO논문가 나온 이유가 이것이다. 또 실험 수치는 대부분 특정 벤치마크와 특정 크기 모델에서 나온 결과이므로, 그대로 실제 서비스 성능으로 받아들이면 안 된다. 어떤 방식을 쓰든 최종 행동을 평가하고 책임지는 일은 사람에게 남는다.

더 공부하려면

먼저 InstructGPT논문의 그림 2(SFT·보상 모델·PPO 세 단계)와 1장 서론을 읽으면 RLHF의 전체 모양이 잡힌다. 결과 요약 부분에서 진실성·유해성·편향이 각각 어떻게 달라졌는지 비교해 보면 '정렬이 무엇을 바꾸고 무엇은 못 바꾸는가'가 보인다.

다음으로 DPO논문의 그림 1과 서론을 읽는다. RLHF 파이프라인과 DPO 파이프라인을 나란히 그린 그림이라, 무엇이 빠졌는지 한눈에 들어온다. 수식이 부담스럽다면 '선호된 답변의 상대 확률을 올린다'는 직관만 잡고 넘어가도 된다.

그다음 DeepSeekMath논문에서 GRPO가 등장한 맥락(수학 추론, PPO 메모리 절감)을 확인하고, 최근 흐름으로는 에이전트 학습에서 GRPO의 한계를 다룬 CCPO논문, 선호 데이터 보안을 다룬 DPOison-VL논문을 이어 읽기를 권한다.

참고 문헌

핵심 논문

최근 연구

AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.