추론 모델과 테스트 타임 컴퓨트: 답하기 전에 더 오래 생각하게 하기

왜 필요했나: 모델을 키우는 것만으로는 부족했다

대규모 언어 모델(LLM)은 파라미터를 늘릴수록 많은 과제에서 좋아졌다. 그런데 CoT 논문논문은 모델 크기를 키우는 것만으로는 산수 문장제, 상식 추론, 기호 조작처럼 여러 단계를 거쳐야 하는 문제에서 높은 성능을 내기 어렵다고 지적했다. 질문과 정답 쌍만 몇 개 보여 주는 기존 few-shot 프롬프트는 추론이 필요한 과제에서 잘 통하지 않았고, 모델이 커져도 크게 나아지지 않는 경우가 많았다.

다른 길로는 풀이 과정을 직접 학습시키는 방법이 있었다. 하지만 같은 논문은 질 좋은 풀이를 대량으로 만드는 비용이 단순한 입력-출력 쌍을 모으는 것보다 훨씬 크다고 짚었다. 문제는 결국 '모델이 답을 내기 전에 생각할 공간'을 어떻게 주느냐였다.

여기서 시선이 학습 단계에서 사용 단계로 옮겨 갔다. 모델이 한 번에 답을 뱉는 대신, 답을 만드는 순간(추론 시점, 즉 테스트 시점)에 계산을 더 쓰게 하면 어떨까. 이것이 테스트 타임 컴퓨트(Test-time compute)라는 발상이고, 이를 기본 습관으로 몸에 익힌 모델을 흔히 추론 모델(Reasoning model)이라고 부른다.

핵심 아이디어: 어려운 문제에는 시간을 더 쓴다

시험을 보는 사람을 떠올리면 쉽다. 쉬운 문제는 바로 답을 적고, 어려운 문제는 연습장에 풀이를 적어 가며 검산하고, 막히면 다른 방법으로 다시 풀어 본다. 테스트 타임 컴퓨트 연구논문도 사람이 어려운 문제에서 더 오래 생각해 판단을 개선한다는 관찰에서 출발한다고 밝혔다.

이 비유에는 두 가지 요소가 들어 있다. 하나는 '연습장'으로, 모델이 중간 추론 단계를 글로 생성하는 CoT(Chain-of-Thought)다. CoT 논문논문은 중간 단계를 거치면 여러 단계짜리 문제를 쪼갤 수 있어서, 단계가 더 필요한 문제에 계산을 더 배분할 수 있다고 설명했다. 다른 하나는 '시간 배분'이다. 모든 문제에 같은 시간을 쓰는 게 아니라, 문제를 보고 얼마만큼, 어떤 방식으로 더 생각할지 정한다.

이렇게 보면 추론 모델은 '연습장을 쓰는 습관이 몸에 밴 모델'이고, 테스트 타임 컴퓨트는 '그 연습장에 얼마나, 어떻게 시간을 쓸지 정하는 전략'이다. 둘은 따로 있는 기술이 아니라 같은 발상의 두 면이다.

어떻게 작동하나: 직렬로 고치거나, 병렬로 뽑아 고르거나

테스트 타임 컴퓨트 연구논문는 계산을 늘리는 방법을 크게 두 축으로 나눴다. 첫째는 모델이 답을 내는 분포 자체를 바꾸는 것으로, 대표적인 예가 직렬 수정(revision)이다. 모델이 첫 답을 쓰고, 그 답을 보고 고친 답을 쓰고, 다시 고치는 식으로 한 줄로 이어 간다. 둘째는 검증기(verifier)를 쓰는 것이다. 여러 답을 동시에(병렬로) 뽑은 뒤 점수가 가장 높은 것을 고르는 best-of-N이 가장 단순한 형태이고, 풀이 단계마다 점수를 매기는 과정 보상 모델(PRM, process-based reward model)을 두고 그 점수를 따라 탐색하는 방법도 있다.

이 연구의 핵심 관찰은 어느 쪽이 나은지가 문제 난이도에 달려 있다는 것이다. 기본 모델이 이미 그럴듯한 답을 내는 쉬운 문제에서는 첫 답을 차례로 다듬는 직렬 수정이 더 효과적이었다. 반대로 여러 풀이 방향을 탐색해야 하는 어려운 문제에서는 새 답을 독립적으로 여러 번 뽑거나 PRM을 따라 트리 탐색을 하는 편이 나았다.

그래서 이 연구는 질문마다 난이도를 먼저 가늠하고, 그에 맞춰 계산 방식을 고르는 'compute-optimal' 전략을 제안했다. 난이도는 기본 모델 입장에서 본 난이도로, 이 값이 어떤 계산 방식이 잘 통할지를 예측하는 데 쓰였다. 정리하면 작동 순서는 질문 받기 → 난이도 가늠 → 직렬 수정 또는 병렬 샘플링·검증 → 최종 답 선택이다.

발전 흐름: 프롬프트에서 계산 배분, 그리고 강화학습으로

출발점은 CoT 프롬프트논문다. 이 연구는 〈입력, 사고 과정, 출력〉 세 개를 묶은 예시를 프롬프트에 넣기만 해도, 충분히 큰 모델에서 추론 능력이 끌려 나온다는 것을 보였다. PaLM 540B에 CoT 예시 8개만 보여 줬는데도 수학 문장제 벤치마크 GSM8K에서 당시 최고 정확도를 냈고, 검증기를 붙여 파인튜닝한 GPT-3보다도 높았다. 모델을 다시 학습하지 않고 프롬프트만으로 이룬 결과라는 점이 중요했다.

두 번째 이정표는 테스트 타임 컴퓨트를 체계적으로 분석한 연구논문다. 이전 연구들은 추론 시점 계산이 도움이 된다는 결과와 수학 같은 복잡한 과제에서는 효과가 제한적이라는 결과가 엇갈렸다. 이 연구는 앞서 본 compute-optimal 전략으로 best-of-N보다 테스트 타임 컴퓨트 효율을 4배 넘게 높였다. 또 계산량(FLOPs)을 맞춰 비교했을 때, 작은 기본 모델이 어느 정도 성공률을 내는 문제에서는 추론 시점 계산을 더 쓰는 쪽이 14배 큰 모델보다 나았다. '모델을 키울까, 생각을 더 시킬까'를 같은 저울에 올린 것이다.

세 번째는 DeepSeek-R1논문이다. 이 연구는 사람이 라벨링한 추론 Trajectory(풀이 과정 기록) 없이 순수 강화학습만으로 LLM의 추론 능력을 끌어낼 수 있다고 보고했다. 학습 과정에서 자기 성찰, 검증, 상황에 따른 전략 바꾸기 같은 추론 습관이 저절로 생겨났고, 수학·코딩 대회·STEM처럼 정답을 확인할 수 있는 과제에서 사람 시연으로 지도 학습한 모델보다 좋은 성능을 냈다. 또 이렇게 생긴 추론 패턴을 작은 모델의 추론 능력을 높이는 데 쓸 수 있다고 밝혔다. CoT가 '예시를 보여 줘서 생각하게 하기'였다면, R1은 '생각하는 습관 자체를 학습시키기'로 한 걸음 나아간 셈이다.

요즘 어디로 가고 있나: 얼마나보다 어디에

최근 연구는 계산을 무작정 늘리기보다 언제, 어디에 쓸지를 정교하게 정하는 쪽으로 가고 있다. 신뢰도 보정 제어기 연구논문는 검증기가 이끄는 추론의 매 단계를 세 갈래 선택으로 본다. 지금 답을 믿을지, 대체 답을 낼지, 계산을 더 쓸지다. 각 선택의 성공 가능성을 예측하고 계산 비용을 값으로 매겨 고르게 했더니, 고정 정책보다 효용이 나아지면서 온라인 계산량을 폭 확장 과제에서 약 30%, 수정 과제에서 약 16% 줄였다. 다만 저자들은 다른 비교 방법과의 효용 차이는 작고 엇갈렸다고 밝히며, 이를 '더 강한 추론기'가 아니라 불확실성 아래의 자원 배분 문제로 봐야 한다고 정리했다.

REWIND논문는 '어디부터 다시 생성할지'에 집중한다. 추론 초반의 실수 하나가 이후 전체를 묶어 버린다는 문제의식에서, MATH500에서 Qwen2.5-Math-7B를 분석해 보니 틀린 답이 맞은 답보다 평균 토큰 엔트로피(다음 토큰에 대한 모델의 망설임 정도)가 훨씬 높았고, 같은 문제 안에서의 상대 증가는 평균 약 112%였다. 이를 근거로 엔트로피 변화가 큰 지점 뒤쪽만 골라 다시 생성하는, 추가 학습이 필요 없는 제어기를 만들었고, 세 모델 계열과 다섯 벤치마크에서 가장 강한 비교 방법보다 0.51~10.00%p 높았다.

예산을 '어떻게 재는가'도 쟁점이 됐다. 예산 경계 효과 연구논문는 AIME·BrUMO·HMMT의 120문제에서 나온 19,200개 풀이 기록을 다시 돌려 보며, 토큰 상한에 닿았을 때 바로 멈추는 방식과 진행 중인 시도를 끝까지 마치게 하는 방식을 비교했다. 같은 상한이라도 멈춤 규칙에 따라 정확도와 실제 비용이 달라졌고, 후보 답을 더 많이 확보해도 정답률이 오른다는 보장은 없었다. 이 연구는 예산 곡선을 보고할 때 상한, 실제 쓴 비용, 선택 대상 후보, 멈춤 규칙, 답 고르기 방법을 함께 밝혀야 한다고 권했다.

한계와 쟁점

첫째, 테스트 타임 컴퓨트는 만능이 아니다. 테스트 타임 컴퓨트 연구논문에서도 추론 시점 계산이 큰 모델을 이긴 것은 작은 모델이 어느 정도 성공률을 내는 문제에 한정됐다. 추론 토큰 양이 사전학습 토큰에 비해 커지는 상황에서 어려운 문제는 오히려 사전학습에 계산을 쓰는 편이 나았다. 모델이 애초에 풀 실마리를 못 잡는 문제는 오래 생각해도 잘 풀리지 않는다.

둘째, 검증 신호에 크게 기댄다. 병렬 샘플링은 좋은 답을 골라 줄 검증기나 보상 모델이 있어야 의미가 있고, DeepSeek-R1논문의 강화학습도 수학·코딩처럼 정답을 확인할 수 있는 과제에서 강점을 보였다. 정답이 하나로 정해지지 않는 열린 질문에서 같은 효과가 나는지는 따로 따져야 한다. 같은 연구논문도 수정·검증 능력을 끌어내려면 그 능력에 맞춘 파인튜닝이 필요했다고 밝혔다.

셋째, 비용과 지연 시간이다. 생각을 길게 시키면 토큰이 늘고 응답이 느려진다. 그래서 최근 연구들이 계산을 줄이는 제어기논문나 필요한 부분만 다시 생성하는 방식논문에 관심을 두는 것이다. 또 예산 경계 효과 연구논문가 보여 주듯, 비용과 정확도를 비교하는 방식 자체가 결론을 바꿀 수 있어 수치를 읽을 때 측정 조건을 확인해야 한다.

넷째, 생각 과정을 그대로 믿기 어렵다. CoT 논문논문은 사고 과정이 모델의 행동을 들여다보는 창이 될 수 있다고 하면서도, 그 답을 뒷받침하는 모델 내부 계산을 온전히 밝히는 일은 여전히 열린 문제라고 단서를 달았다. 글로 쓴 풀이가 그럴듯해 보여도 실제 판단 근거와 같다고 단정할 수 없다.

더 공부하려면

처음이라면 CoT 논문논문부터 읽는 것이 좋다. 그림 1과 3의 예시만 봐도 '중간 단계를 쓰게 한다'는 발상이 바로 잡히고, 2절에서 정리한 CoT의 네 가지 장점이 이후 연구의 출발점이 된다.

그다음은 테스트 타임 컴퓨트 연구논문다. 직렬 수정과 PRM 탐색을 나눠 실험한 부분, 그리고 난이도에 따라 계산 방식을 고르는 부분이 이 분야의 기본 어휘를 만든다. FLOPs를 맞춰 작은 모델과 큰 모델을 비교하는 1절의 그림은 '모델 크기 대 생각 시간'의 교환 관계를 이해하는 데 특히 도움이 된다. 이어서 DeepSeek-R1논문을 읽으면 그런 추론 습관을 강화학습으로 모델에 심는 흐름을 볼 수 있다.

최근 흐름을 보고 싶다면 REWIND논문로 '불확실성 신호로 고칠 위치 찾기'를, 신뢰도 보정 제어기 연구논문로 '계산을 더 쓸지 결정하기'를, 예산 경계 효과 연구논문로 '예산 실험을 공정하게 보고하기'를 차례로 읽으면 된다. 세 편 모두 계산을 많이 쓰는 것보다 잘 나눠 쓰는 일이 중요하다는 같은 질문을 서로 다른 각도에서 다룬다.