AGI로 가는 스케일링은 System-1이 System-2에게 무엇을 실행하게 하는지에 달려 있는가?

문제

AGI를 향한 발전은 주로 모델·데이터·연산·추론 길이 같은 System-2 자원을 늘리는 방식이었다. 그런데 상호작용 하나하나의 한계 이득은 줄어든다. 예를 들어 강화학습의 모든 Rollout이 같은 보상을 받는 프롬프트, 답을 바꾸지 않는 추론 토큰, 이미 아는 정보를 반복하는 환경 step이 비용만 쓴다. 어떤 상호작용이 실행할 가치가 있는지를 실행 전에 판단할 구조가 필요하다.

방법

예측 → 게이트 → 실행 → 갱신 루프를 정의한다. System-1은 후보 상호작용(프롬프트, 과제, 질의, 도구 호출)의 효용을 싸게 예측한다. 적응형 임계값을 넘는 후보만 System-2가 실행하고, 실행 결과로 System-1을 다시 보정한다. 이 틀을 학습(RLVR 프롬프트 선택), 테스트 시점 추론, 적응형 의사결정, 에이전트 도구 사용에 적용하고, 연산 절감과 선택 regret에 대한 이론적 경계를 도출한다. 한 번 학습하고 끝나는 정적 cascade와 달리, 두 시스템을 함께 설계하고 함께 최적화해야 한다고 주장한다.

결과

• 이상적으로 걸러내고 실행 비용이 모두 같다면, 실행 연산은 약 1/ρ_u배로 줄어든다(ρ_u는 효용이 기준을 넘는 상호작용의 비율). 비용이 다르면 비용 가중 밀도로 바뀐다.
• 예측 오차, 탐색, 분포 변화는 이 절감 폭을 줄인다고 분석했다.
• 선택 regret의 상한을 예측기 오차와 효용 마진으로 제시했다.
• 저자들은 이를 근거로, 스케일링은 총 연산보다 '정보가 되는 연산(informative compute)'으로 더 잘 설명된다는 가설을 제시했다.

한계

Perspective(입장) 논문이다. 핵심 주장은 가설과 이론적 경계이며, 제공된 본문에서는 대규모 실증 검증을 확인하지 못했다. 저자들도 효용 예측기가 믿을 만한 상황으로 적용 범위를 한정했고, 예측기가 불확실할 때는 이 방법이 탐색을 대신하지 못한다고 밝혔다. ρ_u는 효용을 어떻게 정의하느냐에 따라 달라지는 값이어서, 정의가 다르면 서로 비교할 수 없다.

의미

RLVR 학습의 Rollout 낭비, 모델 라우팅, 적응형 추론처럼 실무에서 따로따로 다루던 '실행 전 선별' 문제를 하나의 틀과 지표(ρ_u)로 묶어서 볼 수 있게 한다.

핵심 용어

System-1 / System-2

카너먼의 이중 처리 이론에서 빌린 구분이다. 여기서는 싸고 빠른 효용 예측기(System-1)와 비싸고 강력한 실행 모델·에이전트(System-2)를 뜻한다.

조건부 상호작용(Conditional interaction)

예측한 효용이 임계값을 넘는 후보만 실행하고, 실행 결과로 예측기를 갱신하는 루프다.

ρ_u(유용 상호작용 밀도)

후보 상호작용 중 효용이 정해진 기준을 넘는 것의 비율이다. 저자들은 이를 스케일링 효율을 나타내는 좌표로 제안한다.

RLVR

자동으로 검증할 수 있는 정답이 있는 문제로 보상을 주는 강화학습이다. 모든 Rollout이 같은 보상을 받는 프롬프트는 학습 신호를 주지 못한다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 프로젝트
• Hugging Face

저자: Qi Wang, Yun Qu, Lizhou Cai, Heming Zou, Haoang Chi, Yiqin Lv, Xiang Li, Haiyan Feng, 외 · 게시 2026-10-29 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.