논문 리뷰 · 2026년 11월 11일

Reframe: 에이전트형 시각 추론을 위한 관측 정렬 Multi-Teacher On-policy Distillation

Reframe: Observation-Aligned Multi-Teacher On-Policy Distillation for Agentic Visual Reasoning

멀티모달 강화학습 에이전트 고급 추천 37 cs.CV Nanjing University

도구가 반환한 관측을 실제로 쓰게 하는 GD-GRPO와 잘못된 도구 호출을 교정하는 OG-MOPD를 결합해, 이미지·영상 통합 시각 에이전트의 성능과 관측 의존도를 높였다.

문제

시각 에이전트가 이미지 자르기나 프레임 선택 같은 도구를 호출해도 그 결과를 추론에 쓰지 않는 '관측 무시' 문제가 있다. 또 MOPD(Multi-teacher On-policy Distillation)는 Student의 Rollout을 그대로 감독하기 때문에, 도구 호출이 잘못되면 쓸모없는 관측 위에서 Distillation이 이뤄진다. 이미지와 영상을 함께 다루는 기존 SFT→RL 방식은 단일 모달리티 모델보다 성능이 뒤처졌다.

방법

Qwen3.5-9B를 기반으로 CropImage·SelectFrames 두 도구와 10만 개 규모의 Reframe-100K 데이터를 사용했다. 1단계 GD-GRPO에서는 공간·시간 전문가 모델을 따로 학습한다. 근거 영역과의 IoU 기반 관측 보상을 주고, 첫 도구 호출 후 원본 시각 입력을 50% 확률로 제거해 도구 결과에 의존하게 만든다. 제거 여부별로 묶은 하위 그룹 안에서 Advantage를 정규화한다. 2단계 OG-MOPD에서는 Student의 도구 호출이 무효이거나 IoU가 기준 미만이면 Rollout 도중 정답 주석 기반의 행동으로 바꾼다. 교정된 관측에서 다시 Distillation을 이어가며, 주입된 토큰에는 NLL 손실을, Student가 생성한 토큰에는 MOPD 손실을 적용한다. 두 단계 모두 SFT 콜드 스타트가 필요 없다.

결과

이미지 7개, 영상 7개 등 14개 벤치마크에서 Mix-RL과 일반 MOPD보다 좋은 성능을 보였고, 평균으로는 단일 모달리티 전문가 모델도 넘었다고 보고했다.
V*에서 91.62로 기반 모델 Qwen3.5-9B(83.77)와 일반 MOPD(90.05)보다 높았고, VisualProbe에서는 57.48로 MOPD(52.62)보다 높았다. 단, HR-Bench-4K에서는 84.75로 Image-RL(85.25)보다 약간 낮았다.
V*에서 측정한 관측 의존도는 75.53으로 DeepEyesV2(41.93), Thyme(34.20)보다 크게 높았다. 이미지 7개 벤치마크의 도구 사용 이득도 +5.23으로 비교 모델 중 가장 컸다(Thyme +1.47, DeepEyesV2 −2.45).
Ablation에서 GD-GRPO는 결과 기반 GRPO보다 관측 의존도와 도구 이득을 높였다고 보고했다.

한계

도구가 CropImage와 SelectFrames 두 가지로 한정되고, 기반 모델도 Qwen3.5-9B 하나다. OG-MOPD와 관측 보상은 공간·시간 근거 주석에 의존하므로, 주석이 없는 작업에는 바로 적용하기 어렵다. 제공된 본문에는 영상 벤치마크 결과 일부가 잘려 있다.

의미

도구 사용 에이전트를 평가할 때 호출했는지뿐 아니라 결과를 실제로 활용했는지 봐야 한다는 점을 보여준다. Distillation 과정에서 Rollout 자체에 개입해 관측의 질을 보장하는 새로운 설계 방향을 제시한다.

핵심 용어

MOPD(Multi-teacher On-policy Distillation): Student가 직접 생성한 Rollout을 분야별 Teacher 모델들에게 나눠 보내 토큰 단위로 촘촘한 피드백을 받는 후학습 방식이다.
관측 무시(observation neglect): 모델이 도구를 호출해 중간 관측을 얻고도, 이후 추론이 그 관측에 거의 영향을 받지 않는 현상이다.
GRPO: 같은 입력에서 여러 Rollout을 뽑아 그룹 내 상대적 보상으로 Advantage를 계산하는 강화학습 알고리즘이다. 별도의 가치 모델이 필요 없다.
IoU(Intersection over Union): 예측 영역과 정답 영역이 겹치는 정도를 나타내는 지표다. 여기서는 도구가 근거를 제대로 잡았는지 판정하는 데 쓴다.

원문

저자: Haozhi Yuan, Handong Li, Yifan Zhang, Qianshan Wei · 게시 2026-11-09 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.