논문 리뷰 · 2026년 11월 6일

TurnWise: 턴 단위 Credit 할당으로 개선한 스트리밍 영상 강화학습

Turns Matter: Advancing Streaming Video RL via Turn-Level Credit

GRPO의 Trajectory 단위 어드밴티지를 턴 단위로 나누고 턴별 손실을 같은 비중으로 평균해, 스트리밍 영상 모델이 언제 답하고 언제 기다릴지 더 잘 학습하게 했다.

문제

스트리밍 영상 이해 모델은 영상이 들어오는 동안 턴마다 '답할지, 계속 볼지'를 정해야 한다. 기존 GRPO 방식은 Trajectory 전체에 어드밴티지 하나를 모든 턴에 똑같이 준다. 그래서 앞에서 성공한 뒤 반복한 답변도 긍정 신호를 받고, 앞에서 실패한 뒤의 유용한 후속 답변은 부정 신호를 받을 수 있다. 또 토큰 평균 손실에서는 긴 응답이 짧은 대기 행동보다 더 큰 가중치를 받는다.

방법

(1) Silence-completed prefix scoring: 각 턴까지의 행동만 남기고 이후 턴을 모두 '무응답'으로 채운 뒤 같은 보상 함수로 점수를 매긴다. 전체 보상에서 이 점수를 빼면 그 턴부터 얻은 남은 보상(return-to-go)이 나오고, 이를 그룹 안에서 비교해 턴별 어드밴티지를 만든다. 이미 계산한 Rollout 평가를 재사용하므로 critic 모델이나 추가 Rollout이 필요 없다. 보정 강도 α는 학습 초반 10% 동안 0에서 1로 올린다. (2) Turn-mean 정책 최적화: 턴 안에서 토큰 손실을 먼저 평균하고, 다시 턴끼리 평균한다. 응답 길이와 상관없이 답변과 대기 결정이 같은 비중을 갖는다. 보상은 MMDuet2의 PAUC 기반 보상을 그대로 써서 Credit 할당과 손실 집계만 비교 변수로 삼았다.

결과

저자들은 Qwen 백본 두 종류 모두에서 ProactiveVQA, OVO-Timing, StreamingBench 종합 점수가 MMDuet2·ThinkStream 등 기존 강화학습 방식보다 가장 높았다고 보고했다.
참고로 Qwen2.5-VL-3B 기준 ProactiveVQA 종합 PAUC는 기본 모델 22.15, SFT 28.74, MMDuet2 39.60이다. TurnWise 수치는 제공된 본문 범위에서 잘려 확인할 수 없다.
저자들은 Credit 보정만 쓴 경우와 비교해 turn-mean 집계를 더하면 응답 타이밍이 좋아지고 반복 답변이 줄었다고 보고했다.

한계

보상 함수를 MMDuet2의 PAUC 보상 하나로 고정해 실험했기 때문에, 다른 보상 설계에서도 효과가 같은지는 확인되지 않았다. 실험 백본은 Qwen 계열 두 종이다. 남은 보상 계산은 '이후 턴을 모두 무응답으로 둔다'는 명시적 대기 행동과 공통 관찰 계획이 있어야 성립하므로, 이런 구조가 없는 과제에는 바로 적용하기 어렵다. 제공된 본문에서 TurnWise의 세부 수치는 잘려 있어 확인하지 못했다.

의미

멀티턴 상호작용에서 Trajectory 보상을 모든 턴에 똑같이 나누면 반복 답변이 강화된다는 문제를 critic 없이 싸게 푸는 방법을 보여 준다. 실시간 영상 비서처럼 '언제 말할지'가 중요한 서비스나, 턴 구조가 있는 다른 GRPO 학습에도 참고할 만하다.

핵심 용어

GRPO(Group Relative Policy Optimization): 같은 입력에서 여러 Rollout을 뽑고, 각 보상을 그룹 평균·표준편차로 정규화해 어드밴티지로 쓰는 강화학습 기법이다. 가치 함수(critic) 모델이 필요 없다.
Credit 할당(credit assignment): 최종 보상이 여러 행동 중 어느 행동 덕분인지 나누어 주는 문제다. 이 논문은 이를 턴 단위로 한다.
Return-to-go: 특정 시점부터 끝까지 얻는 보상의 합이다. 그 이전에 받은 보상을 빼고 현재 결정의 기여만 보려고 쓴다.
스트리밍 영상 이해: 영상 전체를 다 본 뒤가 아니라, 프레임이 들어오는 도중에 응답 여부와 내용을 계속 결정하는 과제다.

원문

저자: Shuai Dong, Kanghui Tian, Linghan Chen, Wenqi Shao, Hongrui Wu, Haowen Hou, Yongfu Zhu, Xuehui Wang, 외 · 게시 2026-11-04 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.