StreamVibe: 변하는 사용자 의도를 따라가는 능동형 영상 에이전트

문제

기존 능동형 스트리밍 영상 모델은 "골이 들어가면 알려줘" 같은 명시적·단발성 요청 위주로 설계됐다. 실제로는 사용자가 목표만 말하거나(암묵적 의도), 진행 중에 요청을 고치거나 추가·중단하는데(동적 의도), 기존 모델은 이런 의도를 추론하지 못하고 최신 작업 상태도 유지하지 못해 반복·지연·누락 응답을 낸다.

방법

(1) StreamVibe-Bench: 물리(1인칭 일상 작업)와 디지털(GUI·컴퓨터 사용) 환경 영상에 대해 명시 600, 암묵 2,000, 동적 1,500개, 총 4,100개 평가 샘플을 만들었다. Gemini로 후보 도움 시점과 응답 구간을 주석하고 검토자 4명이 검증했다. 시점별 개별 판단(Pointwise)과 전체 스트림 연속 실행(Trajectory) 두 방식으로 평가한다. (2) StreamVibe-VL: 침묵/응답 비율을 학습 분포에 맞춰 가중하는 적응형 스트리밍 SFT 뒤에, 도움 시점 주변의 짧은 Rollout만 GRPO로 최적화하는 국소 Trajectory 강화학습을 적용한다. (3) StreamVibe-Harness: 활성 의도·작업 진행·이전 응답을 상태로 유지하고, 의도마다 독립된 생애주기를 두며, 계층형 메모리에서 관련 이력을 꺼내 모델 입력을 구성한다.

결과

• 저자들은 StreamVibe-VL이 일반 영상 이해 성능을 유지하면서 응답 시점과 답변 품질을 다른 기준선보다 10.7% 개선했다고 보고했다.
• 기존 능동형 모델은 특히 암묵적·동적 의도에서 의도 파악과 응답 시점 결정에 한계를 보였다.
• StreamVibe-Harness를 더하면 지속적 상호작용에서 응답 일관성과 적응력이 좋아져 능동 상호작용 성능이 12.3% 더 올랐다고 보고했다.
• 벤치마크는 평가 샘플 4,100개, 도움 시점 20,546개, 영상 183.4시간 규모이며 학습용 StreamVibe-85K(SFT 70K, 강화학습 15K)를 함께 제공한다.

한계

제공된 본문이 중간에 끊겨 세부 수치 표와 기준선별 비교는 확인할 수 없었고, 결과는 초록 수준의 요약 수치에 기반한다. 주석은 Gemini 모델이 1차 생성한 뒤 사람이 검증하는 방식이며, 영상은 1 FPS로 처리한다. 벤치마크와 모델을 같은 저자들이 설계해 자체 벤치마크에서 평가했다는 점도 감안해야 한다.

의미

스마트 글래스나 화면 보조 에이전트처럼 사용자가 하나하나 묻지 않아도 알아서 도와주는 서비스를 만들려면, 의도를 추론하고 상황 변화에 맞춰 응답을 갱신해야 한다. 이 연구는 그 능력을 측정할 벤치마크와 모델 학습·상태 관리 설계를 함께 제시한다.

핵심 용어

능동형(Proactive) 상호작용

사용자 질문을 기다리지 않고, 모델이 스트림을 계속 보다가 언제 말할지 스스로 정해 도움을 주는 방식이다.

암묵적·동적 의도

암묵적 의도는 "요리 좀 봐줘"처럼 목표만 주어진 경우이고, 동적 의도는 진행 중 요청이 수정·추가·중단되는 경우다.

Harness

모델 바깥에서 상태, 메모리, 문맥 구성을 관리하는 실행 틀이다. 여기서는 의도 목록과 작업 진행 상태를 유지해 모델에 넘긴다.

GRPO

여러 응답을 묶어 그룹 내 상대 점수로 이점을 계산하는 강화학습 방법이다. 여기서는 도움 시점 주변의 짧은 Rollout에 적용했다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Chengzhi Liu, Yuxiang Lai, Yuzhe Yang, Yanqing Liu, Jiheng Hou, Yue Cao, Haonan Wang, Ruixi Fan, 외 · 게시 2026-10-26 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.