HiSTEVE 1.0: 오픈월드 게임을 위한 사람 인터페이스 기반 VLA 에이전트

문제

사람처럼 게임을 하는 에이전트에는 장기 자율성과 기본 인터페이스(키보드·마우스) 제어가 모두 필요하다. 기존 마인크래프트 에이전트는 시각-운동 제어만 하고 장기 계획이 약하거나, 장기 계획은 하되 실행은 환경 API나 사전 정의 스킬에 의존했다. 하위 과제 종료 시점 판단, GUI와 비GUI 조작 간 간섭도 어렵다.

방법

계층형 구조다. 상위 하네스는 VLM 플래너가 VLA가 실행할 수 있는 원자 하위 과제 스키마 안에서만 다음 과제를 고르게 한다. 작업·에피소드·절차·월드의 네 가지 메모리로 검증된 진행 상황을 관리한다. VLA 정책 맥락을 입력받는 완료 상태 감지기가 완료 후보를 알리면, 하네스가 검증한 뒤 진행·복구·재계획을 결정한다. 하위 VLA(Qwen2.5-VL-7B 기반)는 1인칭 화면만 보고 20Hz로 키보드·마우스 행동 토큰을 생성한다. GUI/비GUI용 RMSNorm 스케일을 분리한 RS-Norm과 마우스 이동 토큰을 분리한 Dual-Mouse로 간섭을 줄인다. 학습은 세계 지식 주입, 모방학습, 환경 피드백 강화학습(GRPO와 DPO형 쌍 손실)의 세 단계다.

결과

• MineStudio Bench 85.0%, OpenHA 평균 성공률 37.4%로 원자 과제 최고 성능을 보고했다.
• 주요 비교의 가장 강한 기준선 대비 MineStudio Bench에서 평균 성공률 20.0%p, OpenHA에서 0.6%p 높았고, LongBench에서는 과제군별로 최대 28.6%p 향상했다.
• VLA를 고정한 상태에서 전체 하네스는 고정 길이 핸드오프 방식보다 목표 성공률이 두 배 이상이었다.
• 학습된 완료 감지기가 프롬프트만 준 범용 VLM보다 완료 판단이 정확했고, 철 곡괭이를 처음부터 만드는 장기 과제도 수행했다.

한계

실험이 마인크래프트 한 환경에 한정된다. OpenHA에서 기준선 대비 개선 폭은 0.6%p로 작다. 저자들은 원자 과제 실행이 좋아져도 장기 과제 성능이 그만큼 오르지는 않는다고 밝혔다. 원자 하위 과제 스키마를 사람이 설계해야 한다.

의미

API 없이 사람과 같은 화면·입력만으로 복잡한 작업을 수행하는 에이전트 설계의 구체적 사례다. 상위 계획과 하위 실행을 잇는 '하네스' 설계와 이질적 조작 모드 간 간섭 완화 기법은 컴퓨터 사용 에이전트나 로봇에도 참고가 된다.

핵심 용어

VLA(Vision-Language-Action)

이미지와 언어 지시를 받아 바로 행동(여기서는 키보드·마우스 입력)을 출력하는 모델이다.

에이전트 하네스

모델 호출 바깥에서 계획, 메모리, 완료 검증, 복구를 조율하는 오케스트레이션 계층이다.

RS-Norm(Regime-Specific RMSNorm)

GUI 조작과 일반 이동·카메라 조작에 서로 다른 RMSNorm 스케일 벡터를 쓰는 방식이다. 파라미터를 조금만 늘려 두 모드 사이의 간섭을 줄인다.

Negative transfer

성격이 다른 과제를 함께 학습할 때 한 과제의 학습이 다른 과제 성능을 오히려 떨어뜨리는 현상이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Zecong Tang, Zian Guan, Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo, Bo Dai · 게시 2026-10-22 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.