논문 리뷰 · 2026년 10월 28일

InteractiveWorld: 상호작용형 MLLM 어시스턴트를 위한 검증 가능한 인간 중심 시뮬레이션 환경

InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants

어시스턴트가 지시하고 MLLM 기반 가상 인간이 행동하는 폐루프 시뮬레이터와 120개 과제 벤치마크를 만들어, 최신 MLLM 12종이 실제 도움에는 아직 크게 부족함을 보였다.

문제

웨어러블 1인칭 AI 어시스턴트가 실제로 사람을 도울 수 있는지 평가하려면 사람이 직접 참여해야 해서 비싸고 확장이 어렵다. 기존 벤치마크는 녹화된 영상에 대해 답하는 정적 방식이라, 어시스턴트의 지시가 사람의 행동과 이후 장면을 바꾸는 상호작용을 측정하지 못한다. 로봇 시뮬레이터는 로봇 관절 제어 중심이어서 사람을 안내하는 상황에 맞지 않는다.

방법

Isaac Sim 위에 3계층 환경을 만들었다. 물리 계층은 SMPL+H 인체 모델(머리에 1인칭 카메라)과 BEHAVIOR-1K의 물체 8,000여 개, 장면 50여 개를 쓴다. 인간 행동 계층은 A* 경로 탐색과 자세 적응형 조작으로 잡기·열기 같은 고수준 행동을 안정적으로 수행한다. 의미 계층은 36개 행동 프리미티브로 자연어 지시를 실행 명령에 연결한다. 평가 대상 모델이 어시스턴트가 되어 침묵·지시·종료를 고르고, Gemini 3.1 Pro가 가상 인간이 되어 지시를 해석해 행동한다. InteractiveBench는 안내, 계획, 접근성, 의사결정, 예방, 찾기 6개 범주 120개 과제로 구성되며, 종료 시 물체 상태로 성공을 자동 판정한다.

결과

가장 높은 Claude Fable 5.1도 전체 과제 성공률이 41.7%였고, 나머지 모델은 모두 33.3% 이하였다.
장기 과제인 안내(Guidance)와 계획(Planning)에서는 최고 성공률이 각각 20.0%, 25.0%에 그쳤다.
범주별 편차가 컸다. Claude Fable 5.1은 의사결정 과제에서 85.0%를 기록했지만, 최하위인 DeepSeek V4.1 Flash는 전체 12.5%였다.
같은 가상 인간이 정답(Oracle) 어시스턴트와는 100%, 도움 없이는 0%를 기록해, 결과가 어시스턴트의 도움 능력을 반영함을 확인했다.
저자들은 지각, 메모리, 의사소통을 핵심 병목으로 꼽았다.

한계

인간은 실제 사람이 아니라 MLLM(Gemini 3.1 Pro)이 맡으며, 인체는 운동학적으로 구동돼 실제 사람의 행동 다양성과 실수를 완전히 반영하지 못한다. 과제는 범주당 20개, 총 120개로 규모가 작다. 프레임 입력은 턴당 32장으로 제한된다. 시뮬레이션 결과가 실제 웨어러블 사용 환경으로 얼마나 옮겨지는지는 검증되지 않았다.

의미

스마트 글래스형 AI 어시스턴트를 개발·평가하는 팀이 실제 사용자 실험 없이도 반복 가능하고 검증 가능한 방식으로 '정말 도움이 되는가'를 측정할 도구를 제공한다. 최신 모델도 장기 안내에서 크게 부족하다는 결과는 개선 우선순위를 보여준다.

핵심 용어

폐루프(Closed-loop) 평가: 모델의 출력이 환경과 다음 관찰을 바꾸고, 그 결과가 다시 모델 입력이 되는 상호작용 방식의 평가다. 녹화 영상에 답하는 정적 평가와 대비된다.
1인칭(Egocentric) 어시스턴트: 착용 기기로 사용자와 같은 시점을 보며 자연어로 안내하는 AI다. 직접 물체를 조작하지 않고 사람의 행동을 이끈다.
상태 기반 검증 보상: 과제가 끝났을 때 시뮬레이터의 실제 물체 상태(예: 냉장고가 닫혔는지)를 확인해 성공 여부를 자동 판정하는 방식이다.

원문

저자: Qinsi Wang, Wei Wen, Chong Zhou, Saksham Suri, Zechun Liu, Lemeng Wu, Hai Helen Li, Yiran Chen, 외 · 게시 2026-10-25 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.