← 주요 논문

논문 리뷰 · 2026년 11월 12일

월드 In-Context Learning: 에이전트형 로봇 조작을 위한 문맥 내 학습

World In-Context Learning for Agentic Robot Manipulation

피지컬 AI·로봇에이전트 중급 추천 64 cs.CV ArcheOne-AI

고정된 모델이 시뮬레이터에서 과제를 리허설하고 피드백을 가중치가 아닌 문맥에 기록하게 해, 데모 한 번으로 학습된 정책보다 높은 조작 성공률을 얻었다.

문제

학습된 로봇 행동 정책은 기술을 가중치에 저장한다. 그래서 학습 데이터 분포에 묶인다. In-Context Learning은 이 문제를 피하지만 성능이 학습된 정책에 못 미쳤다. 다른 장면에서 녹화한 데모에는 로봇이 지금 마주한 환경의 피드백이 없기 때문이다.

방법

저자들은 에이전트가 문맥에서 배우는 내용이 시각적 외형이 아니라 과제 단계·물체 역할 같은 의미 정보라서 다른 환경으로 옮길 수 있다고 본다. 이를 바탕으로 WICL(World In-Context Learning)을 제안한다. 고정된 모델이 데모 하나에서 출발해 시뮬레이터에서 과제를 리허설하고, 그 피드백을 문맥에 쓴다. 이를 구현한 RoboScript 인프라는 학습한 지식을 Task Memory로 고정해 새 장면에 배포한다. 배포 시에는 실제 로봇에서 얻을 수 있는 입력만 쓰도록 데이터를 격리한다.

결과

한계

초록 기준 분석이다. 본문을 보지 못해 실제 로봇 실험의 규모·성공률, 시뮬레이터 리허설 비용, 기반 모델 의존도 등 세부 조건은 확인하지 못했다. 주요 수치는 시뮬레이션 벤치마크(RoboTwin 2.0) 결과다.

의미

로봇이 재학습 없이 문맥만으로 새 과제를 익힐 수 있다면 과제마다 데이터를 모으고 학습하는 비용이 크게 줄어든다. 시뮬레이터를 '연습장'으로 쓰는 방식은 기반 모델 기반 로봇 에이전트 설계에 참고가 된다.

핵심 용어

In-Context Learning(ICL)
모델 가중치를 바꾸지 않고, 입력 문맥에 넣은 예시나 피드백만으로 새 과제를 수행하는 방식이다.
Task Memory
시뮬레이터 리허설로 얻은 과제 지식을 고정해 둔 문맥 기록이다. 새 장면에 그대로 가져가 쓴다.
Cross-embodiment
한 로봇(또는 시뮬레이터)에서 얻은 지식을 형태가 다른 로봇으로 옮기는 것이다.

원문

저자: Heng Fang, Zehui Guo, Yuehan Zhang, Mingyang Du, Dingkang Liang, Xiang Bai · 게시 2026-11-09 · 라이선스 arXiv 비독점 배포 라이선스 · 초록 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.