논문 리뷰 · 2026년 10월 21일

EgoXperience: 사람의 1인칭 경험에서 세계 기반 Representation 학습하기

EgoXperience: Learning World-Grounded Egocentric Representations from Human Experience

컴퓨터 비전 피지컬 AI·로봇 고급 추천 120 cs.CV Ropedia

1인칭 영상에서 카메라·장면·손·물체를 하나의 월드 좌표계로 동시에 복원하는 모델과 50시간 규모 자동 주석 데이터셋을 만들어, 기준 모델 대비 오차를 크게 줄였다.

문제

머리에 쓴 카메라로 찍은 1인칭 영상에서 사람 활동을 3D로 복원하려면 카메라 움직임, 주변 장면 구조, 손과 물체의 상호작용이 하나의 일관된 공간 안에서 맞아떨어져야 한다. 기존 방법들은 이 중 일부만 복원해서, 여러 모델 출력을 합치려면 서로 다른 스케일과 좌표계를 맞춰야 한다. 게다가 이런 통합 모델을 학습시킬 공동 주석 데이터는 손-물체 가림, 빠른 머리 움직임, 모션 블러 때문에 만들기 어렵고, 보통 다중 카메라나 모션 캡처 같은 비싼 장비가 필요하다.

방법

EgoX-Engine이라는 자동 주석 파이프라인이 핵심이다. 31개 카메라로 만든 돔에서 물체 메시를 미리 스캔하고 AprilTag로 실제 크기를 잡는다. 영상에서는 첫 프레임 마스크로 대상 물체를 지정한 뒤 스테레오 깊이로 초기 자세를 추정하고 FoundationPose로 추적하며, 추정 자세에 모델을 놓았을 때 관측 깊이와 맞는지 검증한다. SLAM으로 얻은 카메라 Trajectory를 써서 물체·장면·손 주석을 하나의 세션 좌표계로 옮긴다. 이렇게 50시간 분량 EgoX-Data-6M(물체 101개, 작업 스크립트 270개, 초 단위 캡션 포함)을 만들고, 1시간은 평가용 EgoX-Bench로 뗐다. 모델 EgoX는 DINOv3 특징 위에 카메라·손·물체 토큰을 두고 뷰 내부·뷰 간 어텐션으로 공동 Representation을 만든 뒤, 예측한 카메라로 손·물체를 월드 좌표로 옮겨 그 기하까지 함께 지도학습한다. 스케일 헤드가 시퀀스 하나당 하나의 미터 스케일 값을 예측한다.

결과

가장 강한 기준 모델 대비 카메라 오차 68.9%(HOI4D nATE), 손 오차 65.6%(EgoX-Bench W-MPJPE), 깊이 오차 42.9%(EgoX-Bench AbsRel)를 줄였다고 저자들은 보고했다.
물체 자세 점수는 HOT3D AUC-S50 기준 28.0% 향상됐다.
HOT3D, EgoX-Bench, HOI4D, H2O 네 벤치마크 모두에서 깊이·손·물체 지표 1위였고, 카메라 정확도는 HOI4D에서 최고였다.
EgoX-Data-6M은 비교 표에 실린 데이터셋 중 유일하게 실내 작업대 조작, 방 사이 이동, 실외 보행 조작을 모두 포함하면서 3D 손·6DoF 물체·메시·깊이·마스크·캡션 주석을 전부 갖췄다.
EgoX는 비교 대상 중 유일하게 단일 forward pass로 카메라·깊이·손·물체 6DoF를 공유 월드 좌표계에서 end-to-end 복원하는 방법이라고 저자들은 설명했다.

한계

추론 시 대상 물체의 첫 프레임 마스크가 필요하고, 물체는 강체로 가정한다. 데이터 제작에는 스테레오 헤드셋 장비, 31개 카메라 돔, 사전 스캔된 물체 모델이 필요해 완전히 장비 부담이 없는 방식은 아니다. 주석 자체가 SLAM·FoundationPose 같은 기존 기법 출력이라 그 정확도에 상한이 걸린다. 50시간은 Ego4D 같은 대형 코퍼스에 비하면 작은 규모다. 제공된 본문은 실험 표 중간에서 잘려 있다.

의미

로봇 학습에 쓸 1인칭 데이터를 비싼 모션 캡처 없이 자동으로 주석하는 길을 보였다. 카메라·장면·손·물체를 한 좌표계에서 한 번에 복원하면 후처리로 스케일을 맞추는 작업이 사라져, 모방학습이나 월드 모델 학습에 바로 넣기 쉬워진다. 데이터와 코드를 공개한 점도 후속 연구에 도움이 된다.

핵심 용어

Egocentric(1인칭) 영상: 머리나 몸에 착용한 카메라로 찍은 영상이다. 외부 카메라 설치 없이 착용자의 움직임과 손 조작을 가까이에서 담는다.
SLAM: 카메라가 움직이면서 주변 지도를 만들고 동시에 자기 위치를 추정하는 기법이다. 여기서는 여러 주석을 하나의 좌표계로 묶는 기준이 된다.
6DoF 물체 자세: 물체의 3차원 위치와 3축 회전을 합친 여섯 자유도 값이다. 조작 대상이 어떻게 놓이고 돌아갔는지를 나타낸다.
MANO: 손의 모양과 관절 자세를 소수의 파라미터로 표현하는 표준 3D 손 모델이다.

원문

저자: Xinhao Ji, Hui En Pang, Hao Li, Kairui Hu, Jiner Wang, Mingze Sun, Ziang Cao, Yalun Dai, 외 · 게시 2026-10-19 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.