DONIC: 사람 시연으로 학습한 범용 양손 정밀 조작 추적 제어

문제

사람 시연을 로봇 손으로 따라 하는 기존 추적 정책은 주로 한 손 조작에 머물렀다. 양손이 계속 접촉하는 데이터는 부족하다. 또 양손의 역할과 접촉 시점이 계속 바뀌어 하나의 정책으로 학습하기 어렵다.

방법

32대의 보정된 RGB 카메라로 양손 조작을 촬영한 BiHOI 데이터셋(1,575개 시퀀스, 물체 229개, 14.77시간)을 만들었다. 손과 물체를 3D로 복원한 뒤 Wuji 로봇 손 동작으로 리타기팅했다. DexTrack을 따라 PPO와 행동 복제(BC)를 번갈아 학습하고, 검증된 성공 실행을 다시 시연 데이터로 재활용한다. 보상은 물체의 위치·회전·속도 추적을 중심에 두고, 각 손은 참조 동작에서 그 손이 접촉해야 할 때만 접촉 보상을 받는다. CCA(Clip-Centered Advantages)는 클립별 평균 Advantage를 빼서 클립 난이도 차이로 생기는 편향을 없앤다.

결과

• 저자들은 미세조정 없이 체크포인트 하나로 학습 물체의 새 Trajectory에서 성공률 86.79%, 처음 보는 물체에서 57.32%를 얻었다고 보고했다.
• 양손용으로 변형한 DexTrack·Dexplore 기준선 중 더 강한 쪽보다 성공률이 각각 77.36%p, 45.73%p 높았다.
• BiHOI는 한 손 이상이 접촉한 프레임 중 양손 접촉 비율이 65.91%였다. 분석한 공개 데이터셋 중 가장 높은 H2O(38.57%)보다 27.34%p 높다.

한계

제공된 본문의 평가는 시뮬레이션에서 공개 데이터 분할로만 이뤄졌고, 실제 로봇 실험은 확인되지 않는다. 로봇 손은 Wuji 하나만 사용했다. 처음 보는 물체에서 성공률이 57%대로 떨어져 물체 일반화에는 여전히 한계가 있다. 비교 기준선은 원래 한 손용 방법을 양손용으로 바꾼 것이다.

의미

가사·조립처럼 한 손으로 잡고 다른 손으로 여는 비대칭 양손 작업은 실생활에서 흔하다. 이를 하나의 정책으로 처리하는 길을 보였고, 양손 접촉 위주 데이터셋도 함께 공개한다는 점에서 의미가 있다.

핵심 용어

참조 추적(Reference Tracking)

사람 시연에서 얻은 손·물체 목표 동작을 로봇이 물리 시뮬레이션 안에서 그대로 재현하도록 제어하는 과제다.

리타기팅(Retargeting)

사람 손 동작을 관절 구조가 다른 로봇 손의 관절값으로 바꾸는 과정이다.

Advantage

강화학습에서 어떤 행동이 평균보다 얼마나 나았는지를 나타내는 값이다. 정책 업데이트 방향을 정한다.

행동 복제(BC)

성공한 시연의 관찰-행동 쌍을 지도학습 방식으로 그대로 따라 하도록 학습하는 방법이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Mingze Sun, Ziang Cao, Yuan Fei, Qiankuan Tao, Zihan Wang, Tianqi Liu, Junhao Chen, Haiwen Diao, 외 · 게시 2026-10-21 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.