논문 리뷰 · 2026년 10월 21일

LIBERO-Industry: 산업 공정 제약 아래 로봇 조작 능력 벤치마킹

LIBERO-Industry: Benchmarking Robotic Manipulation under Industrial Process Constraints

피지컬 AI·로봇 데이터·평가 제조 물류·공급망 중급 추천 10 cs.AI Physical AI Group, Institute of AI for Engineering (IAIE), Tongji University

컨베이어 속도·작업 시간창·배치 공차 같은 산업 제약을 조절 가능한 조건으로 바꾼 216개 과제 벤치마크를 만들어, 범용 로봇 정책 5종이 모두 성공률 0%를 기록했다.

문제

다품종 소량 생산 같은 유연 제조 현장에서 로봇은 제품과 생산 조건이 계속 바뀌는 상황에 적응해야 한다. 이런 현장에는 제품 변종, 움직이는 자재 흐름, 정해진 작업 시간창, 빠듯한 기하학적 공차 같은 공정 제약이 걸린다. 그런데 기존 로봇 학습 벤치마크(LIBERO, CALVIN, Meta-World 등)는 가정 환경 중심이라 이런 타이밍·이동·배치 요구를 다루지 않고, ARIAC 같은 제조 벤치마크는 범용 로봇 정책을 평가하지 않는다.

방법

LIBERO를 확장해 세 가지 작업군을 만들었다. D2S(움직이는 컨베이어에서 집어 고정 지그에 넣기), S2D(고정된 곳에서 집어 간헐적으로 움직이는 슬롯에 넣기), D2D(움직이는 곳에서 움직이는 곳으로 옮기기)다. 물체 4종, 컨베이어 속도 3단계, 이동 방향 2가지, 난이도 3단계를 조합해 총 216개 과제(학습 180, 평가 36)를 만들었다. 난이도가 올라갈수록 넓은 트레이에서 물체 모양에 맞는 홈, 꼭 맞는 인레이로 배치 정밀도가 높아지고 환경 변동도 커진다. 각 과제는 자재 이동 일정에서 유도한 고정 롤아웃 시간 한도를 가지며, 모든 정책에 같은 한도를 적용한다. 지표는 성공률(SR)과 두 가지 부분 완료율(PCR_T: 목표 물체 이송 진척, PCR_S: 기존에 놓여 있던 물체를 흐트러뜨리면 감점)이다.

결과

LIBERO로 파인튜닝된 공개 체크포인트 5종(π0.5, OpenVLA-OFT, UniVLA, X-VLA, Cosmos Policy)은 36개 평가 과제·정책당 360회 롤아웃에서 모두 성공률 0.0%였다.
목표 이송 부분 완료율(PCR_T)도 π0.5의 0.4%를 빼면 전부 0.0%였다. PCR_S는 11.2~12.5%였는데, 이는 처음부터 제자리에 있던 물체를 건드리지 않은 데서 나온 점수다.
산업 제약을 하나씩 넣고 조합할수록 성능이 점진적으로 떨어지는 양상을 확인했다고 저자들은 보고했다.
동일한 파인튜닝·평가 조건에서 LIBERO-Industry 데이터로 co-training한 쪽이 원래 LIBERO 데이터로 co-training한 쪽보다 실제 AUBO-i5H 로봇 팔 D2S 시험에서 더 높은 목표 이송 완료율을 보였다고 저자들은 보고했다.

한계

모든 정책이 0% 성공률이라 모델 간 변별이 되지 않고, 현재 벤치마크가 제로샷 전이를 재는 데는 적합하나 점진적 개선을 추적하기는 어렵다. 평가한 체크포인트들이 가정 환경 LIBERO로 파인튜닝된 것이라 산업 과제에 대한 학습 기회가 없었던 점도 감안해야 한다. 평가 과제는 36개, 과제당 초기 상태 10개로 규모가 작다. 실제 로봇 검증은 D2S 한 가지 시나리오에 한정됐고, 비교 결과도 구체적 수치 없이 '더 높았다'는 서술로 제시됐다. 논문이 정한 시간 한도는 실제 공장의 택트 타임이 아니라 벤치마크용 값이라고 저자들이 명시했다.

의미

VLA 모델이 가정 환경 벤치마크에서 올린 점수가 공장 조건에서는 그대로 통하지 않는다는 점을 숫자로 보여준다. 움직이는 자재, 정해진 시간, 좁은 허용 오차가 함께 걸리면 현재 범용 정책은 한 과제도 끝내지 못했다. 피지컬 AI를 제조 현장에 적용하려는 쪽에서 무엇이 빠져 있는지 진단하는 출발점이 된다.

핵심 용어

VLA(Vision-Language-Action) 모델: 카메라 영상과 언어 지시를 받아 로봇 동작을 직접 출력하는 범용 로봇 정책이다. RT-2, OpenVLA 등이 대표적이다.
다품종 소량 생산(HMLV): 제품 종류는 많고 각 종류의 생산량은 적은 방식이다. 생산 전환이 잦아 기존 고정 자동화로는 재프로그래밍 부담이 크다.
작업 시간창(execution window): 컨베이어로 흘러오는 물체를 집을 수 있는 제한된 시간 구간이다. 이 안에 못 끝내면 기회를 놓친다.
부분 완료율(PCR): 성공/실패 이분법 대신 이송 진척도를 재는 지표다. PCR_T는 목표 물체 이송만, PCR_S는 기존 물체를 흐트러뜨렸는지까지 반영한다.

원문

저자: Ming Shin Cindy Sung, Duan Leijiahao, Haoxiang Wang, Boning Tan, Liangna Fu, Chao Tan, Yafu Li, Yulong Chen, 외 · 게시 2026-10-12 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.