범용 정밀 조작을 위해 서로 다른 촉각 센서를 아우르는 촉각 Representation 학습

문제

상용 촉각 센서는 종류마다 장단점이 뚜렷하고 물리 특성이 달라서, 한 센서로 학습한 촉각 이해를 다른 센서에 옮기기 어렵다. 그래서 여러 센서에서 모은 이질적인 촉각 데이터를 함께 활용하기 힘들다.

방법

압저항식·자기식·시각촉각식 센서를 하나의 Representation 공간으로 통합하는 촉각 파운데이션 모델 LingBot-Touch를 개발했다. 출력되는 촉각 토큰은 플러그 앤 플레이 방식이라 Diffusion Policy나 π0.5·LingBot-VLA 같은 VLA 모델에 그대로 붙일 수 있다. 새로운 센서 종류로 확장하기도 쉽게 설계했다.

결과

• 저자들은 시뮬레이션과 여러 하드웨어 플랫폼의 실제 로봇 실험에서 이 촉각 Representation이 복잡한 조작 작업 성능을 크게 높였다고 보고했다.
• Diffusion Policy부터 π0.5·LingBot-VLA까지 서로 다른 정책 모델에 촉각 토큰을 넣었을 때 모두 조작 성능이 좋아졌다고 보고했다.
• 계산 효율도 높게 유지된다고 밝혔다(초록에 구체 수치는 없음).

한계

초록 기준 분석이다. 초록에 구체 수치, 비교 기준선, 평가 작업 목록이 없어 개선 폭을 확인할 수 없다. 지원 센서가 세 종류여서 다른 센서로 확장되는지는 추가 검증이 필요하다.

의미

센서마다 따로 모델을 만들지 않고 여러 센서의 데이터를 합쳐 촉각 학습 규모를 키울 수 있다는 가능성을 보여준다. 기존 VLA 모델에 촉각을 덧붙이는 실용적인 경로가 될 수 있다.

핵심 용어

시각촉각 센서(visuotactile sensor)

접촉면이 눌려 변형되는 모습을 카메라로 찍어 촉각 정보를 얻는 센서다. 해상도는 높지만 다른 촉각 센서와 데이터 형태가 크게 다르다.

VLA(Vision-Language-Action) 모델

이미지와 언어 지시를 입력으로 받아 로봇 행동을 바로 출력하는 모델이다. π0.5가 대표적인 예다.

Diffusion Policy

확산 모델로 로봇 행동 시퀀스를 생성하는 정책 학습 방식이다.

원문

• arXiv 초록
• PDF
• 코드
• 프로젝트
• Hugging Face

저자: Bing Han, Yichuan Peng, Haoyu Dong, Yuanmeng Hu, Yongyi Jia, Fangjing Wang, Kecheng Zheng, Yiming Zhang, 외 · 게시 2026-11-09 · 라이선스 CC BY 4.0 · 초록 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.