촉각을 더한 로봇 조작: 비전·촉각 융합과 정밀 삽입 학습

왜 촉각이 필요했나

로봇 조작 정책(관측을 받아 다음 동작을 내는 모델)은 지금까지 주로 카메라 영상에 기대 왔다. 하지만 손가락이 물체를 쥐는 순간 정작 중요한 정보는 카메라에 잘 잡히지 않는다. TouchWorld논문는 비전과 언어가 의미와 형상은 알려 주지만 힘, 미끄러짐, 접촉 안정성 같은 '숨은 접촉 상태'는 믿을 만하게 드러내지 못한다고 지적한다. DeCAL논문도 정교한 손 조작이 어려운 이유로 심한 시야 가림과 복잡한 접촉 동역학을 든다.

플러그를 콘센트에 꽂는 장면을 떠올리면 쉽다. TF²-Steering논문은 꽉 끼는 소켓에 플러그를 넣는 마지막 단계에서는 시각 정보가 거의 도움이 되지 않고, 사람은 예상한 접촉감과 실제 손끝 감각으로 동작을 고친다고 설명한다. 삽입 작업을 다룬 CMT 연구논문 역시 정밀하고 접촉이 많은 상호작용은 비전만으로 풀 수 없다는 문제의식에서 출발한다.

가까이서 보려고 손목 카메라를 다는 방법도 있지만 한계가 있다. 손목 카메라 대체 연구논문는 접촉이 많은 조작에서 맺고 유지해야 하는 접촉이 손목 카메라에서도 가려질 수 있다고 보고, 손가락에 단 촉각 센서는 시야 없이도 접촉을 직접 잰다는 점에 주목했다.

핵심 아이디어: 눈으로 맞추고 손끝으로 끼운다

핵심은 두 감각에 서로 다른 역할을 맡기는 것이다. 어두운 현관에서 열쇠를 꽂을 때를 떠올려 보자. 열쇠 구멍 근처까지는 눈으로 손을 가져가고, 마지막에 구멍에 맞추고 돌리는 일은 손끝 감각으로 한다. MuxGel논문도 잡기 실험에서 시각 피드백은 정렬을, 촉각 피드백은 접촉 상호작용을 맡는다고 정리했다.

이 분업에는 '시간 척도'도 얽혀 있다. TouchWorld논문는 기존 정책 대부분이 촉각을 한 덩어리 행동 모델 안의 저주파 관측으로만 다룬다고 비판한다. 그러면 느린 과제 추론, 행동 생성, 빠른 접촉 피드백이 고리 하나에 묶인다. 미끄러짐은 순식간에 일어나는데 동작을 몇 박자 늦게 고치면 이미 늦다. 그래서 촉각을 '앞으로 접촉이 어떻게 변해야 하는지 알려 주는 예측 기준'이자 '빠른 피드백 신호'로 함께 쓰자는 것이 이 분야의 큰 흐름이다.

여기서 맞바꾸는 것도 분명하다. 촉각을 넣으면 센서와 하드웨어가 복잡해지고 데이터 수집도 비싸진다. 대신 비전만으로는 얻을 수 없는 접촉 정보를 얻는다. 아래 절들은 이 비용을 줄이면서 이득은 최대한 얻으려는 설계 선택을 다룬다.

어떻게 작동하나: 센서에서 행동까지

첫 단계는 촉각 신호를 얻는 것이다. 이 분야에서 많이 쓰는 비전 기반 촉각 센서는 손끝의 말랑한 젤이 눌릴 때 생기는 변형을 안쪽 카메라로 찍는 방식이다(GelSight 계열). 이런 센서는 대개 불투명한 코팅을 써서 바깥이 보이지 않는다. MuxGel논문은 코팅을 체커보드 무늬로 만들어 촉각 영역 사이사이에 투명 창을 냈다. 카메라 하나로 바깥 영상과 촉각을 동시에 담고, U-Net 기반 복원 모델로 두 신호를 다시 촘촘하게 되살린다.

둘째 단계는 촉각 신호를 어떤 형태로 넣느냐다. 촉각 신호 비교 연구논문는 같은 촉각 영상에서 세 가지 신호를 뽑았다. 접촉 모습을 담은 RGB 영상, 형상을 담은 normal·depth 지도, 접선 방향 변형(밀림)을 담은 marker flow다. 실로봇 실험 720회에서 촉각은 전체 성공률을 57.8%에서 78.9%로 올렸다. 단일 신호 중에서는 marker flow가 74.4%로 가장 좋았고, 이미 맺은 접촉을 조절하는 데 특히 중요했다. 신호마다 인코더를 나눠 처리하는 방식(cue-factorized encoding)도 성능을 꾸준히 높였다. 신호마다 성질이 달라서 처리법도 맞춰야 한다는 뜻이다.

셋째 단계는 융합과 행동 생성이다. 비전 인코더와 촉각 인코더가 만든 Representation을 어텐션으로 섞거나(CMT, 논문), 접촉 여부에 따라 촉각을 얼마나 반영할지 정하는 게이트를 둔다(DeCAL, 논문). 섞은 결과는 ACT, Diffusion Policy, VLA(비전-언어-행동 모델) 같은 행동 생성기에 들어간다. TouchWorld논문처럼 상위 정책이 행동 묶음(action chunk)을 내면 고빈도 촉각 정책이 그 위에 잔차(작은 보정값)를 더하는 구조도 있다.

정밀 삽입: 융합을 '잘' 해야 이득이 난다

촉각은 넣기만 하면 좋아질 것 같지만 실제로는 그렇지 않다. CMT 연구논문는 기존 연구에서 단순한 비전·촉각 융합이 꾸준한 개선을 내지 못했다고 짚는다. TF²-Steering논문은 그 이유를 더 구체적으로 말한다. 정책이 비전 쪽으로 치우쳐 있고, 촉각 데이터는 적고, 접촉 사건은 드물다. 이 셋이 겹치면 직접 넣은 촉각 신호가 무시되거나, 사전학습된 정책의 능력을 해쳐 성능이 오히려 떨어질 수 있다고 실험으로 보고했다.

CMT논문의 답은 구조와 물리 사전지식이다. 손목 카메라 영상과 촉각 신호를 self-attention과 cross-attention으로 정리해 섞고, 양쪽 손가락에 걸리는 힘이 균형을 이루도록 유도하는 정규화(사람의 운동 제어 원리에서 착안)로 촉각 임베딩을 안정시켰다. TacSL 벤치마크에서 삽입 성공률 96.59%를 기록해 단순 융합과 게이트 융합을 앞섰다. 실제 로봇에서는 얻기 어려운 접촉력 값을 직접 받는 '특권' 구성(손목 카메라 + 접촉력, 96.09%)과도 비슷한 수준이다.

TF²-Steering논문은 다른 길을 택했다. 강력한 비전 기반 파운데이션 정책은 그대로 두고, 그 정책 안의 flow-matching 행동 생성기가 따르는 '속도장'을 촉각으로 살짝 틀어 주는 잔차 조향을 배운다. 촉각용 MoE 구조로 촉각 예측(앞으로 올 접촉)과 실시간 촉각 피드백을 함께 쓰고, 세 단계로 나눈 학습 순서를 거친다. 시뮬레이션 평균 성공률에서 가장 강한 비교 대상보다 10.7퍼센트포인트 높았다. 기존 정책의 능력을 지키면서 촉각이 필요한 순간에만 동작을 고치게 한다는 점이 설계의 핵심이다.

발전 흐름: 데이터·평가·월드 모델

융합 구조만큼 중요한 숙제는 데이터다. ViTacWorld논문는 실제 촉각 상호작용 데이터가 비싸고, 하드웨어에 묶이고, 작업과 장면이 다양하지 않다는 점을 확장의 걸림돌로 꼽는다. 그래서 공개된 실제 촉각 데이터셋과 직접 만든 시뮬레이션 환경을 함께 써서 행동을 조건으로 받는 비전·촉각 월드 모델을 만들었다. 로봇 동작을 넣으면 시간이 맞춰진 영상과 촉각 반응을 예측한다. 이 연구는 촉각 신호가 물리 접촉에 직접 묶여 있어서 순수한 영상보다 Sim-to-Real 격차가 작을 수 있다는 점을 활용한다. 대규모 실제·시뮬레이션 Trajectory로 사전학습한 뒤 실제 정책 Rollout으로 파인튜닝하고, 합성 Rollout으로 정책을 개선하거나 정책을 미리 평가하는 데 쓴다.

평가 기반도 갖춰지고 있다. Bench2Dex논문는 손가락 구조와 센서 배치가 제각각인 정교한 로봇 손 12종을 하나의 시뮬레이션 촉각 인터페이스로 묶었다. 이 인터페이스는 특정 실물 센서의 출력을 흉내 내지 않고, 국소 접촉 형상을 영상 같은 촉각 관측으로 바꿔 손 모양이 달라도 같은 형식을 준다. 양손 작업 26종과 사람이 원격 조종한 시연 약 1.3K개를 담았다. 교란 유형은 정답 행동이 바뀌지 않는 '불변' 축과 교란에 따라 행동도 함께 바뀌어야 하는 '등변' 축으로 나눠 강건성을 본다.

SoftVTBench논문는 평가 기준 자체를 바꿨다. 말랑한 물체를 유한요소법(FEM)으로 시뮬레이션하고, 목표 달성(Goal Success)과 안전 성공(Safety Success)을 따로 잰다. 안전 성공은 물체를 떨어뜨리지 않고 최대 변형이 물체별 기준 아래여야 인정된다. 실험 결과 목표를 이룬 Rollout 가운데 상당수가 물리적 안전을 어겼다. 성공률만 보면 정책 성능이 크게 부풀려진다는 뜻이다. 촉각을 더하면 목표 달성은 비슷하게 유지하면서 안전 성공이 물체 중심 변형 물체 과제에서 21.4%에서 35.6%로 올랐다.

정책 구조 쪽에서는 TouchWorld논문가 계층을 넷으로 나눴다. 비전·언어로 하위 과제를 짜고 촉각 하위 목표를 예측하는 상위 계획층, 촉각 월드 모델 예측, 비전·촉각 목표 조건 정책, 고빈도 촉각 잔차 보정이다. DeCAL논문은 Mixture-of-Transformers 구조 위에 이해·상상·행동 생성을 묶고, 접촉 인식 게이팅과 비전·촉각 잠재 공동 상상(두 감각의 앞날을 함께 그려 보는 것)을 더해 평균 성공률 71%, 진행 성공률 83.4%를 보고했다.

요즘 어디로 가고 있나

최근 연구는 '촉각을 쓸까 말까'를 넘어 '무엇을 어떻게 쓰면 효과적인가'를 통제된 실험으로 따지는 쪽으로 가고 있다. 손목 카메라 대체 연구논문는 저가 촉각 배열 두 개를 비전·촉각 ACT 정책에 넣고, 학습과 배포 모두에서 손목 영상을 뺐다. 시연, 구조, 최적화 설정을 고정하고 접촉이 많은 과제 세 가지에서 비교했더니, 손목 카메라를 더하면 성공률이 18.3~28.3퍼센트포인트 올랐고 촉각을 더하면 31.7~60.0퍼센트포인트 올랐다. 세 과제 모두에서 손목 카메라를 쓴 비전 정책보다 높은 성공률을 보였고, 그중 두 과제는 통계적으로 유의했다. 저자들은 이를 '평가한 접촉 위주 환경에서' 촉각이 손목 카메라의 효과적인 대안이라는 근거로 조심스럽게 제시한다.

촉각 신호 비교 연구논문는 앞서 본 것처럼 촉각 영상을 통째로 넣기보다 물리적으로 해석 가능한 신호로 나눠 따지는 방향을 보여 준다. 촉각의 기여가 작업 단계마다 다르다는 결과도 함께 냈다. 촉각을 계속 같은 비중으로 쓰기보다 접촉 단계에 맞춰 쓰는 설계가 필요하다는 신호다.

TF²-Steering논문은 이미 잘 학습된 비전 파운데이션 정책을 버리지 않고 촉각으로 '조향'만 하는 방향을 대표한다. 큰 VLA를 처음부터 촉각과 함께 학습하기 어렵다는 현실을 고려하면, 기존 정책 위에 촉각 보정층을 얹는 이런 방식은 실무에서도 눈여겨볼 만하다.

한계와 쟁점: 실무에서 따질 점

첫째, 촉각을 넣었는데 효과가 없다면 융합 방식부터 의심해야 한다. CMT논문와 TF²-Steering논문이 보여 주듯 단순히 이어 붙인 촉각은 무시되거나 기존 능력을 해칠 수 있다. 융합 방식(교차 어텐션, 게이트, 잔차 보정)과 학습 순서를 바꿔 비교하는 실험이 필요하다. 촉각 신호를 어떤 형태로 넣을지(RGB, depth, marker flow)도 결과를 크게 바꾼다논문.

둘째, 하드웨어와 시뮬레이션 사이의 격차다. Bench2Dex논문는 촉각 하드웨어 설계가 아직 하나로 모이지 않았고, 시뮬레이션 촉각 신호도 실물 센서 측정값과 다르다고 밝힌다. 그래서 이 벤치마크는 특정 센서를 재현하려 하지 않는 공통 인터페이스를 택했다. 그 대가로 시뮬레이션 결과를 실물 센서에 그대로 옮기기는 어렵다. ViTacWorld논문가 실제 정책 Rollout으로 파인튜닝하는 단계를 둔 것도 이 격차 때문이다.

셋째, 평가 지표다. SoftVTBench논문가 보여 주듯 성공률만 재면 물체를 떨어뜨리거나 지나치게 누른 실행까지 '성공'으로 셀 수 있다. 식품, 의료 소모품, 부드러운 포장재처럼 손상이 문제 되는 물체를 다룬다면 안전 지표를 따로 정해야 한다. 또 이 글의 수치는 대부분 특정 벤치마크나 연구실 환경에서 나온 것이라 실제 생산 라인의 성능으로 바로 읽으면 안 된다.

넷째, 언제 촉각을 미뤄도 되는가. 접촉이 짧고 시야가 잘 확보되며 힘 조절이 거의 필요 없는 집어 옮기기라면 촉각이 주는 이득이 작을 수 있다. 반대로 끼우기, 조이기, 가려진 물체 꺼내기, 접촉을 계속 유지하는 도구 사용처럼 마지막 접촉 단계가 승부처인 작업이라면 촉각을 먼저 검토할 만하다논문.

더 공부하려면

입문 순서로는 먼저 CMT논문를 권한다. 정밀 삽입이라는 구체적인 과제에서 '단순 융합은 왜 실패하고 구조를 갖춘 융합은 왜 통하는가'를 짧고 분명하게 보여 준다. 이어서 촉각 신호 비교 연구논문를 읽으면 촉각 입력을 어떤 형태로 설계할지 감을 잡을 수 있다.

정책 구조에 관심이 있다면 TouchWorld논문와 DeCAL논문을 함께 읽고, 계층 분리와 게이팅이라는 두 접근을 비교해 보자. 기존 VLA를 살리면서 촉각을 붙이고 싶다면 TF²-Steering논문이 맞다.

데이터와 평가를 설계하는 쪽이라면 ViTacWorld논문, Bench2Dex논문, SoftVTBench논문를 차례로 보자. 센서 하드웨어 쪽 관점은 MuxGel논문이, 손목 카메라와 촉각 중 무엇에 투자할지에 대한 판단 근거는 손목 카메라 대체 연구논문가 준다.