加入触觉的机器人操作：视觉–触觉融合与精密插入学习

为什么需要触觉

机器人操作策略（接收观测并输出下一步动作的模型）迄今主要依赖相机图像。但在手指抓住物体的那一刻，真正重要的信息往往难以被相机捕捉。TouchWorld（paper）指出，视觉和语言能提供语义和形状，却无法可靠地揭示力、滑动、接触稳定性等“隐藏的接触状态”。DeCAL（paper）也将严重的视线遮挡和复杂的接触动力学列为灵巧手操作困难的原因。

想象一下把插头插进插座的场景就容易理解了。TF²-Steering（paper）解释说，在把插头插入紧配合插座的最后阶段，视觉信息几乎帮不上忙，人会依据预期的接触感和实际的指尖感觉来修正动作。研究插入任务的 CMT（paper）同样从“精密且接触密集的交互无法仅靠视觉解决”这一问题意识出发。

为了近距离观察，也可以加装腕部相机，但这有局限。腕部相机替代研究（paper）认为，在接触密集型操作中，需要建立并维持的接触在腕部相机中也可能被遮挡，并关注到装在手指上的触觉传感器无需视野即可直接测量接触。

核心思路：用眼睛对准，用指尖插入

核心是让两种感知承担不同的角色。想象在昏暗的玄关插钥匙：靠眼睛把手引到锁孔附近，最后对准锁孔并转动则靠指尖的感觉。MuxGel（paper）在抓取实验中也总结道，视觉反馈负责对准，触觉反馈负责接触交互。

这种分工还牵涉“时间尺度”。TouchWorld（paper）批评说，现有策略大多只把触觉当作单一整体动作模型中的低频观测。这样一来，缓慢的任务推理、动作生成和快速的接触反馈就被绑在同一个回路里。滑动转瞬即发生，动作若慢几拍才修正就已经晚了。因此，把触觉同时用作“告知接触接下来应如何变化的预测基准”和“快速反馈信号”，是这一领域的大趋势。

其中的取舍也很明确。加入触觉会使传感器和硬件更复杂，数据采集也更昂贵；作为交换，能获得仅靠视觉无法得到的接触信息。以下各节介绍在降低这些成本的同时尽可能获取收益的设计选择。

工作原理：从传感器到动作

第一步是获取触觉信号。该领域常用的视觉触觉传感器，是用内部相机拍摄指尖柔软凝胶受压时产生的形变（GelSight 系列）。这类传感器通常采用不透明涂层，看不到外部。MuxGel（paper）把涂层做成棋盘格图案，在触觉区域之间开出透明窗口。用一台相机同时捕获外部图像和触觉，再用基于 U-Net 的重建模型将两种信号重新恢复为稠密信号。

第二步是决定以何种形式输入触觉信号。触觉信号比较研究（paper）从同一触觉图像中提取了三种信号：记录接触外观的 RGB 图像、记录形状的 normal·depth 图，以及记录切向形变（滑移）的 marker flow。在 720 次真实机器人实验中，触觉将总体成功率从 57.8% 提高到 78.9%。在单一信号中，marker flow 以 74.4% 表现最好，对调节已建立的接触尤其重要。为每种信号分别配置编码器的方式（cue-factorized encoding）也稳定提升了性能。这说明各信号性质不同，处理方法也要相应匹配。

第三步是融合与动作生成。将视觉编码器和触觉编码器生成的 Representation 用注意力融合（CMT，paper），或设置门控，根据是否接触来决定触觉的权重（DeCAL，paper）。融合结果输入 ACT、Diffusion Policy、VLA（视觉-语言-动作模型）等动作生成器。也有像 TouchWorld（paper）那样的结构：上层策略输出动作块（action chunk），高频触觉策略在其上叠加残差（小的校正值）。

精密插入：融合得“好”才有收益

触觉看似加进去就会变好，实际并非如此。CMT 研究（paper）指出，以往研究中简单的视觉–触觉融合未能带来稳定的改进。TF²-Steering（paper）更具体地说明了原因：策略偏向视觉，触觉数据少，接触事件罕见。实验表明，三者叠加时，直接输入的触觉信号可能被忽略，或者损害预训练策略的能力，反而导致性能下降。

CMT（paper）给出的答案是结构和物理先验知识。用 self-attention 和 cross-attention 整理并融合腕部相机图像与触觉信号，并通过一种引导两侧手指受力保持平衡的正则化（受人类运动控制原理启发）来稳定触觉嵌入。在 TacSL 基准上，插入成功率达到 96.59%，超过简单融合和门控融合，与直接获取真实机器人上难以得到的接触力数值的“特权”配置（腕部相机 + 接触力，96.09%）水平相当。

TF²-Steering（paper）选择了另一条路。保持强大的基于视觉的基础策略不变，学习一种残差引导，用触觉轻微调整该策略内部 flow-matching 动作生成器所遵循的“速度场”。通过触觉专用的 MoE 结构，同时利用触觉预测（即将到来的接触）和实时触觉反馈，并采用分为三个阶段的训练流程。在仿真平均成功率上，比最强的对比方法高 10.7 个百分点。设计的关键在于保留现有策略的能力，只在需要触觉的时刻修正动作。

发展脉络：数据、评估与世界模型

与融合结构同样重要的课题是数据。ViTacWorld（paper）将真实触觉交互数据成本高、受硬件限制、任务和场景缺乏多样性列为扩展的障碍。因此，它结合公开的真实触觉数据集和自建的仿真环境，构建了以动作为条件的视觉–触觉世界模型：输入机器人动作，即可预测时间对齐的图像和触觉响应。该研究利用了触觉信号直接与物理接触绑定、因此 Sim-to-Real 差距可能小于纯图像这一点。先用大规模真实和仿真 Trajectory 预训练，再用真实策略 Rollout 进行微调，然后用合成 Rollout 改进策略或预先评估策略。

评估基础也在逐步完善。Bench2Dex（paper）用统一的仿真触觉接口整合了手指结构和传感器布局各异的 12 种灵巧机器人手。该接口不模仿特定实物传感器的输出，而是将局部接触形状转换为类似图像的触觉观测，使不同手型也能获得相同格式。它包含 26 种双手任务和约 1.3K 条人类遥操作演示。扰动类型分为正确动作不变的“不变”轴和动作需随扰动一起变化的“等变”轴，以考察鲁棒性。

SoftVTBench（paper）改变了评估标准本身。它用有限元法（FEM）仿真柔软物体，并分别测量目标达成（Goal Success）和安全成功（Safety Success）。安全成功要求不掉落物体且最大形变低于各物体的阈值。实验结果显示，达成目标的 Rollout 中有相当一部分违反了物理安全。这意味着只看成功率会严重高估策略性能。加入触觉后，目标达成率基本持平，而在以物体为中心的可变形物体任务上，安全成功率从 21.4% 提高到 35.6%。

在策略结构方面，TouchWorld（paper）将层级分为四层：用视觉和语言规划子任务并预测触觉子目标的上层规划层、触觉世界模型预测、视觉–触觉目标条件策略，以及高频触觉残差校正。DeCAL（paper）在 Mixture-of-Transformers 结构上整合了理解、想象和动作生成，并加入接触感知门控与视觉–触觉潜在联合想象（共同推演两种感知的未来），报告平均成功率 71%、进度成功率 83.4%。

最新动向

近期研究已从“用不用触觉”转向通过受控实验探讨“用什么、怎么用才有效”。腕部相机替代研究（paper）将两个低成本触觉阵列加入视觉–触觉 ACT 策略，并在训练和部署中都去掉了腕部图像。在固定演示、结构和优化设置的前提下，于三项接触密集型任务上比较后发现：加入腕部相机使成功率提高 18.3–28.3 个百分点，加入触觉则提高 31.7–60.0 个百分点。在全部三项任务中，其成功率都高于使用腕部相机的视觉策略，其中两项具有统计显著性。作者谨慎地将此作为依据，认为“在所评估的接触密集环境中”，触觉是腕部相机的有效替代方案。

如前所述，触觉信号比较研究（paper）展示了一个方向：与其整体输入触觉图像，不如将其拆分为具有物理可解释性的信号来分析。研究还发现触觉的贡献因任务阶段而异。这表明，与其始终以相同权重使用触觉，不如根据接触阶段来设计其使用方式。

TF²-Steering（paper）代表了一个方向：不抛弃已训练好的视觉基础策略，只用触觉进行“引导”。考虑到从零开始将大型 VLA 与触觉一起训练很困难，在现有策略之上叠加触觉校正层的这种方式在实践中也值得关注。

局限与争议：实践中需考虑的问题

第一，如果加入触觉后没有效果，应首先怀疑融合方式。正如 CMT（paper）和 TF²-Steering（paper）所示，简单拼接的触觉可能被忽略，或损害原有能力。需要通过实验比较不同的融合方式（交叉注意力、门控、残差校正）和训练顺序。以何种形式输入触觉信号（RGB、depth、marker flow）也会显著影响结果（paper）。

第二，硬件与仿真之间的差距。Bench2Dex（paper）指出，触觉硬件设计尚未统一，仿真触觉信号也与实物传感器的测量值不同。因此该基准采用了不试图复现特定传感器的通用接口，代价是仿真结果难以直接迁移到实物传感器。ViTacWorld（paper）设置用真实策略 Rollout 进行微调的阶段，也是出于这一差距。

第三，评估指标。正如 SoftVTBench（paper）所示，只测成功率可能会把掉落物体或过度按压的执行也算作“成功”。如果处理的是食品、医疗耗材、软包装材料等损伤会造成问题的物体，就需要单独设定安全指标。此外，本文中的数值大多来自特定基准或实验室环境，不应直接解读为实际生产线上的性能。

第四，何时可以暂缓引入触觉。对于接触时间短、视野良好、几乎不需要力控制的抓取搬运任务，触觉带来的收益可能很小。相反，对于插接、拧紧、取出被遮挡物体、持续保持接触的工具使用等最后接触阶段决定成败的任务，值得优先考虑触觉（paper）。

延伸学习

入门顺序上，建议先读 CMT（paper）。它在精密插入这一具体任务上，简明清晰地展示了“简单融合为何失败、有结构的融合为何有效”。接着阅读触觉信号比较研究（paper），可以了解如何设计触觉输入的形式。

如果关注策略结构，可以一起阅读 TouchWorld（paper）和 DeCAL（paper），比较层级分离与门控这两种方法。如果想在保留现有 VLA 的同时加入触觉，TF²-Steering（paper）更合适。

如果负责设计数据和评估，可以依次阅读 ViTacWorld（paper）、Bench2Dex（paper）和 SoftVTBench（paper）。传感器硬件方面的视角可参考 MuxGel（paper）；在腕部相机与触觉之间如何投资的判断依据，可参考腕部相机替代研究（paper）。