论文解读 · 2026年10月23日

DONIC：从人类演示中学习的通用双手灵巧操作跟踪控制

DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations

结合双手操作数据集BiHOI、以物体为中心的奖励和片段级Advantage校正，学到了用单个检查点跟踪多种双手操作的策略。

问题

让机器人手模仿人类演示的现有跟踪策略主要局限于单手操作。双手持续接触的数据不足。此外，双手的角色和接触时机不断变化，难以用单一策略学习。

方法

用32台经过标定的RGB相机拍摄双手操作，构建了BiHOI数据集（1,575个序列、229个物体、14.77小时）。将手和物体进行3D重建后，重定向为Wuji机器人手的动作。沿用DexTrack的做法交替进行PPO和行为克隆（BC）训练，并把经过验证的成功执行重新用作演示数据。奖励以跟踪物体的位置、旋转和速度为核心，每只手只在参考动作中该手应当接触时才获得接触奖励。CCA（Clip-Centered Advantages）减去每个片段的平均Advantage，消除片段难度差异带来的偏差。

结果

作者报告称，无需微调，单个检查点在训练物体的新轨迹上成功率为86.79%，在未见过的物体上为57.32%。
与改造为双手版本的DexTrack、Dexplore基线中较强者相比，成功率分别高出77.36个百分点和45.73个百分点。
在BiHOI中，至少一只手接触的帧里双手同时接触的比例为65.91%，比所分析公开数据集中最高的H2O（38.57%）高27.34个百分点。

局限

所提供正文中的评测只在模拟环境中、使用公开数据划分进行，未见真实机器人实验。机器人手只用了Wuji一种。在未见过的物体上成功率降至57%左右，物体泛化仍有局限。对比基线是把原本的单手方法改造成双手版本。

意义

像家务、组装中一只手握住、另一只手打开这样的非对称双手任务在日常生活中很常见。它展示了用单一策略处理这类任务的途径，并同时公开了以双手接触为主的数据集，这一点具有意义。

关键术语

参考跟踪（Reference Tracking）: 控制机器人在物理模拟中如实复现从人类演示中获得的手部和物体目标动作的任务。
重定向（Retargeting）: 把人手动作转换为关节结构不同的机器人手关节值的过程。
Advantage: 强化学习中表示某个动作比平均水平好多少的值，决定策略更新的方向。
行为克隆（BC）: 以监督学习方式训练模型直接模仿成功演示中的观察-动作对的方法。

原文

作者: Mingze Sun, Ziang Cao, Yuan Fei, Qiankuan Tao, Zihan Wang, Tianqi Liu, Junhao Chen, Haiwen Diao, 等 · 发布 2026-10-21 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。