Sim-to-Real
Sim-to-Real 是一种技术:先在计算机中的虚拟环境(仿真)里训练机器人或 AI,再把学到的能力迁移到真实世界中使用。
通俗解释 这就像飞行员在真正飞行前,先在飞行模拟器里反复练习。不过,正如模拟器与现实哪怕稍有不同,飞行员在实战中也会慌乱一样,机器人也可能因为虚拟与现实之间的差异而出错。
工作原理
首先在模拟物理规律的仿真器中搭建机器人及其周围环境。机器人在其中通过强化学习等方法,把行走、抓取等动作尝试数百万次来掌握。训练时会刻意不断改变地面摩擦、物体重量、光照、传感器噪声等条件,这称为“域随机化”。适应了多种条件的机器人,即使现实与仿真略有不同也能应对。得到的控制模型(策略)迁移到真实机器人上后,有时还会用在现实中收集的少量数据再做调整。
为什么重要
用真实机器人反复试错耗时很长,还有机器损坏或人员受伤的风险。在仿真中,可以同时训练大量机器人,速度也远快于现实。摔倒、掉落都不产生成本。因此,在人形机器人、机械臂等难以收集数据的领域,它被用作核心训练方法。
注意事项
虚拟与现实之间的差异通常称为“现实差距(Reality Gap)”,这是最大的难题。布料、液体等难以仿真的物体,以及细微的接触和摩擦,尤其容易与现实不符。随机化范围太宽,学习会变得困难;范围太窄,则会在现实中失败。因此,通常不会只依赖仿真,而是与真实数据混合使用。
示例
机器人公司普遍采用这样的方式:先在大规模仿真中训练行走、保持平衡等基础动作,再把结果迁移到真实的人形机器人或四足机器人上。可以说,仿真器中数千台虚拟机器人同时摔倒、爬起所学会的步态,最终成为一台真实机器人的步伐。