论文解读 · 2026年10月17日

RoTA-Bench：通过交互式投影对齐评估3D空间推理

RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment

通过旋转物体使其与目标轮廓对齐的交互任务来评估VLM的3D空间推理，发现最佳模型成功率17%与人类100%之间存在巨大差距。

问题

现有空间推理基准是针对静态图像的问答，没有行动和反馈。交互式基准则偏重高层规划或网格上的路径搜索。因此，VLM能否从2D观察中理解3D方向并将其转化为精确行动，此前一直没有被衡量。

方法

将2D图标以球形方式立体化，自动生成正面轮廓与原图标相同的陌生3D物体。对这些物体随机施加6~16次30°旋转，得到初始姿态。按相反顺序施加旋转即可回到原始姿态，因此所有任务都保证有解。模型根据目标轮廓、当前轮廓和深度着色图像，从3轴×2方向×4档幅度（1°/5°/10°/30°）组成的24种旋转中选择一种。在最多48次决策内使投影IoU达到0.90及以上即为成功。从674个任务中分层抽取100个作为测试集。同时还测量了3D姿态误差、选择有效方向的比例、选择最优角度的比例等诊断指标。

结果

GPT-5.6-Sol的成功率为17%（最终IoU 0.598），20名本科生在400次尝试中成功率为100%（最终IoU 0.923）。
Claude Opus 5、Claude Sonnet 5、Qwen 3.7 Plus、SpatioLM-InternVL3.5的成功率为0%。ReAct智能体配置为16%。
在相同状态下比较，轮廓重叠变好但实际3D姿态变差的行动比例，模型为19.4%，人类为10.9%。
去掉交互历史后，模型96.8%的行动集中在最大的30°旋转上，成功率大幅下降。

局限

物体是由图标立体化而成的合成形状，投影为正交投影，行动简化为24种离散旋转，与真实机器人操作环境存在差异。测试集为100个任务，人类参与者为20名本科生。由于成功判定以IoU 0.90为标准，对于对称物体，即使仍有姿态误差也可能被判为成功。

意义

它表明，要把VLM用于机器人或3D工具控制，“识别图像的能力”和“精确操控3D方向的能力”是不同的。历史管理和微调是弱点这一诊断，可直接用于智能体设计参考。

关键术语

投影IoU: 当前物体的2D轮廓与目标轮廓的重叠面积除以两者合并面积所得的值。越接近1，匹配越好。
正交投影（Orthographic Projection）: 不带透视效果、将3D物体直接投射到平面上的绘制方式。大小不随距离变化。
闭环（Closed-loop）评估: 模型执行行动、接收变化后的观察、再选择下一步行动，并反复进行这一过程的评估方式。

原文

作者: Qingchuan Ma, Yuexiao Ma, Xiang Meng, Yixuan Zou, Tianyu Xie, Wang Chen, Yuhui Zeng, Yuhang Wu, 等 · 发布 2026-10-13 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。