论文解读 · 2026年10月20日
学习在 3D 世界中思考与探索
Learning to Think and Explore in 3D World
通过强化学习训练 VLM 每次只看一张图像、在 3D 场景中自行移动视角，在 6 个 3D 基准上取得 53.2% 的平均准确率。
问题
现有 3D 视觉-语言模型的前提假设是预先获得多视图图像、视频、点云等完整观测。但在只能看到部分信息的情况下，不仅需要利用已有信息进行推理，还需要主动寻找缺失信息的能力。
方法
将 3D 场景作为交互环境，而非模型输入。模型从一张第一人称视角图像和一个问题出发进行推理，通过平移、旋转动作（例如 move left）获取新的渲染图像，如此反复后给出答案。该过程被形式化为 POMDP。先用 GPT-5.4 生成的 5,712 条 Trajectory 进行监督微调，让模型掌握交互方式，再用 51,543 个问题进行 GRPO 强化学习。奖励主要是最终答案是否正确（LLM judge、exact match），另外附加仅在答对时给予的交互奖励和格式奖励。没有直接监督应该看哪些视角。
结果
- 作者报告，在 6 个 3D 基准上的平均准确率为 53.2%，比基础 Qwen 模型高 22.0 个百分点，比 Gemini 3.6 Flash 高 1.0 个百分点。
- 准确率高于现有开源 3D 方法，同时输入帧数减少 50~70%。
- 在 4 个未用于训练的领域基准上，平均比监督微调初始模型高 5.9 个百分点。
- 相对基础模型的提升幅度，在仅凭初始视角就能回答的问题上为 0.6 个百分点，而在需要大量探索的问题上扩大到 16.3 个百分点。作者的解读是，模型出现了根据问题调整探索量的行为。
局限
将 Embodiment 简化为在扫描的室内场景中直接操控相机。没有碰撞检测，相机可能穿过物体。监督学习用的 Trajectory 由 GPT-5.4 生成，部分奖励由 LLM judge 判定，judge 的错误可能影响训练。评估以室内 3D QA 数据集为主。
意义
研究表明，即使只根据最终答案是否正确给予奖励，VLM 也能自行学会“何时再多看什么”。可供设计需要主动收集信息的机器人或智能体用视觉推理模型时参考。
关键术语
- POMDP
- 智能体无法看到完整的环境状态、只能依据部分观测来决定行动的决策问题框架。
- GRPO
- 对同一输入采样多个 Rollout，在组内对奖励进行标准化以计算相对优势的强化学习方法。不需要单独的价值模型。
- Rollout
- 策略与环境交互、从头到尾生成的一次执行记录。在本文中指经过推理、移动、观测直至给出答案的完整过程。
原文
作者: Yijiang Li, Bingyang Wang, Nuno Vasconcelos · 发布 2026-10-15 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。