S-Space：探究多模态语言模型内部的空间工作空间

问题

多模态语言模型（MLLM）表现出空间推理能力，但空间信息在模型内部如何表示和使用几乎尚未阐明。因此，空间推理失败时难以诊断原因所在。

方法

使用“苹果在杯子的左边还是右边”这类相对位置问题。将正确答案的 logit 差对物体 token 的隐藏表示求导，并把查询物体与参照物体的梯度差在不同提示、物体顺序和示例上取平均，得到水平、垂直、距离三个轴。将物体 token 投影到这些轴上，即可读出连续坐标。作者还进行了编辑这些坐标后再写回的因果干预实验。此外，作者将坐标读取与显式旋转相结合，构建了分离感知与计算的诊断流程。研究对象为 Molmo2-ER、Qwen3.5-4B 和 Qwen3.6-27B。

结果

• 仅用 S-Space 坐标回答的空间问答准确率，在 CV-Bench、EmbSpatial、SpatialTunnel 上与模型直接作答的准确率相近。该方法还泛化到了寻找轴时未使用的基准。
• 编辑 S-Space 坐标会显著改变空间判断，而颜色等非空间判断基本保持不变。在询问颜色的非空间提示中，坐标也仍可被读出。
• 在 SpinBench 视角转换任务中，Qwen3.6-27B 直接作答的准确率为 60.96%，CoT 推理为 83.56%。对 S-Space 坐标施加旋转后达到 95.21%。
• Molmo2-ER 从直接作答的 60.96% 提升到 S-Space+旋转的 94.52%。若给定原视角下的正确关系作为前提，S-Space+旋转最高可达 99.31%。
• 案例分析中，“socialist”投影到水平轴左侧，“conservative”投影到右侧。这表明物理方向与抽象语言含义混杂在一起。

局限

水平轴和垂直轴是图像平面坐标而非世界坐标，且没有分离随深度变化的透视效应。分析的模型只有 3 个。S-Space 源于空间语言预测这一解释仍停留在作者的假设层面。视角变换实验主要基于 SpinBench 一个基准。

意义

研究表明，MLLM 已经掌握了足够的空间信息，却在视角变换计算上出错。因此，它指出改进机器人和导航用模型时，应着眼于空间运算而非感知。

关键术语

线性表示假说

一种假说，认为概念在模型内部以特定方向向量表示，沿该方向投影即可读出概念的值。

因果干预（Causal Intervention）

一种可解释性技术：直接修改内部表示的特定分量，观察输出如何变化，以验证该分量是否真正被使用。

视角转换（Perspective-taking）

推理当观察者的视角换到左侧、右侧、后方等位置时，物体之间的关系会呈现为何种样子的任务。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• 项目
• Hugging Face

作者: Zhiyuan Shi, Xiang Li, Xingzhuo Guo, Shangchen Miao, Weiliang Chen, Qiyu Dai, Jinshan Ren, Jiangran Lyu, 等 · 发布 2026-10-09 · 许可 CC BY-NC-SA 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。