WeVisOne-VL：将对象级到像素级统一起来的视觉感知 VLM

问题

现有视觉-语言模型（VLM）在细粒度视觉感知上并不可靠。问题包括：凭空生成不存在对象的幻觉、对陌生表述的意图误解，以及漏掉不显眼对象导致的召回率下降。此外，进行分割时往往依赖单独的大型分割模型。

方法

基于 Qwen3-VL 构建了 2B 和 4B 模型。用表示归一化坐标的专用 token（<0>~<1000>）输出边界框和点坐标，并将边界框之后生成的 <OBJ> token 的隐藏状态输入轻量像素解码器，生成掩码和 alpha 遮罩。数据引擎用知识图谱整理概念和指代表达，由 SAM3、自研开放集检测器和 Rex-Omni 提出候选，再由 Qwen3-VL 验证。掩码由 SAM2 生成，alpha 标签由专用抠图标注器生成。通过审查模型错误重新构建 Hard Negative/Positive 样本。训练先进行三阶段课程式 SFT（任务对齐 → 高分辨率与密集感知 → 像素级任务），再用 SFT 模型最不确定的样本混合多项任务进行 GRPO 强化学习。

结果

• 作者报告称，在 30 多个基准上，对象级和像素级任务均取得领先性能（所提供正文范围内没有各基准的具体数值）。
• 作者报告称，模型拒绝目标不存在的查询的能力稳健，在密集场景中召回率也很高。
• 训练数据清单规模为 1 亿张以上图像、约 36 亿个边界框。
• 无需单独的大型分割模型，单个模型即可支持点、边界框、掩码和 alpha 遮罩全部输出。

局限

所提供正文在实验部分之前截断，无法确认各基准的数值及与基线的比较。大部分训练标签由 SAM3、SAM2、Qwen3-VL 等现有模型自动生成，人工仅抽样检查一部分，因此标签质量可能受这些模型局限的影响。实验的模型规模也只有 2B 和 4B 两种。

意义

可以把原本分别用专用模型运行检测、分割、抠图的流水线，精简为一个小型 VLM。权重和代码已公开，可在实际工作中直接试用。把错误审查连接到下一轮数据收集和标签修正的数据引擎设计也值得参考。

关键术语

Referring Localization

找出自然语言表述所指特定对象位置的任务，例如“左边拿着红杯子的人”。

抠图（Matting）

将前景不透明度估计为 0~1 之间连续值（alpha）的任务。对于头发这类边界细微的区域，能比 0/1 掩码更精确地分离。

<OBJ> token

模型输出边界框后生成的特殊 token。该 token 的隐藏状态充当对应对象的表示，像素解码器据此生成掩码。

GRPO

Group Relative Policy Optimization。对同一输入生成多个回答后，在组内相对比较奖励来更新策略的强化学习方法。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• 项目
• Hugging Face

作者: Tianming Liang, Junyi Pan, Yuxi Li, Canmiao Fu, Zhipeng Huang, Chong Sun, Chen Li, Jing Lyu · 发布 2026-10-22 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。