WeVisOne-VL: 객체 단위부터 픽셀 단위까지 하나로 묶은 시각 인지 VLM

문제

기존 비전-언어 모델(VLM)은 세밀한 시각 인지에서 믿을 만하지 않다. 없는 객체를 만들어내는 환각, 낯선 표현에 대한 의도 오해, 눈에 덜 띄는 객체를 놓쳐 생기는 재현율 저하가 문제다. 또 분할을 하려면 별도의 큰 분할 모델에 의존하는 경우가 많다.

방법

Qwen3-VL을 기반으로 2B와 4B 모델을 만들었다. 정규화 좌표를 나타내는 전용 토큰(<0>~<1000>)으로 박스·점 좌표를 출력하고, 박스 뒤에 생성하는 <OBJ> 토큰의 Hidden State를 가벼운 픽셀 디코더에 넣어 마스크와 알파 매트를 만든다. 데이터 엔진은 지식 그래프로 개념과 지시 표현을 정리하고, SAM3·자체 개방형 검출기·Rex-Omni가 후보를 내면 Qwen3-VL이 검증한다. 마스크는 SAM2로, 알파 라벨은 전용 매팅 주석기로 만든다. 모델 오류를 검토해 Hard Negative/Positive를 다시 만든다. 학습은 3단계 커리큘럼 SFT(과제 정렬 → 고해상도·밀집 인지 → 픽셀 단위 과제) 뒤에, SFT 모델이 가장 불확실해하는 샘플로 여러 과제를 섞어 GRPO 강화학습을 한다.

결과

• 저자들은 30개 이상의 벤치마크에서 객체 단위와 픽셀 단위 과제 모두 선도적인 성능을 냈다고 보고했다(제공된 본문 범위에는 벤치마크별 수치가 없다).
• 대상이 없는 질의를 거부하는 능력이 견고하고, 밀집 장면에서도 재현율이 높다고 보고했다.
• 학습 데이터 인벤토리는 이미지 1억 장 이상, 바운딩 박스 약 36억 개 규모다.
• 별도의 대형 분할 모델 없이 하나의 모델에서 점·박스·마스크·알파 매트 출력을 모두 지원한다.

한계

제공된 본문이 실험 절 전에 끊겨 있어 벤치마크별 수치와 기준선 비교는 확인할 수 없다. 학습 라벨 대부분을 SAM3·SAM2·Qwen3-VL 같은 기존 모델이 자동으로 만들고 사람은 일부만 표본 점검하므로, 라벨 품질이 이 모델들의 한계에 영향을 받을 수 있다. 실험한 모델 규모도 2B·4B 두 가지뿐이다.

의미

검출·분할·매팅을 각각의 전용 모델로 따로 운영하던 파이프라인을 작은 VLM 하나로 줄일 수 있다. 가중치와 코드가 공개되어 실무에서 바로 시험해 볼 수 있다. 오류 리뷰를 다음 데이터 수집과 라벨 수정으로 연결하는 데이터 엔진 설계도 참고할 만하다.

핵심 용어

Referring Localization

"왼쪽에서 빨간 컵을 든 사람"처럼 자연어 표현이 가리키는 특정 객체의 위치를 찾는 과제다.

매팅(Matting)

전경의 불투명도를 0~1 사이 연속값(알파)으로 추정하는 작업이다. 머리카락처럼 경계가 미세한 영역을 0/1 마스크보다 정밀하게 분리할 수 있다.

<OBJ> 토큰

모델이 박스를 출력한 뒤 생성하는 특수 토큰이다. 이 토큰의 Hidden State가 해당 객체의 Representation 역할을 해서 픽셀 디코더가 마스크를 만든다.

GRPO

Group Relative Policy Optimization. 같은 입력에 대해 여러 답을 생성한 뒤 그룹 안에서 상대적으로 보상을 비교해 정책을 업데이트하는 강화학습 방법이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Tianming Liang, Junyi Pan, Yuxi Li, Canmiao Fu, Zhipeng Huang, Chong Sun, Chen Li, Jing Lyu · 게시 2026-10-22 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.