S-Space: 멀티모달 언어 모델 내부의 공간 작업 공간 탐구

문제

멀티모달 언어 모델(MLLM)은 공간 추론 능력을 보이지만, 공간 정보가 내부에서 어떻게 표현되고 쓰이는지는 거의 밝혀지지 않았다. 그래서 공간 추론이 실패할 때 원인이 어디에 있는지 진단하기 어렵다.

방법

"사과가 컵의 왼쪽인가 오른쪽인가" 같은 상대 위치 질문을 쓴다. 정답 로짓 차이를 객체 토큰의 Hidden Representation으로 미분하고, 질의 객체와 기준 객체의 그래디언트 차이를 프롬프트·객체 순서·예시 전반에 걸쳐 평균 내 수평·수직·거리 세 축을 얻는다. 객체 토큰을 이 축에 사영하면 연속 좌표를 읽을 수 있다. 이 좌표를 편집해 다시 써 넣는 인과 개입 실험도 했다. 또 좌표 읽기와 명시적 회전을 결합해 지각과 계산을 분리하는 진단 파이프라인을 만들었다. 대상 모델은 Molmo2-ER, Qwen3.5-4B, Qwen3.6-27B다.

결과

• S-Space 좌표만으로 답한 공간 QA 정확도가 CV-Bench, EmbSpatial, SpatialTunnel에서 모델이 직접 답한 정확도와 비슷했다. 축을 찾을 때 쓰지 않은 벤치마크에도 일반화됐다.
• S-Space 좌표를 편집하면 공간 판단은 크게 바뀌었지만, 색상 같은 비공간 판단은 거의 유지됐다. 좌표는 색상을 묻는 비공간 프롬프트에서도 계속 읽혔다.
• SpinBench 시점 전환 과제에서 Qwen3.6-27B의 정확도는 직접 답변 60.96%, CoT 추론 83.56%였다. S-Space 좌표에 회전을 적용하면 95.21%였다.
• Molmo2-ER은 직접 답변 60.96%에서 S-Space+회전 94.52%로 올랐다. 원래 시점의 정답 관계를 전제로 주면 S-Space+회전이 최대 99.31%까지 올랐다.
• 사례 분석에서 'socialist'는 수평축 왼쪽, 'conservative'는 오른쪽으로 사영됐다. 물리적 방향과 추상적 언어 의미가 섞여 있음을 보여 준다.

한계

수평·수직 축은 월드 좌표가 아닌 이미지 평면 좌표이고, 깊이에 따른 원근 효과를 분리하지 않았다. 분석한 모델은 3개다. S-Space가 공간 언어 예측에서 생겨난다는 설명은 저자들의 가설 수준이다. 시점 변환 실험은 주로 SpinBench 한 벤치마크로 했다.

의미

MLLM이 공간 정보를 이미 충분히 갖고 있는데도 시점 변환 계산에서 틀린다는 점을 보여 준다. 따라서 로봇·내비게이션용 모델을 개선할 때 지각보다 공간 연산 쪽을 겨냥해야 한다는 방향을 제시한다.

핵심 용어

선형 Representation 가설

모델 내부에서 개념이 특정 방향 벡터로 표현되어, 그 방향으로 사영하면 개념 값을 읽을 수 있다는 가설이다.

인과 개입(Causal Intervention)

내부 Representation의 특정 성분을 직접 바꾼 뒤 출력이 어떻게 달라지는지 보고, 그 성분이 실제로 쓰이는지 검증하는 해석 가능성 기법이다.

시점 전환(Perspective-taking)

관찰자의 시점을 왼쪽·오른쪽·뒤쪽 등으로 바꿨을 때 객체 간 관계가 어떻게 보일지 추론하는 과제다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Zhiyuan Shi, Xiang Li, Xingzhuo Guo, Shangchen Miao, Weiliang Chen, Qiyu Dai, Jinshan Ren, Jiangran Lyu, 외 · 게시 2026-10-09 · 라이선스 CC BY-NC-SA 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.