논문 리뷰 · 2026년 11월 21일
VLM 속 '의식적' 접근 탐색: Vision-Language 모델의 선택적 접근과 글로벌 워크스페이스
Probing the "Conscious" Mind: Selective Access and Global Workspace in Vision-Language Models
비전 인코더와 언어 디코더의 중간 상태를 같은 어휘 공간으로 읽는 MC-Lens를 만들어, VLM 안의 개념이 과제에 따라 선택적으로 접근되고 실제 추론에 쓰인다는 것을 보였다.
문제
VLM의 출력만으로는 모델 내부에서 개념이 어디서, 어떻게 표현되는지 알 수 없다. 기존 J-Lens는 언어 모델용이어서, 이미지 토큰이 텍스트 토큰보다 훨씬 많은 VLM에 그대로 적용하기 어렵다.
방법
Jacobian 기반 렌즈를 VLM으로 확장한 MC-Lens를 제안한다. V-Lens는 비전 인코더의 중간 상태를, L-Lens는 언어 디코더의 중간 상태를 평균 Jacobian으로 최종 디코더 상태 공간에 옮긴 뒤 출력 어휘로 읽는다. L-Lens는 이미지·텍스트·템플릿 토큰의 가중치를 균형 있게 맞추고, 출력 위치는 텍스트 위치로 제한한다. 이미지 사이에 공통으로 나타나는 성분을 빼는 기준 중심화(reference centring)도 쓴다. 개념을 단일 이름 토큰 대신 토큰 집합으로 표현해 반사실적 개입 실험을 한다. 통제된 VLM 학습에서 교차 모달 정렬을 추적하는 J-space 지표 두 개도 만들었다.
결과
- 저자들은 다중 모달 개념 정보가 중간 상태에서 읽히며, 질문에 따라 선택적으로 접근된다고 보고했다. 패치 단위 읽기에서는 객체 정체뿐 아니라 색·재질 같은 속성도 드러났다.
- 인과 추론 VQA에서 중간 개념 표현에 개입하면 다단계 추론 답이 바뀌었다. 저자들은 개념 방향 집합을 키울수록 이 효과가 대체로 강해졌다고 보고했다.
- 통제된 정렬 학습에서 제안한 J-space 지표는 Hidden State 코사인 기준선보다 교차 모달 정렬의 발달을 더 뚜렷하게 보여 주었다. 개념 접근성은 학습 초기에 좋아졌지만 안정적인 선택적 접근은 더 늦게 나타났다.
- 여러 모델 패밀리와 크기에서 내부 조직은 달랐지만 개념 접근성, 질의 의존 선택성, 교차 과제 개입 효과라는 공통 패턴이 나타났다.
한계
'의식'은 글로벌 워크스페이스 이론의 기능적 성질을 가리키는 표현일 뿐, 모델에 의식이 있다고 주장하지 않는다고 저자들이 명시했다. 렌즈는 평균 Jacobian에 기반한 1차 선형 근사여서 맥락별 사용 방식은 평균에 묻힌다. 제공된 본문이 방법 설명 중간에서 끊겨 정량 수치와 실험 규모는 확인하지 못했다.
의미
VLM이 이미지에서 본 정보를 내부에 갖고 있으면서도 틀린 답을 내는 이유를 들여다볼 수 있는 해석 도구다. 교차 모달 정렬 학습의 진행 상황을 모니터링하는 지표로도 쓸 수 있다.
핵심 용어
- 글로벌 워크스페이스 이론(GWT)
- 뇌의 여러 병렬 처리 과정에서 정보가 선택되어 공유 작업 공간에 통합되고, 이를 다른 전문 처리 과정들이 쓸 수 있게 된다는 의식 이론이다.
- J-Lens(Jacobian Lens)
- 중간층 Hidden State가 최종층 상태에 미치는 영향을 평균 Jacobian으로 근사해, 중간 상태를 어휘 분포로 읽어내는 해석 기법이다.
- 선택적 접근(Selective access)
- 같은 이미지라도 질문(예: 객체 이름 vs 색)에 따라 모델 내부에서 다른 개념이 두드러지게 읽히는 현상이다.
- 반사실적 개입
- 중간 상태에서 특정 개념 방향을 바꿔 넣고 출력 변화를 관찰해, 그 개념이 실제 계산에 쓰이는지 확인하는 실험이다.
원문
저자: Jiahao Huang, Jun Wang · 게시 2026-11-19 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.