← 주요 논문

논문 리뷰 · 2026년 11월 21일

VLM 속 '의식적' 접근 탐색: Vision-Language 모델의 선택적 접근과 글로벌 워크스페이스

Probing the "Conscious" Mind: Selective Access and Global Workspace in Vision-Language Models

안전·정렬멀티모달 고급 추천 34 cs.AI University College London

비전 인코더와 언어 디코더의 중간 상태를 같은 어휘 공간으로 읽는 MC-Lens를 만들어, VLM 안의 개념이 과제에 따라 선택적으로 접근되고 실제 추론에 쓰인다는 것을 보였다.

문제

VLM의 출력만으로는 모델 내부에서 개념이 어디서, 어떻게 표현되는지 알 수 없다. 기존 J-Lens는 언어 모델용이어서, 이미지 토큰이 텍스트 토큰보다 훨씬 많은 VLM에 그대로 적용하기 어렵다.

방법

Jacobian 기반 렌즈를 VLM으로 확장한 MC-Lens를 제안한다. V-Lens는 비전 인코더의 중간 상태를, L-Lens는 언어 디코더의 중간 상태를 평균 Jacobian으로 최종 디코더 상태 공간에 옮긴 뒤 출력 어휘로 읽는다. L-Lens는 이미지·텍스트·템플릿 토큰의 가중치를 균형 있게 맞추고, 출력 위치는 텍스트 위치로 제한한다. 이미지 사이에 공통으로 나타나는 성분을 빼는 기준 중심화(reference centring)도 쓴다. 개념을 단일 이름 토큰 대신 토큰 집합으로 표현해 반사실적 개입 실험을 한다. 통제된 VLM 학습에서 교차 모달 정렬을 추적하는 J-space 지표 두 개도 만들었다.

결과

한계

'의식'은 글로벌 워크스페이스 이론의 기능적 성질을 가리키는 표현일 뿐, 모델에 의식이 있다고 주장하지 않는다고 저자들이 명시했다. 렌즈는 평균 Jacobian에 기반한 1차 선형 근사여서 맥락별 사용 방식은 평균에 묻힌다. 제공된 본문이 방법 설명 중간에서 끊겨 정량 수치와 실험 규모는 확인하지 못했다.

의미

VLM이 이미지에서 본 정보를 내부에 갖고 있으면서도 틀린 답을 내는 이유를 들여다볼 수 있는 해석 도구다. 교차 모달 정렬 학습의 진행 상황을 모니터링하는 지표로도 쓸 수 있다.

핵심 용어

글로벌 워크스페이스 이론(GWT)
뇌의 여러 병렬 처리 과정에서 정보가 선택되어 공유 작업 공간에 통합되고, 이를 다른 전문 처리 과정들이 쓸 수 있게 된다는 의식 이론이다.
J-Lens(Jacobian Lens)
중간층 Hidden State가 최종층 상태에 미치는 영향을 평균 Jacobian으로 근사해, 중간 상태를 어휘 분포로 읽어내는 해석 기법이다.
선택적 접근(Selective access)
같은 이미지라도 질문(예: 객체 이름 vs 색)에 따라 모델 내부에서 다른 개념이 두드러지게 읽히는 현상이다.
반사실적 개입
중간 상태에서 특정 개념 방향을 바꿔 넣고 출력 변화를 관찰해, 그 개념이 실제 계산에 쓰이는지 확인하는 실험이다.

원문

저자: Jiahao Huang, Jun Wang · 게시 2026-11-19 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.