멀티모달 LLM: 이미지·음성을 함께 읽는 모델의 구조

왜 필요했나: 글만 읽는 모델의 한계

LLM(대규모 언어 모델)은 원래 텍스트만 입력으로 받는다. 그런데 현실의 업무 자료는 사진, 도면, 스캔한 문서, 회의 녹음처럼 글이 아닌 경우가 많다. 초기에는 이런 자료를 먼저 다른 모델로 글로 바꿨다. 이미지는 캡션(설명문)으로, 음성은 음성 인식(ASR, STT)으로 받아쓴 뒤 그 글을 LLM에 넣는 식이다.

이 방식은 단순하지만 정보가 중간에서 빠진다. 캡션이 '책상 위에 컵이 있다'고만 쓰면 컵의 색이나 정확한 위치를 묻는 질문에는 LLM이 답할 길이 없다. 음성을 글로 옮기면 말투나 억양도 사라진다. 변환 단계가 질문이 무엇인지 모른 채 미리 요약해 버리기 때문이다.

멀티모달(Multimodal) LLM은 이 문제를 풀기 위해, 이미지나 음성의 원래 정보를 가능한 한 많이 담은 채 LLM이 직접 읽게 만든 모델이다. 이미지와 글을 함께 다루는 모델은 따로 VLM(비전-언어 모델)이라고도 부른다.

핵심 아이디어: 모든 것을 토큰으로 맞춘다

트랜스포머(Transformer) 기반 LLM은 토큰(Token)의 줄을 입력으로 받는다. 멀티모달 LLM의 발상은 간단하다. 이미지와 음성도 토큰처럼 생긴 벡터의 줄로 바꿔서 텍스트 토큰 옆에 이어 붙이면, LLM은 원래 하던 방식대로 전체를 한꺼번에 읽을 수 있다. 토큰 통신 연구논문도 트랜스포머가 널리 쓰이면서 토큰이 새로운 기본 정보 처리 단위가 되고 있으며, 멀티모달 LLM에서는 시각 정보와 텍스트 정보가 모두 토큰으로 표현·처리된다고 짚는다.

비유하자면 LLM은 한국어만 아는 유능한 분석가이고, 이미지·음성은 외국어 자료다. 분석가에게 외국어를 처음부터 가르치는 대신, 자료를 읽어 내는 '전문 판독가(인코더)'와 그 내용을 분석가의 말로 옮기는 '통역사(어댑터)'를 붙인다. 분석가는 통역된 내용을 자기 질문과 나란히 놓고 판단한다.

이 설계가 맞바꾼 것은 분명하다. 이미 잘 학습된 LLM과 이미지 인코더를 재사용할 수 있어 처음부터 거대한 모델을 새로 학습할 필요가 줄어든다. 대신 두 모델이 서로 다른 방식으로 세상을 표현하던 것을 '맞추는' 단계가 품질을 좌우하게 되고, 뒤에서 보듯 이 맞춤이 불완전하면 '정보는 들어왔는데 쓰지 못하는' 문제가 생긴다.

어떻게 작동하나: 인코더 → 어댑터 → LLM

일반적인 처리 순서는 네 단계다. 첫째, 이미지는 작은 조각(패치)으로 나뉘어 이미지 인코더를 거치고, 음성은 짧은 구간 단위로 음성 인코더를 거친다. 인코더는 각 조각을 숫자 벡터, 즉 임베딩(Embedding)으로 바꾼다. 둘째, 어댑터(프로젝터라고도 부른다)가 이 벡터를 LLM의 토큰 임베딩과 같은 공간으로 옮긴다. 셋째, 이렇게 만든 시각·음성 토큰을 텍스트 토큰과 하나의 줄로 이어 붙인다. 넷째, LLM이 어텐션(Attention)으로 전체를 함께 보며 답을 한 토큰씩 생성한다.

학습도 보통 단계를 나눈다. 먼저 어댑터만 학습해 '번역'을 맞추고, 이후 지시를 따르는 대화 데이터로 더 넓게 파인튜닝하는 식이다. 토큰 통신 연구논문의 구조가 좋은 예다. 이 연구는 전송된 데이터를 어댑터가 시각 토큰으로 바꿔 비전 토크나이저의 중간 층에 넣는데, 이 토큰이 MLLM에 맞도록 두 단계 시각-언어 정렬 학습을 쓴다. 어댑터를 먼저 Distillation 손실로 예열한 뒤, 정렬 손실로 텍스트 의미에 맞춘다.

이 구조는 학습 시스템에도 부담을 준다. 이종 병렬화 연구논문는 인코더와 LLM의 규모가 서로 달라지고 컨텍스트 윈도가 길어지면서, LLM에 맞춘 하나의 병렬화 배치를 인코더까지 따르게 하면 처리량이 제한된다고 지적한다. 특히 긴 컨텍스트에서는 합쳐진 멀티모달 시퀀스 때문에 LLM 쪽은 컨텍스트 병렬화가 필요하지만 인코더 입력은 길이가 제한돼 있어 불일치가 가장 크다. 이 연구는 인코더와 LLM이 하나의 학습 그래프 안에서 서로 다른 배치를 쓰도록 하는 추상화를 제안했다.

설계 선택지: 한 몸으로 학습할까, 전문가를 엮을까

위 구조는 인코더와 LLM을 하나의 모델로 엮어 끝단 간(end-to-end)으로 정렬 학습하는 방식이다. 학습 없는 오케스트레이션 연구논문는 이런 방식이 이질적인 모달리티를 합치느라 데이터와 연산 비용이 크고 확장이 어렵다고 보고, 다른 길을 제안한다. 이미 있는 모달리티별 전문 모델을 추가 학습 없이 엮는 것이다.

이 프레임워크는 세 부분으로 이뤄진다. LLM 컨트롤러가 사용자 의도를 파악해 어떤 전문 모델을 어떤 순서로 부를지 명시적인 제어 토큰으로 내보내고, 텍스트 중심의 교차 모달 메모리가 멀티모달 근거를 구조화된 기록으로 압축해 대화 턴마다 전문 모델을 반복 호출하지 않게 하며, 통합 상호작용 계층이 실시간 양방향 스트리밍과 끼어들기를 고려한 대화를 처리한다. 연구진은 여러 멀티모달 벤치마크에서 좋은 성능을 내면서 오케스트레이션 부담이 낮고 부품을 따로 교체하기 쉽다고 보고했다. 제어 토큰이 명시적이라 라우팅을 감사(검증)하기 쉽다는 점도 장점이다.

반대로 한 몸 방식은 인코더의 세밀한 정보를 LLM이 직접 보므로 텍스트로 압축하며 잃는 정보가 적다. 실무 판단으로 정리하면, 빠르게 여러 모달리티를 붙이고 부품을 자주 바꿔야 하면 오케스트레이션이, 이미지 속 미세한 단서가 답을 좌우하면 통합 모델이 유리하다.

모달리티의 범위도 넓어지고 있다. ChemMLLM논문은 텍스트, 분자를 글자로 적는 SMILES 문자열, 이미지에 걸친 다섯 종류의 작업을 설계해 분자 이해와 생성(이미지 생성 포함)을 한 모델로 다뤘고, 범용 MLLM 중에서 더 나은 성능, 전문 모델에 가까운 성능을 보고했다. Cognitive Supersensing논문은 추론 방식 자체를 바꾼다. 텍스트 공간에서 CoT(Chain-of-Thought)를 늘리는 기존 접근 대신, 시각적 잠재 임베딩의 연속을 예측하는 머리(LVIP)를 붙여 '머릿속 그림'으로 추론 사슬을 만들고, 강화학습으로 그 시각 잠재에 근거한 텍스트 추론 경로를 최적화했다.

요즘 어디로 가고 있나: '보는 것'과 '쓰는 것'의 차이

최근 연구의 큰 흐름은 '멀티모달 모델이 실제로 이미지를 제대로 쓰고 있는가'를 정밀하게 따지는 평가다. BedBench논문는 3D 물체의 속성을 묻는 13개 과제로 모델을 시험했는데, 색깔별 개수 세기에서 사람은 93.3%를 맞힌 반면 가장 좋은 모델은 7.2%에 그쳤다. 더 흥미로운 결과는 내부 분석이다. Qwen3.5-27B를 조사해 보니 정확한 색깔별 개수 정보는 언어 모델 입력 단계에서 복원할 수 있었지만(프로브 65.0%), 모델의 실제 답은 거의 맞히지 못했다(3.0%). 인코더와 어댑터가 정보를 넘겨줘도 LLM이 그것을 답에 쓰지 못한다는 뜻이다. 이미지를 지운 대조 실험에서는 일부 '성공'이 시각 근거 없이도 나왔다.

CulturalBind논문는 다른 각도에서 같은 틈을 보여 준다. 6개 영역 1천 개 문화 개념의 이미지 3.2천 장으로 평가했더니, 모델이 글로는 어떤 문화 개념을 알면서도 이미지로는 알아보지 못하는 경우가 많았다. 텍스트 지식과 시각 지식이 분리돼 있는 것이다. 지식 편집으로 개별 인식 오류는 고칠 수 있었지만, 그 수정이 다른 모달리티로 옮겨 가는 정도는 낮았고 편집을 연달아 하면 성능이 빠르게 떨어졌다.

두 연구는 앞에서 본 '토큰으로 맞춘다'는 설계의 약점을 정확히 겨냥한다. 같은 줄에 놓였다고 해서 두 모달리티의 지식이 하나로 통합되는 것은 아니다. BedBench 연구진이 정확도만이 아니라 정확한 정답 여부, 일관된 사용, 이미지 의존도를 함께 평가하자고 제안한 이유다.

한계와 쟁점: 실무에서 따질 것

첫째, 시각 근거 없는 서술, 즉 환각(Hallucination)이다. 의료 VLM 연구논문는 모델이 이미지에 근거가 없거나 이미지와 모순되는 임상적 서술을 만들 수 있다고 보고, 생성된 답을 구절 단위로 나눈 뒤 해당 영역을 국소적으로 바꿔 보며 위험도를 추정하는 CLEAR를 제안했다. MIMIC-CXR에서 환각 탐지 AUPRC를 85.10%에서 90.23%로 높였다. 다만 이는 탐지 성능일 뿐 실제 진료 성능이 아니며, 의료처럼 위험이 큰 분야에서는 사람의 최종 검토가 필요하다.

둘째, 이미지 입력이 새로운 공격 통로가 된다. SUA논문는 머신 언러닝으로 '잊게 한' 민감 정보가 실제로는 숨어 있을 뿐일 수 있음을 보였다. 입력 이미지에 학습된 하나의 노이즈 패턴을 더하면 지워진 내용이 다시 나왔고, 이 노이즈는 처음 보는 이미지에도 통했다. 소유권 문제도 있다. 멀티모달 핑거프린팅 연구논문는 많은 MLLM이 언어 백본을 공유하기 때문에 기존 출처 확인 방법이 헷갈리기 쉽다고 지적하고, 교차 모달 어텐션 분포를 지문으로 쓰는 AttnPrint와 출력만으로 무단 Distillation 여부를 검정하는 DistillTrace를 제안했다(19개 구조, 154개 모델 인스턴스로 실험).

흔한 실수는 세 가지다. 벤치마크 정확도가 높다고 모델이 이미지를 보고 답한다고 믿는 것, 텍스트로 아는 지식이면 이미지로도 알아볼 것이라 가정하는 것, 이미지 입력을 텍스트 입력보다 덜 위험하다고 여기는 것이다. 도입 전에는 이미지를 빼고도 답이 나오는지, 정답을 매번 일관되게 내는지, 근거 영역을 짚을 수 있는지를 직접 시험하는 편이 좋다.

더 공부하려면

구조부터 잡으려면 토큰 통신 연구논문로 '시각 정보도 토큰'이라는 관점과 어댑터 정렬 학습을 보고, 이종 병렬화 연구논문로 인코더와 LLM의 크기 차이가 학습 시스템에 주는 영향을 읽는다. 통합 학습의 대안이 궁금하면 학습 없는 오케스트레이션 연구논문가 비교 기준을 준다.

모델이 실제로 무엇을 못 하는지 알고 싶다면 BedBench논문와 CulturalBind논문를 함께 읽기를 권한다. 둘 다 '정보가 있다'와 '정보를 쓴다'를 구분하는 실험 설계가 배울 만하다. 응용 범위를 넓혀 보려면 ChemMLLM논문과 Cognitive Supersensing논문을 본다.

서비스로 운영할 계획이라면 의료 VLM 환각 연구논문, SUA논문, 멀티모달 핑거프린팅 연구논문를 차례로 읽어 환각 탐지, 이미지 입력 공격, 모델 출처 확인의 쟁점을 정리해 두면 좋다.