논문 리뷰 · 2026년 10월 21일

뇌 인코딩을 위한 PEFT(파라미터 효율적 파인튜닝) 스케일링

Scaling Parameter-Efficient Fine-Tuning for Brain Encoding

과학·바이오 멀티모달 효율·인프라 고급 추천 232 cs.LG Mind Lab

최대 104B 멀티모달 백본을 LoRA로 적응시켜, 기존 최고 모델의 약 5% 학습 파라미터로 Algonauts 2025 뇌 반응 예측 최고 성능을 얻었다.

문제

뇌 인코딩 모델은 영상·소리·텍스트 같은 자극을 입력받아 그때의 뇌 반응을 예측한다. 지금까지는 사전학습 모델을 고정한 채 출력부(readout)만 학습하는 방식이 주류였다. 뇌 데이터가 비싸고 적어서 큰 모델을 처음부터 학습하거나 전체 파인튜닝하기 어려웠기 때문이다. 그래서 백본 자체를 뇌 데이터로 적응시키는 방향은 거의 탐색되지 않았다.

방법

사전학습 멀티모달 백본에 LoRA를 넣고 가벼운 readout과 함께 학습한다(BrainLoRA). 백본이 causal 구조라는 점을 이용해, 슬라이딩 윈도우 대신 149초 구간을 한 번의 forward pass로 처리해 모든 시점의 특징을 한꺼번에 얻는다. 구간 앞에는 60초 문맥을 덧붙인다. Readout은 linear 또는 cross-attention을 쓰고, 학습 후 linear readout을 ridge 회귀로 다시 맞춘다. 공유 백본 위에서 여러 LoRA를 함께 학습하는 multi-LoRA 커널도 만들어 200개가 넘는 모델의 앙상블을 구성했다.

결과

특징 추출 비용을 기존 SoTA(MIRAGE)의 슬라이딩 윈도우 대비 약 350배 줄였다(A800 기준 약 700에서 2 GPU-시간).
4.7B~104B 규모 멀티모달 백본 9종 모두에서 LoRA가 고정 백본보다 linear readout 기준 Pearson r을 0.032~0.066 높였다.
Qwen3-Omni 백본의 BrainLoRA(cross-attn)는 ID 0.327, OOD 0.228을 기록해, 학습 파라미터 1.1B인 MIRAGE 단일 모델(0.310/0.217)을 61.4M 파라미터로 앞섰다.
261개 모델 앙상블은 ID 0.343, OOD 0.248로 MIRAGE 15개 앙상블(0.323/0.227)보다 높았고, 저자들은 작성 시점 공개 리더보드 1위라고 보고했다.
20.3B 전체 파인튜닝(ID 0.326, OOD 0.225)은 LoRA를 넘지 못했다. 학습에서 뺀 피험자에 적용해도 개선 폭의 97%가 유지됐고, 다른 데이터셋(NNDb)에 추가 학습 없이 적용해도 noise ceiling 대비 +11.1%p 향상됐다고 저자들은 보고했다.

한계

주요 실험이 Algonauts 2025라는 단일 벤치마크(피험자 4명, 드라마 시청 fMRI, 1,000개 영역 단위)에 집중돼 있다. 평균 상관 차이가 0.00077 미만이면 seed 변동과 구별되지 않는다고 저자들이 밝혔다. 모델 크기와 성능의 상관은 약했다(r=0.60~0.71). 첫 단계 모달리티 인코더가 일부 양방향이라 완전한 causal 구조는 아니며, 저자들은 그 차이가 주로 bf16 MoE 수치 오차 때문이라고 설명했다. 제공된 본문은 중간에 잘려 있어 후반 실험은 확인하지 못했다.

의미

뇌 데이터가 적어도 대형 멀티모달 모델을 효율적으로 맞출 수 있다는 근거를 제시했다. 신경과학 모델링에서 '고정 백본+readout' 관행 대신 PEFT를 기본 선택지로 검토하게 만든다. 단일 pass 특징 추출과 multi-LoRA 학습 커널은 다른 대규모 어댑터 실험에도 응용할 수 있다.

핵심 용어

뇌 인코딩 모델: 영상·소리 같은 자극을 입력받아 그때 나타나는 뇌 활동(fMRI 등)을 예측하는 모델이다.
LoRA: 원래 가중치는 고정하고 작은 저랭크 행렬만 추가로 학습해 모델을 적응시키는 PEFT 기법이다.
Readout: 백본이 뽑은 Representation을 실제 뇌 영역별 반응 값으로 변환하는 출력 모듈이다. 자극과 fMRI의 시간 축을 맞추는 역할도 한다.
ID / OOD 평가: ID는 학습과 같은 종류의 자극(같은 드라마 다른 시즌), OOD는 전혀 다른 영화 자극에 대한 성능이다. OOD가 일반화 능력을 더 잘 보여준다.

원문

저자: Zhuofan Josh Ying, Guanglong Sun, Nolan Ho, Kieran Liu, Rui Yang, Andrew Chen, Nikolaus Kriegeskorte, Pony Ma, 외 · 게시 2026-10-19 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.