论文解读 · 2026年10月21日

用于脑编码的 PEFT（参数高效微调）扩展

Scaling Parameter-Efficient Fine-Tuning for Brain Encoding

用 LoRA 适配最大 104B 的多模态骨干网络，以约为此前最佳模型 5% 的可训练参数，在 Algonauts 2025 脑响应预测中取得了最佳性能。

问题

脑编码模型以视频、声音、文本等刺激为输入，预测当时的脑响应。迄今为止，主流做法是冻结预训练模型，只训练输出部分（readout）。这是因为脑数据昂贵且稀少，难以从头训练大模型或进行全量微调。因此，用脑数据适配骨干网络本身的方向几乎未被探索。

方法

在预训练多模态骨干网络中加入 LoRA，并与轻量 readout 一起训练（BrainLoRA）。利用骨干网络为 causal 结构这一点，不使用滑动窗口，而是用一次 forward pass 处理 149 秒的片段，一次性获得所有时间点的特征。片段前附加 60 秒上下文。Readout 采用 linear 或 cross-attention，训练后再用 ridge 回归重新拟合 linear readout。还构建了在共享骨干网络上同时训练多个 LoRA 的 multi-LoRA 内核，组建了超过 200 个模型的集成。

结果

与此前 SoTA（MIRAGE）的滑动窗口相比，特征提取成本降低了约 350 倍（以 A800 计，从约 700 GPU 小时降至 2 GPU 小时）。
在 4.7B~104B 规模的全部 9 种多模态骨干网络上，LoRA 均使 linear readout 下的 Pearson r 比冻结骨干网络高出 0.032~0.066。
Qwen3-Omni 骨干网络的 BrainLoRA（cross-attn）取得 ID 0.327、OOD 0.228，以 61.4M 参数超过了可训练参数为 1.1B 的 MIRAGE 单模型（0.310/0.217）。
261 个模型的集成取得 ID 0.343、OOD 0.248，高于 MIRAGE 的 15 模型集成（0.323/0.227），作者报告称其在撰写时位列公开排行榜第一。
20.3B 全量微调（ID 0.326，OOD 0.225）未能超过 LoRA。作者报告，应用于训练中排除的被试时，仍保留了 97% 的提升幅度；不经额外训练应用于其他数据集（NNDb）时，相对 noise ceiling 也提升了 +11.1 个百分点。

局限

主要实验集中于 Algonauts 2025 这一单一基准（4 名被试、观看电视剧时的 fMRI、以 1,000 个脑区为单位）。作者指出，平均相关差异小于 0.00077 时无法与 seed 波动区分。模型规模与性能的相关性较弱（r=0.60~0.71）。第一阶段的模态编码器部分是双向的，因此并非完全的 causal 结构，作者解释该差异主要源于 bf16 MoE 的数值误差。提供的正文在中途被截断，未能确认后半部分的实验。

意义

提供了即使脑数据很少也能高效适配大型多模态模型的依据。促使神经科学建模不再沿用“冻结骨干网络+readout”的惯例，而将 PEFT 作为默认选项来考虑。单次 pass 特征提取和 multi-LoRA 训练内核也可应用于其他大规模适配器实验。

关键术语

脑编码模型: 以视频、声音等刺激为输入，预测当时出现的脑活动（fMRI 等）的模型。
LoRA: 冻结原始权重，只额外训练小型低秩矩阵来适配模型的 PEFT 方法。
Readout: 将骨干网络提取的表征转换为各实际脑区响应值的输出模块。也负责对齐刺激与 fMRI 的时间轴。
ID / OOD 评估: ID 指在与训练同类的刺激（同一电视剧的不同季）上的性能，OOD 指在完全不同的电影刺激上的性能。OOD 更能体现泛化能力。

原文

作者: Zhuofan Josh Ying, Guanglong Sun, Nolan Ho, Kieran Liu, Rui Yang, Andrew Chen, Nikolaus Kriegeskorte, Pony Ma, 等 · 发布 2026-10-19 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。