权重空间编程：LLM 如何直接编写和修改神经网络权重

为什么需要它：只靠数据修复的方式存在缺口

构建或修复神经网络的标准方法是梯度下降。给网络看大量示例，沿误差减小的方向一点点调整大量参数（网络中的数字）。效果很好，但有三项代价：需要大量数据；每修复一次，几乎所有数字都会改变；人很难理解改变后的数字代表什么。

成本问题在不同领域有不同表现。医学影像研究（paper）指出，构建分类器需要带标注的影像，而这类影像昂贵，很多时候甚至根本不存在。量子电路研究（paper）指出，变分量子算法要在量子设备上反复评估来优化角度，这一过程中梯度会消失（梯度消失），优化成本也随之升高。

验证也是问题。根据放射治疗审计研究（paper），这一领域的模型先用已知正确答案的案例测试，然后投入实际使用。但如果测试案例与训练数据共享同样的“捷径”（记住偶然线索而非规则），这种测试可能发现不了缺陷。同一研究介绍说，最近有报告称最新的 LLM 能够读写小型神经网络的原始权重，这种能力被称为权重空间编程。由此引出一个问题：不经过数据、直接操作权重，能否填补上述缺口？

核心思想：不重新压制，而是用焊接来修复

打个比方，梯度下降就像给工厂看几千个样品，让它重新压制整块电路板。权重空间编程则像技术人员摊开电路图和规格书，亲手更换几个电阻。双人游戏研究（paper）将其定义为“从明确写出所需计算的规格说明出发，在没有梯度下降、也没有训练数据的情况下，手工设定前馈网络全部权重的工作”。编辑 Qwen 模型的研究（paper）将其视为基于梯度的模型适配的替代方案。

从输入的研究来看，操作分为三类。第一类是“编写”：从零开始填满空网络的权重（游戏、医学影像、量子电路）。第二类是“修改”：在已训练好的网络中只改动出问题的几处（临床审计、Qwen 编辑）。第三类是“读取”：仅凭权重说明这个网络在做什么、哪里出错（临床审计、权重读取验证研究）。

当能为每个参数赋予含义时，这种方法最有效。量子电路研究（paper）报告称，当参数具有可解释的结构时，LLM 取得了与优化器相同或相近的结果。在临床审计研究（paper）中，LLM 找到的缺陷也全部可在单个单元（一个神经元）中看到。也就是说，这项技术是建立在“规则存放在少数几个数字里”这一前提上的。在这一前提不成立的大型网络或分布式表示中，就会变得困难。

如何运作：规格说明 → 编辑 → 验证 → 采纳

第 1 步是提供规格说明。向 LLM 提供任务描述，可能是临床方案中的四条规则（paper），可能是游戏规则（paper），也可能是电路结构和门约定（paper）。如果是修改任务，还会一并提供现有网络的权重。临床审计研究采用了“盲审”条件，不提供工具、数据和代码执行，只展示权重。医学影像研究（paper）让 LLM 在一张图像都没看的情况下，通过一次回答生成 CNN（卷积神经网络）的全部参数。

第 2 步是假设与编辑。LLM 推断哪个单元负责哪条规则，然后修改出问题位置的数字或写入新数字。关键是少改。在临床审计中，改动了中位数 3 个参数。在 Qwen 编辑中改动了 1,023 个，在机器人策略修复（paper）中改动了 65 行 token 嵌入。

第 3 步是验证。各研究方法不同，实际上这一步决定了结果的可信度。临床审计用约 420,000 次请求逐一测试了 LLM 的每个说法和每处修复。策略研究（paper）用模型检测器 Storm 精确计算策略满足要求的概率，而非通过模拟来估计。机器人研究使用了有预算限制的模拟器反馈。

第 4 步是采纳或保持原样。未通过验证就放弃编辑。在 Qwen 研究中，16 条编辑轨迹中有 6 条未能确切验证改进效果，因此保留了原始权重。在机器人研究的 13 个追加会话中，编辑器拒绝了 12 个候选。重要的是，设计中包含了“结果不好就什么都不改”的选项。

发展脉络：一周之内分出的三个方向

输入资料中的论文全部发表于 2026 年 11 月 3 日至 9 日之间。因此，与其说它们是相互继承的谱系，不如说是同一时期朝不同方向进行试验的研究。大体可分为“从头编写”“审计·修复”“反馈回路”三个方向。

先看从头编写方向。双人游戏研究（paper）用 Nim、井字棋、两种不同尺寸的四子棋和国际象棋残局搭建了难度阶梯，构建了 10 个网络。其中 6 个可以相对于独立的预言机（确定知道正确答案的判定器）通过证明而非统计来确认正确性。在国际象棋残局中，专门设计让其答对的一步战术成功率为 84.1~100%。但在实际对局中跌至 0.57~9.13%，作者认为剩余差距不在于投入程度，而是结构本身的局限。在医学影像研究（paper）中，Claude Opus 5.5 和 GPT-6 Astra 编写的小型 CNN 在 MedMNIST 全部 6 个任务上都优于随机水平。平均 AUC 为 Opus 0.719、Astra 0.711。参数量少了 10,000 倍以上，却在 6 个任务中的 5 个上超过了零样本 MedSigLIP。但用 256 张标注影像以 Adam 训练同一结构后，在所有 MedMNIST 任务上都更高（平均 AUC 0.828）。量子电路研究（paper）将这项技术扩展到量子电路角度。在 VQE 问题上达到了能谱的 95~100%，并以闭式精确推导出 H₂ 基态。在数字 3 对 8 的分类中，用手写的 12~18 个权重达到了 93~96% 的准确率。

在审计·修复方向，临床审计研究（paper）在参数量为 433~4,801 的头颈部放射治疗计划审查网络中故意植入了缺陷：遮蔽规则的混杂变量、脊髓标准偏移 3 Gy、隐藏触发器。Claude Opus 5.5 在 18 个有缺陷的网络中的 16 个上指出了出故障的规则。存在混杂变量或标准偏移的 15 个全部找到。Qwen 研究（paper）以 Qwen3.5-0.8B 和 9B 为对象，只改动 1,023 个参数就使 MATH-500 准确率提高了 29.45 个百分点，在 IFEval 上最多提高了 36.72 个百分点。扩散模型修复研究（paper）与其说给出实验结果，不如说提出了一个假设。它探讨 LLM 能否找到造成质量问题的层、只修正少数权重方向来提升画质，并考察能否将这项技术从“调试”扩展到“改进”。

在反馈回路方向，策略研究（paper）用模型检测器检查 LLM 编写的策略，再将结果返回给 LLM。在 3 个环境中的 18 次运行全部在没有任何反馈的情况下就达到了最优概率。WeightLoop（paper）更进一步。GPT-6 Astra 一旦写好“编辑程序”，每当有新的实验测量值输入，该程序就会修正预测模型。此后既不再调用 LLM，也不进行梯度重新训练。作者将其描述为受 Recursive Self-Improvement（递归自我改进）启发的改进回路。

近期走向：大模型的局部修复，以及对“读取”的质疑

第一股趋势是应用于大型实用模型，但把范围控制得很窄。机器人调试研究（paper）只修改了机器人基础策略 π0.5 中的 65 行 token 嵌入，纠正了指令理解中的词汇错误。最好的一个会话在 765 条从未见过的改写指令上将成功率从 86.3% 提高到 92.0%。效果集中在包含被编辑 token 的 335 条指令上（74.3% → 87.5%），其余 430 个回合的结果一个都没有变化。同等规模的随机方向编辑没有效果。作者明确表示，这一结果只支持“精确的词汇修复”，并不能证明机器人获得了原本没有的能力。

第二股趋势是检验 LLM 是否真的“理解”权重。权重读取验证研究（paper）在不提供数据集名称的情况下，以文本形式向 Claude Opus 5.5 展示了约 125,000 个参数的 CNN 的权重。模型在局部计算上是准确的，例如通过批归一化统计量猜中训练步数。但在判断含义时，它依赖熟悉的数据集：把三个快餐图像网络全部称为 CIFAR-10，而在打乱 CIFAR-10 的标签顺序后，它解读出的类别对全部错误。作者认为这是依赖记住的标签顺序的信号。

把两股趋势合起来就能看出方向：与其讲“模型自己提升能力”的宏大故事，不如专注于范围窄、可验证的修复。而且重心正在转向不直接相信 LLM 的解释，而是用执行结果来确认。

与其他方法相比做了哪些取舍

与微调相比，这项技术牺牲一点性能，换来“局部性和可解释性”。在临床审计研究（paper）中，用带方案标签的请求进行微调也修复了所有网络。但几乎所有参数都被改动，而权重空间编程只改动了中位数 3 个。区别在于人可以审查改了什么、为什么改。反过来，有数据时训练更强。在医学影像研究（paper）中，仅用 256 张标注影像训练的网络在所有 MedMNIST 任务上都超过了 LLM 编写的网络。

与简单的测试方法相比，结果并不乐观。在同一临床研究中，LLM 找到的混杂变量和标准偏移都能在单个单元中看到。按缺陷类型挑选的简单统计也找到了同样的缺陷。按方案进行测试的方式捕捉到了全部缺陷。仅就“发现”缺陷而言，目前还没有证据表明 LLM 审计优于现有测试。LLM 审计的价值在于指出缺陷属于哪条规则，并给出最小修复方案。

与优化器之间更适合协作而非竞争。在量子电路研究（paper）中，以 LLM 编写的角度为起点后，优化只需中位数一次评估就达到最优值，而不是数百次。把这项技术看作“良好的初始值和精确修复工具”而非“训练的替代”，更符合证据。

局限与争议，以及实务判断标准

规模局限最大。从头编写成功的案例都是参数在数千个以下的网络、小型 LeNet 类 CNN，以及只有十几个权重的量子电路。在大模型上只实现了局部编辑（Qwen 1,023 个，机器人嵌入 65 行）。扩散模型修复研究（paper）也总结说，最近的实验只改动 0.016% 的参数就修复了结构性 bug，但未能植入新能力。游戏研究（paper）中国际象棋实战的崩溃也是同样的道理：需要连续规划多步的能力很难装进手写的网络。

可靠性的波动也很大。Qwen 研究（paper）指出，每条轨迹的结果差异很大。在医学影像研究中，Opus 在 SynthUterus 上取得了 0.764 的 AUC，而 Astra 因系统性错误只得到低于随机水平的 0.136。在临床审计中，5 个正常网络里只有 2 个被判定为正常，隐藏触发器 3 个中只找到 1 个。这意味着它目前还不足以用于后门攻击检测。此外，准确率与安全要求可能相互冲突。在策略研究（paper）中，用数据集修复后准确率升至 98.4%，但安全要求被打破。一次模型检测反馈就恢复了这一要求。

实务判断标准如下：当网络较小、规格说明可以写成规则、并且有手段独立验证编辑结果时，使用这项技术。在几乎没有标注数据时构建第一个模型，或生成优化的初始值时，也值得使用。反之，如果标注数据充足、需要获得新能力，或没有验证手段，则应避免。常见错误也有三个：把 LLM 的审计意见当作最终判定；只看准确率而不检查安全要求；没有随机编辑之类的对照组就声称有效。机器人研究和 WeightLoop（paper）都与随机编辑做了比较。

在医疗这类直接影响人的领域尤其要谨慎。上述数字全部来自实验用网络和公开或合成数据，并非实际诊疗性能。临床审计研究的意义也不是“LLM 代替人批准医疗模型”，而只是它可能成为人与方案测试配合使用的辅助审计手段。最终的投入使用决定和责任仍在医务人员和物理专家身上。

延伸学习

想一次了解概念和局限，可以先读 Qwen 模型编辑研究（paper）。在一篇论文中就能看到局部编辑的效果、任务间迁移，以及每条轨迹各不相同的结果。接着读临床审计研究（paper），可以学到如何设计盲审、大规模验证、微调和简单统计对照组，才能构成严谨的实验。

如果想知道如何把验证纳入设计，可以接着看基于模型检测的策略研究（paper）和 WeightLoop（paper）。对于“能否替代训练数据”这个问题，医学影像研究（paper）的对比实验给出了最直接的回答。游戏难度阶梯研究（paper）很好地展示了这项技术在哪里会失效。

最后，读权重读取验证研究（paper）和机器人调试研究（paper），可以帮助判断这项技术的主张可以相信到什么程度。如果说前面的研究展示了它能做什么，那么这两篇则展示了这些结果容易被误解成什么。