笔记本上的Qwen 3.8 27B也能读懂模型权重

「权重空间编程」（Weight-Space Programming）这个新词最近在AI圈传得很热。它的核心主张是：大模型可以直接阅读浮点数形式的神经网络权重，从中推断出这个网络训练来做什么，甚至不写代码、不跑反馈循环就能改写权重。前沿模型能做到这件事已经足够令人惊讶，但更值得关注的是——一个能装进17GB、跑在普通笔记本上的开源模型，是否也具备这种能力。

论文说了什么，又引发了哪些争议

据论文作者Rikiya Takehi等人描述，GPT-6 Astra仅凭观察原始权重就能判断网络训练目标，还能从零写出小型游戏网络，其表现超过用PPO训练1亿步的网络。论文中另一个引发讨论的例子是：让Astra在不使用梯度的情况下提升Qwen3.5-0.8B的数学能力，它识别出权重中导致推理循环的问题——Qwen自己的模型卡也曾警告过这一点——并通过原生编辑0.016%的权重修复了它。在相同采样设置下，MATH-500从7.9%提升到48.1%，IFEval也提升了3倍。

围绕这篇论文的批评同样直接。spaCy作者Matthew Honnibal认为论文具有误导性，理由是把「不借助工具直接读写权重」和「借助代码执行来改进模型」两件事混为一谈。Sean Goedecke则拆解了Qwen3.5-0.8B那个案例，指出它走的其实是一个人类ML研究员也会采用的步骤。Simon Willison在复现实验中明确把两者分开，只聚焦更有意思的那个问题：不调用任何工具时，模型能从权重里读出什么。

PPO（Proximal Policy Optimization，近端策略优化）是强化学习领域最常用的策略梯度算法之一，由 OpenAI 在 2017 年提出。它通过限制每次策略更新的幅度，在样本效率和训练稳定性之间取得平衡，长期是 Atari、MuJoCo 等基准任务上的默认选择。原文中「用 PPO 训练 1 亿步的网络」指的是一套标准的深度强化学习流程：智能体在环境中反复交互、收集轨迹、计算优势函数，再以裁剪后的目标函数更新策略网络。1 亿步意味着极大量的环境交互与梯度计算，通常需要数十乃至上百 GPU 小时。正因如此，GPT-6 Astra「仅凭观察原始权重就写出性能更好的游戏网络」才显得反直觉——它跳过了整个采样与梯度下降的循环。理解 PPO 的训练成本，是判断这条对比是否公平的关键前提。

实验设计：四个小游戏，一份纯权重提示词

论文的第一个实验（exp1_which_game）训练了四个神经网络，让它们分别玩10x10网格简化版的Breakout、Pong、Pac-Man和Freeway。Freeway是1981年的Atari 2600游戏，知名度明显低于另外三个。

然后研究者把权重以浮点数形式全部塞进提示词，附上同一段提问：下面的权重属于一个用强化学习训练来玩网格游戏的策略网络，判断它训练的是哪个游戏，只凭权重推理，没有代码执行、没有计算器，单次回答。四个游戏的prompt除了权重本身完全相同，这一点Simon Willison专门核对过。

本地复现：Qwen 3.8 27B 的战绩

Simon Willison用自己开发的LLM命令行工具配合LM Studio运行Qwen 3.8 27B（17GB，Q4_K_M量化版本）。这里有个值得记录的操作细节：LM Studio默认的8192上下文窗口会直接报错，必须手动拉长上下文；同时要通过环境变量把超时时间调到900秒，因为单次推理动辄接近一小时。

结果是四个游戏猜中三个。Pac-Man耗时46分12秒、消耗43,506个推理token，给出72%置信度；Pong用了1小时4分54秒，置信度75%；Breakout最快，52分25秒，置信度88%。Freeway猜错了，Qwen把它当成了「简化版Pac-Man式网格游戏」，考虑到这款游戏的冷门程度，这个失败并不意外。作为对照，Kimi K3.1 Pro通过OpenRouter跑Breakout，用了9分41秒和19,493个推理token就答对了。

推理轨迹本身很有意思。Qwen会逐行读取浮点数组，一边数下标一边推断「第436行对应第8行第7列通道0」，再用激活值的大小模式去猜智能体位置和奖励结构。这些文字读起来几乎不可理解，但确实展示了模型在做某种空间化的权重解析。

Q4_K_M 是 llama.cpp 提出的 GGUF 量化方案中的一种。名称里的 Q4 表示权重被压缩到约 4 bit，K 代表采用了分块（k-quant）量化策略，M 则是同一比特宽度下的中等混合精度档位——部分敏感层（如注意力输出、部分前馈层）保留更高精度，其余层用更低比特。相比 FP16，Q4_K_M 通常能把模型体积压到约四分之一，同时把 perplexity 损失控制在很小范围内，因此成为本地部署最常用的折中档位。原文中 27B 参数模型压到 17GB 正是这一量化的直接结果。需要注意的是，量化会改变权重中的浮点数值分布，而权重空间编程恰恰依赖模型对原始浮点模式的解读能力，因此量化模型能否复现全精度模型的表现，本身就是一个值得留意的变量。

上下文窗口（context window）指模型单次前向推理能容纳的最大 token 数，包括输入提示词和生成内容。把整个策略网络的权重以浮点数文本形式塞进提示词，会迅速消耗数万乃至更多 token；LM Studio 默认的 8192 窗口远不足以容纳，因此在加载模型时必须手动调高 n_ctx 参数。与此同时，推理时间与上下文长度近似呈超线性关系：注意力机制的计算开销随序列长度增长，加上逐 token 自回归解码，长上下文下的单次生成很容易达到数十分钟。原文中单次推理接近一小时、消耗数万推理 token，正是长上下文、低并行度本地推理的典型表现，与云端多卡批处理服务的体验差异极大。

「源代码时代终结」还为时过早

Simon Willison的态度相当克制。他承认这是篇很酷的论文，但认为围绕它的很多外围评论并没有依据，他并不准备宣布源代码的时代已经结束、未来将是一群不可理解的机器以不可理解的方式编辑自己的权重。

一个更接地气的判断是：一个经验丰富的人类，拿着纸笔，花足够多的努力，大概也能从这些权重里推断出游戏类型。真正值得追问的是效率差距和规模化后的能力边界，而不是急着给编程范式下判决书。如果本地27B模型已经能部分做到，那这条技术路线的门槛比想象中低——但它离「取代源代码」还差着若干个数量级。

多源交叉来看：论文方提供的是前沿模型的能力上限，Honnibal和Goedecke从方法论上提出质疑，Simon Willison则用本地开源模型给出了可复现的下限验证。三方在「权重空间编程确实存在」这一点上并不冲突，分歧集中在它究竟意味着什么。