Qwen 3.8 27B 真能读懂神经网络权重？16GB 实测揭秘

最近，一个关于大模型“直接读取神经网络权重”的说法在技术社区炸开了锅。起因是 MIT CSAIL 的四位研究者发布了一篇题为《Sparks of Weight Space Programming》的文章，声称 GPT-6 Astra 能原生地读取一个小型神经网络的原始权重，并说出它是在哪个游戏上训练的。随后，知名开发者 Simon Willison 表示他本地运行的 Qwen 3.8 27B 也能做到。Hacker News 上的讨论热度飙升。我们没有停留在阅读层面——下载了相同的网络文件和提示词，在一张 16GB 的消费级显卡上跑了一遍，还额外做了一个没人提到的实验。

实验背景：MIT 的“权重空间编程”

MIT 的实验设计非常简洁。研究者用强化学习训练了四个微型策略网络，分别玩 Breakout、Pong、Pac-Man 和 Freeway 的网格简化版。每个网络只有 500 个输入、两层各 32 个隐藏单元、5 个输出，总共 17,253 个权重。他们把所有权重以纯文本形式粘贴进提示词，直接问 Astra 这是哪个游戏。结果是四发四中，置信度在 96% 到 99% 之间。

但标题们忽略了一个关键数字：每次运行的输入大约有 73,700 个 token，Astra 花了 71 到 107 秒才给出答案。这不是瞬间的“直觉”，而是一次耗时颇长的推理。随后 Simon Willison 用 LM Studio 加载了 17GB 的 Qwen 3.8 27B Q4 版本，在笔记本上复现：Breakout 正确、Pong 正确、Pac-Man 正确，但 Freeway 失败了——模型把它猜成了 Pac-Man。四中三，对于一台笔记本上的模型来说已经很惊人。

权重空间编程（Weight Space Programming） 指的是一种假设：语言模型可以直接把神经网络参数当作可读、可写的数据结构来处理，而不依赖外部工具或代码。与之相对的是常规的“代码空间编程”——模型生成 Python 等代码来加载、检查或修改权重。MIT 实验中，Astra 之所以看似“原生读取”，是因为研究者把 17,253 个权重以纯文本粘贴进提示词，模型只需在 token 序列中做模式匹配；但对于百万级参数的真实网络，全部序列化进上下文既不现实也不经济。这一概念的关键争议在于：模型是在“理解”权重结构，还是在做低效的数值搜索？后续热力图实验表明，至少对微型策略网络，信号集中在第一层，模型不需要真正“编程”权重空间就能猜中答案。

16GB 显卡上的复现：能跑，但慢得惊人

我们克隆了作者的代码仓库，里面有四个网络的 NPZ 文件、原始提示词、Astra 的答案甚至标准答案，没有任何需要猜测的地方。

硬件是一张 AMD Radeon RX 9060 XT，16GB 显存。Simon 用的 17GB 文件显然放不下，所以我们换成了 IQ3 量化版本（10.9GB），用 llama.cpp 在 Vulkan 后端把整个模型塞进 GPU。第一个坑很快就出现了：仅提示词本身就有 104,813 个 token，比 Astra 处理同一段文本多出 42%，因为 Qwen 的分词器对这些小数点的切分方式不同。默认的 8K 上下文直接报错。好在 Qwen 3.8 27B 是混合架构，64 层里只有 16 层是全注意力，KV 缓存的开销相对可控，上下文拉长后显存依然够用。

读取这十万多个 token 花了将近 30 分钟。然后模型开始“思考”，速度大约在每秒若干 token 的量级。我们给了它 18 分钟，它写了 4,700 个 token，内容全是在反复核对“这个输入对应哪个格子”、逐个寻找最大的权重、不断自我怀疑——始终没有说出游戏名字。照这个速度，Simon 那次数万 token 的推理在这张卡上要跑上好几个小时。

被忽略的真相：信号其实画在第一层里

真正有意思的部分来了：模型在 17,000 个数字里到底看到了什么？我们写了 25 行 Python，没有任何 AI 参与，只是对平方求和。每个输入对应网格中的一个格子、五个通道之一（移动物体、奖励目标、障碍物、上一帧），把每个通道进入隐藏层的权重平方后加总，就得到一张热力图。

结果明显得令人意外。Breakout 中，智能体通道几乎全部集中在最下面一行——那是挡板，绝大部分智能体权重能量都落在这一行；奖励通道则在顶部砖块区形成一条带；输出层对左右方向的区分远强于上下。Pong 里，智能体固定在最左侧的一列，上下移动的权重重要性远超左右；奖励贴在右墙。Pac-Man 的智能体通道呈现迷宫状，墙壁无处不在，两个轴上的移动都有体现。Freeway 里，智能体沿一列穿越网格，奖励在最上面一行——一只过马路的鸡。

整个脚本运行 0.3 秒。同样的答案，Qwen 花了四十多分钟去“推理”，Astra 用了一分多钟。这就是这次实验最核心的发现：游戏规则本来就明明白白地画在第一层权重里。

第一层权重热力图 是一种经典的可解释性手段：对每个输入单元连接到隐藏层的权重求平方和，得到该输入对网络输出的“重要性”分布。平方和消去了正负号，只保留能量大小；对于以网格形式排列的输入（如游戏画面），把能量映射回网格就能直观看出网络关注哪个区域。这种方法不依赖梯度或注意力机制，计算成本极低，上世纪九十年代就被用于分析浅层网络。本文用它证明：Breakout 的挡板、Pong 的球拍、Pac-Man 的迷宫墙壁都集中在第一层特定通道的高能量区域，因此一个会做加法的模型在 17,000 个数字中反复搜索也能找到规律。

“原生”还是“工程”？争议的核心

就在 Simon 的帖子疯传的同一天，Spacy 的创建者 Matthew Honnibal 发文指出，“Astra 读取和写入权重”这个框架具有误导性。我们认为他说得对。

MIT 的文章里其实有八个实验，它们并不是同一种技巧。真正“无代码、纯读原始权重”能成立的，是那些权重规模在 17,000 到 172,000 之间的小网络。所有涉及真实语言模型的实验——包括那个被大肆宣传的“Astra 修正了 Qwen 的数学能力”——都用了 Python，并且让模型运行了多达 50 次。那个修正确实存在：它只改变了极小比例的权重，却让数学基准分数从个位数百分点大幅跃升到接近一半。但那是一个通过代码和评估循环找到的“引导向量”，属于机器学习工程，不是心灵感应。

我们画出的热力图正好解释了为什么这招对微型策略网络有效：游戏就画在第一层里，一个会做加法的模型慢慢找总能找到。但对于百万级权重以上的网络，这种“裸读”是否还有效，目前没有任何证据。

引导向量（steering vector） 是机器学习工程中常用的一种干预手段：在模型某层的激活空间中找到或构造一个方向向量，推理时将其加到隐藏状态上，从而改变模型行为，而无需重新训练。MIT 所谓“Astra 修正 Qwen 数学能力”的实验，本质是通过 Python 脚本和数十次评估循环，搜索出一个能提升数学基准分数的引导向量，再把这个向量写入权重或激活中。这与“模型原生地读写权重”是两回事：前者是外部优化循环的产物，后者暗示模型自身具备理解参数结构的能力。区分二者，是判断“权重空间编程”是否成立的关键。

想自己试？三个实操建议

如果你也想在 Qwen 3.8 27B 上复现，有几件事必须提前知道。第一，加载模型前把上下文设到至少 100K，提示词本身就超过了默认窗口。第二，在 16GB 显卡上使用三位量化版本配合量化 KV 缓存，让整个模型留在 GPU 上；即便如此，推理速度也会慢到需要按小时规划。第三，不要让语言模型自己去做算术——同样的分析交给一个 Python 工具只需几秒，模型的工作应该变成“读热力图”，而不是“算热力图”。这个技巧对你自己的模型同样适用：对每个输入的第一层权重求平方和，就能看出网络真正在用哪些输入。这是上世纪九十年代就有的可解释性方法，至今依然有效。

结论：信号是真的，“原生”是假的

Qwen 3.8 27B 确实能读取微型网络的权重并说出游戏名称，这一点是真实的。Simon 四中三，Astra 四中四，我们的热力图也证明信号确实存在于权重之中。但“Astra 原生地读取和写入权重以提升 Qwen”这个说法，按目前的证据并不成立：它需要代码、数十次评估循环，以及一种已知的引导技术。改进是真的，“原生”不是。一个合理的预测是：很快会有人推出正式的权重读取基准，前沿模型会在 20 万权重以下的网络上表现优异，而在百万权重以上开始失效。到那时，答案会清楚得多。