[控场AI]
· 4 分钟阅读· 2,116 字

本地运行Qwen 3.8 27B仅凭模型权重识别游戏

本地运行Qwen 3.8 27B仅凭模型权重识别游戏

AI仅凭模型权重识别游戏,权重空间编程让黑箱部分可读。

工程师 Simon Willison 在笔记本电脑上本地运行 Qwen 3.8 27B 模型,仅根据游戏引擎的权重猜测游戏名称,对 Breakout 和 Pong 的识别置信度分别达到 88% 和 75%。这项实验属于“权重空间编程”领域,探索 AI 能否将另一个 AI 的权重作为输入来理解。此前 OpenAI 非公开模型 GPT-6 Astra 曾展示类似能力,本次实验用开放权重模型进行了复现。虽然并非全部成功且规模有限,但表明模型能从权重结构中读取语义信息,冲击了权重不可读的传统观念,为模型互操作、语义搜索和权重级审计开辟了可能性。

从一堆数字中读出「吃豆人」

模型权重是构成神经网络的巨大浮点数序列。对人类而言,它们毫无意义,只是一堆数字。但一项实验显示,AI 已经能够仅凭这些数字判断出某个模型学习的是哪款游戏——而且它运行在一台笔记本电脑上。

据 YouTube 视频演示,工程师 Simon Willison 在自己的笔记本上运行了一个名为 Qwen 3.8 27B(视频中亦被转写为 Q13.827b)的模型,让它仅根据游戏引擎的权重来猜测游戏名称。结果显示,模型对 Breakout(打砖块)的识别置信度达到 88%,对 Pong(乒乓球)达到 75%。

AI仅凭权重识别游戏

这并非全部成功,但已清晰表明:模型确实从权重的结构中读到了某些信息。

什么是权重空间编程

这项实验背后是一个名为「权重空间编程」(weight space programming)的研究领域。其核心问题是:AI 能否将另一个 AI 的权重作为输入来理解,就像它处理代码或自然语言那样?

长期以来,训练得到的权重被视为代码的对立面——不可读、不可控、不可版本管理。而代码则是可读的、可版本控制的、人类能够理解的东西。如果另一个模型能够破译权重,那么可读与可写表示的范围就突然扩大了。

演示中提到,OpenAI 的非公开模型 GPT-6 Astra 在今年早些时候展示了这种可能性。而这次实验则尝试用开放权重模型来复现它。

OpenAI非公开模型曾展示类似能力

权重(Weights) 是神经网络中通过训练学习到的参数,通常以浮点数矩阵的形式存储。以大型语言模型为例,其权重数量可达数百亿甚至数千亿,这些数字共同决定了模型的行为。传统上,权重被视为高度抽象且难以解读的数据,与人类可读的源代码形成鲜明对比。然而,权重空间编程试图将权重本身作为一种可被模型处理的输入模态,类似于自然语言或代码。这要求模型具备从高维数值模式中提取语义信息的能力,而本次实验正是这一思路的初步验证。

GPT-6 Astra 是 OpenAI 未公开的前沿模型,据称展示了理解其他模型权重的能力。虽然细节未披露,但这一消息暗示了权重空间编程在更大规模模型上的可行性。开放权重模型(如 Qwen)的复现尝试则降低了研究门槛,使更多研究者能够探索权重作为输入的可能性。需要注意的是,此类能力目前仍处于实验阶段,其可靠性和泛化性尚未得到系统验证。

实验细节与局限

Willison 的实验方法很直接:让本地运行的 Qwen 模型仅基于游戏引擎的权重进行猜测。Breakout 的置信度为 88%,Pong 为 75%。

这一结果的意义不在于准确率有多高,而在于模型确实在「读取」权重中的结构信息。正如视频所述:「并非一切成功,但模型显然从权重结构中读取到了某些东西。」

实验结果并非全部成功

局限同样明显:实验仅覆盖少量游戏,且并非所有猜测都成功。但这已足以引发对软件可解释性的重新思考。

对软件可解释性的冲击

代码是可读的、可版本控制的、人类可以理解的。训练权重一直被视为相反的东西。如果另一个模型能够破译它们,那么可读与可写表示的范围就突然扩大了。

Willison 对此持谨慎态度,他表示现在宣布「源代码的终结」还为时过早。这是一个审慎的立场。但我们也确实到达了一个节点:一台笔记本上运行的模型就能走到这一步。

权重可读性范围正在扩大

这个实验所演示的,归根结底是一点:权重不再完全是黑箱。

可解释性(Interpretability) 在 AI 领域通常指理解模型内部决策机制的能力。传统方法包括分析神经元激活、注意力模式或输入输出归因。权重空间编程提供了一种新途径:通过另一个模型直接解读权重,可能绕过对输入输出测试的依赖。然而,这种方法本身也面临可解释性挑战——即我们如何信任“解读模型”的输出?这构成了递归的可解释性问题。Willison 的谨慎态度正源于此:尽管权重不再完全黑箱,但距离透明、可靠的权重理解仍有很长的路要走。

这意味着什么

对于 AI 开发者而言,权重空间编程打开了一扇新门:如果模型能够理解其他模型的权重,那么模型之间的互操作、权重的语义搜索、甚至自动化的模型审计都将成为可能。

对于安全研究者而言,这意味着对模型行为的检查可以不再完全依赖输入输出测试,而可以直接从权重层面进行某种程度的推断。

当然,这一切还处于早期阶段。88% 和 75% 的置信度距离可靠的工具还有距离,实验规模也有限。但方向已经清晰:权重正在从完全不可读向部分可读过渡。

正如视频结尾所强调的,这个实验的核心结论可以归结为一点——模型仅凭权重就能识别出它学到了什么。而这,发生在一台笔记本电脑上。

#权重空间编程#Qwen 3.8 27B#模型权重识别#AI可解释性#本地运行大模型#Simon Willison
分享:

相关推荐