qwenGPU：把SIMT GPU编译进Qwen3.5-2B的45层权重

把一个 4-lane SIMT GPU 编译成语言模型的权重，这个想法听起来像是对 Transformer 架构的一次"越界"使用：qwenGPU 项目将 GPU 的并行执行逻辑直接编译进 Qwen3.5-2B，形成 45 层未经训练的参数层，并让模型自己写出真实 CUDA 启动的每一个步骤。据 MarkTechPost 报道，这一实验的核心在于用 Gated DeltaNet 的状态同时充当寄存器和内存。

45 层未训练权重里装的是什么

qwenGPU 的做法不是给模型加一个"调用 CUDA"的工具接口，而是把 GPU 的硬件行为本身转化为模型内部的结构。一个 4-lane SIMT GPU 的指令流、线程调度与数据通路被映射为 45 层权重，这些层在初始状态下并未经过训练，却承载着 GPU 的执行语义。

这一点值得注意：传统上，让语言模型"生成代码"与让语言模型"模拟硬件"是两条截然不同的路径。前者依赖模型对 API 的记忆与组合能力，后者要求模型在参数空间中复现状态机的演化。qwenGPU 属于后者，它把 GPU 视作一个可以被压缩进神经网络的确定性系统。

SIMT 是 Single Instruction, Multiple Threads 的缩写，是 NVIDIA GPU 执行模型的核心：多个线程（通常以 32 个为一组，称为 warp）执行同一条指令，但各自操作不同的数据。文中提到的 4-lane SIMT GPU 意味着每个指令周期只有 4 条并行执行通道，规模远小于真实 GPU，因此更容易被完整映射进神经网络的层结构中。SIMT 与 CPU 的 SIMD（单指令多数据）不同，它强调线程级并行而非单纯的向量宽度，并且每个线程拥有独立的寄存器和程序计数器。理解这一点是理解 qwenGPU 的关键：把 SIMT 的执行语义编码进权重，意味着模型需要隐式地表征线程调度、分支发散和掩码等机制。

Qwen3.5-2B 是通义千问^广告系列的轻量级模型，约 20 亿参数，通常用于端侧或资源受限场景。选择这一规模做硬件模拟实验，一方面是因为参数量小便于控制变量，另一方面也说明该实验并非追求性能，而是验证架构可行性。45 层未训练权重意味着这些参数没有经过梯度下降来拟合真实 GPU 行为，因此它们目前承载的是人为设计的结构性先验，而非从数据中学到的执行逻辑。

Gated DeltaNet 状态即寄存器与内存

这个实验最具技术含量的设计，是用 Gated DeltaNet 的状态同时承担寄存器和内存的角色。在真实 GPU 中，寄存器是执行单元最快的存储，内存则是容量更大但延迟更高的层级；而 Gated DeltaNet 的状态更新机制天然带有"读写"与"保持"的语义，恰好可以对应这两类存储行为。

换句话说，模型的前向传播过程不再只是特征变换，而是在模拟一次 GPU 内核的执行轨迹。每一层对应 GPU 执行流中的一个阶段，状态在层与层之间传递，就像数据在寄存器和内存之间流动。这种映射让"模型推理"与"硬件执行"在形式上产生了同构关系。

Gated DeltaNet 是一类带门控机制的线性注意力/状态空间模型结构，其核心是一个在序列维度上递归更新的状态矩阵。与标准注意力机制需要保留所有历史键值不同，DeltaNet 通过 delta 规则（一种基于误差修正的更新方式）压缩历史信息，并用门控控制写入强度。这种"读-改-写"的状态更新过程与计算机存储的语义高度相似：状态向量可以被读取用于计算，被修改以写入新信息，并在多个时间步之间保持。正是这一特性让 qwenGPU 能用一个状态同时充当寄存器和内存——寄存器体现为快速、频繁更新的短期状态，内存体现为容量更大、保持时间更长的长期状态。

在传统 Transformer 中，注意力机制没有显式的持久状态，每层的信息传递依赖上下文窗口；而 Gated DeltaNet 的递归状态天然具备"执行轨迹"的连续性，更贴近硬件状态机的演化方式。这也解释了文章为何认为状态空间结构可能比注意力机制更适合承载硬件状态。

模型自己写 CUDA 启动的每一步

qwenGPU 的另一项主张是：模型自己写出了真实 CUDA 启动的每一个步骤。这与"模型输出一段 CUDA 代码"有本质区别——前者强调的是执行步骤的逐项生成与组织，后者只是文本层面的代码合成。

从工程角度看，这意味着模型的输出需要与 GPU 的实际启动流程严格对齐，包括内核配置、线程块划分、状态初始化等环节。虽然原始信息没有披露具体的验证方式与成功率，但这一方向暗示了一种新的可能性：用语言模型的参数来承载对硬件执行流程的完整描述，而不是依赖外部编译器或运行时。

与常规代码生成路线的差异

常规的 AI 编程助手在生成 CUDA 时，本质上是把训练语料中的代码模式迁移到新任务上，模型并不"理解"GPU 内部发生了什么。qwenGPU 试图绕开这层中介，把 GPU 的执行语义直接编码进权重。这种思路如果成立，模型对硬件行为的建模将不再依赖文本描述，而是依赖结构性的参数映射。

不过，45 层未训练权重这一事实也说明，当前阶段更像是一个架构层面的概念验证，而非可直接使用的推理系统。未训练意味着这些层尚未经过梯度优化来拟合真实 GPU 行为，其实际执行保真度仍需进一步验证。

CUDA 启动流程指从主机端调用内核到 GPU 实际执行之间的完整步骤，通常包括：选择设备与流、配置内核参数、设定网格与线程块维度、分配与初始化设备内存、将内核函数加载到设备、以及最终触发执行。在常规编程中，这些步骤由 CUDA 运行时 API（如 cudaLaunchKernel）和编译器协作完成。qwenGPU 声称模型自己写出这些步骤，意味着模型输出需要精确对应这一连串配置与状态初始化动作，而非仅仅生成内核函数体的源码。

与文本代码生成相比，执行步骤的逐项生成要求模型对 CUDA 的运行时语义有结构化理解，包括线程块划分与寄存器压力的关系、共享内存的分配时机等。这也是为什么文章强调两者有本质区别：代码生成只要求语法和模式匹配，而执行步骤生成要求模型在参数空间中复现一个确定性的启动状态机。

这项实验意味着什么

把硬件编译进模型权重的思路，触及了 AI 系统与底层计算资源关系的一个根本问题：模型能否成为计算设备的"内生表示"，而不仅仅是运行在设备之上的软件。qwenGPU 给出的答案尚在早期，但它至少展示了三个值得跟踪的方向。

其一，模型权重的语义边界被拓宽。权重不再只表示语言统计规律，也可以表示确定性的执行逻辑。其二，Gated DeltaNet 这类状态空间结构在"模拟"任务上的潜力被重新审视，其状态保持能力可能比注意力机制更适合承载硬件状态。其三，CUDA 启动流程的逐项生成，为模型与 GPU 之间的接口设计提供了新范式。

对于关注 AI 编程与底层系统交叉领域的开发者来说，qwenGPU 更像是一个提问而非结论：当模型可以模拟 GPU 的执行，编译器和运行时的角色会被如何重新定义？这个问题的答案，可能比 45 层权重本身更有价值。