Flide引擎：精确状态分叉，决策推理提速9.5倍

决策模型（如Jev）正成为LLM智能体系统中极具前景的范式，为快速“系统一”执行提供轻量且可靠的分类推理。然而，现有面向生成的推理引擎无法有效支持这类负载，要么面临严重的预填充重计算开销，要么输出概率失真。针对这一挑战，研究者提出Flide——一种高效且精确的推理引擎，它将决策请求的逻辑树结构与单个扁平化token流中的物理执行解耦。

决策推理的困境：重计算与概率失真

传统LLM推理引擎（如vLLM、SGLang）针对自回归生成优化，其核心假设是请求之间彼此独立、序列单向扩展。但决策模型的工作方式不同：它需要在同一上下文中评估多个分支（例如智能体在每一步面临多个候选动作），形成树状推理结构。若用现有引擎逐一处理每个分支，会导致大量前缀重复计算；若尝试共享前缀，又可能因注意力掩码或状态管理不当而扭曲输出概率，破坏决策的可靠性。

Flide的出发点正是解决这一矛盾：既要保留分支评估的数学精确性，又要消除冗余计算。

预填充重计算：在自回归LLM推理中，预填充阶段负责处理输入提示并构建KV缓存。当多个决策分支共享相同前缀时，若每个分支都独立执行预填充，相同前缀的注意力计算和KV缓存构建会被重复执行，造成显著的算力浪费和延迟增加。分支越多、共享前缀越长，冗余开销越大。

注意力掩码与概率失真：在树状推理中，不同分支的token不应相互关注。若简单地将分支拼接为长序列并共享前缀缓存，必须通过注意力掩码阻止跨分支信息泄漏。掩码设计不当或状态管理错误会使某些查询意外关注到其他分支的token，从而改变softmax归一化结果，导致输出概率偏离真实值。对于依赖概率进行分类或打分的决策模型，这种失真会直接损害决策可靠性。

ForkAttention：在GPU索引中精确分叉

Flide的核心创新是ForkAttention。它不将每个分支视为独立请求，而是把整个决策请求的逻辑树结构编码为GPU驻留的索引，在单个扁平化的token流上执行。对于标准注意力层和循环Gated DeltaNet层，ForkAttention都能根据这些索引导航请求依赖关系，确保每个查询分支的计算结果与孤立前向传播完全一致——用论文的话说，是“保证在精确算术下每个查询分支的评估与隔离前向传播相同”。

这种设计的关键在于：分支拓扑直接表达为GPU元数据，而非通过复制计算图或重新组织批次。因此，引擎可以用一组紧凑的预录制执行图来适配多样的请求混合，同时允许不断扩展的智能体历史从早期传递中保存的检查点恢复，避免从头重算。

Gated DeltaNet层：Gated DeltaNet是一种线性注意力变体，属于循环状态模型家族。它用门控机制控制状态更新，以循环方式维护一个紧凑的隐状态，从而在长序列上实现线性复杂度。与标准注意力不同，它不保留完整的KV缓存，而是按时间步递推更新状态。在树状推理中，每个分支需要独立的循环状态演化，因此ForkAttention必须精确导航分支依赖，确保每个分支的状态更新顺序与隔离前向传播一致。这也是该工作能同时覆盖混合模型（注意力+循环层）的关键。

预录制执行图：CUDA Graph将一系列GPU内核启动录制为静态图，运行时一次性提交，消除逐内核启动的CPU开销。Flide利用紧凑的预录制执行图来适配多样的请求混合，意味着不同树形结构的请求可以映射到少数预编译的计算图上执行，从而在保持低延迟的同时避免为每个请求动态构建计算图的开销。

性能表现：最高9.5倍加速，且更接近浮点参考

在公开的混合模型和决策模型上的广泛评估显示，Flide回答查询的速度比vLLM和SGLang最高快9.5倍，同时在总变差距离（total variation distance）上最接近float32参考。这意味着它不仅在速度上大幅领先，在输出概率的精确性上也优于对比引擎——对于那些依赖概率进行决策的智能体应用，这一点至关重要。

有意思的是，这一加速并非以牺牲精确性为代价。Flide将物理执行吞吐与数学精确性统一起来，为智能体系统中可扩展、延迟敏感的决策智能建立了原则性基础。

总变差距离（Total Variation Distance）：衡量两个概率分布之间差异的指标，定义为两个分布在各事件上概率差绝对值之和的一半，取值范围为[0,1]，0表示完全一致。在评估推理引擎的输出精确性时，以float32高精度前向传播得到的概率分布为参考，计算引擎输出与参考之间的总变差距离。距离越小，说明引擎在有限精度（如fp16/bf16）下执行时对概率的保真度越高。Flide在该指标上最接近float32参考，表明其在加速的同时没有引入额外的概率偏差，这对决策模型的可靠性至关重要。

对智能体系统的意义

决策模型（如Jev）的兴起反映了智能体架构的一种分化：系统一式的快速分类推理与系统二式的深思熟虑生成各司其职。Flide针对前者提供了专用引擎，填补了基础设施层面的空白。随着智能体历史不断增长、分支决策日益频繁，能够精确且高效地分叉状态、复用检查点的推理引擎，将成为构建低延迟智能体应用的关键组件。

从更广的视角看，Flide的思路——将逻辑结构与物理执行解耦、用元数据驱动GPU计算——或许也能启发其他需要树状或图状推理的LLM工作负载，例如思维树（Tree of Thoughts）或并行工具调用。不过，论文目前聚焦于决策模型，这类方法的通用性仍有待进一步验证。