TraceSpec
一种面向LLM智能体投机解码的优化框架,结合动态执行与固定前缀回放,通过状态条件化的前缀感知接受差距估计自适应分配草稿监督预算,以提升草稿模型在关键决策点的接受率。
时间轴 (近 90 天)
TraceSpec团队构建了TraceSpec-Traj数据集,包含10,000个训练状态和2,500个测试状态,覆盖浏览和软件工程两类任务。
对五个投机解码基线的分析发现:聚合接受率可能随上下文长度上升,但在匹配的晚期浏览动作中,接受率实际上在下降。
TraceSpec框架的核心方法是将动态执行与固定前缀回放相结合,在中间助手轮次上进行训练,并利用状态条件化的前缀感知接受差距估计来分配预测预算。
固定前缀回放是一种评估技术:给定智能体交互历史中的某个前缀并固定不变,让草稿模型在相同条件下多次生成后续令牌,统计目标模型的接受情况以消除随机性噪声。
状态条件化的前缀感知接受差距估计指根据当前轨迹状态(如任务类型、轮次、上下文长度)估计草稿模型与目标模型之间的接受差距,并据此动态分配预测预算,向接受差距大、监督需求高的状态倾斜。
在三个目标模型尺寸和两个温度设置下,TraceSpec相比其DSpark基线,将回放吞吐量提升了12.5%至22.6%。
Qwen3-4B上的消融实验显示,自适应分配相比固定的全轮次监督,将接受长度提升了3.3%至10.0%。
TraceSpec的消融实验证实了状态条件化和连续令牌一致性在改善草稿模型连贯性方面的作用。
TraceSpec提供了一套评估资源和轨迹发现,将智能体执行分析与实际的草稿改进连接起来,基于轨迹条件的投机解码优化有望降低推理延迟。
全部知识事实 (9)
TraceSpec团队构建了TraceSpec-Traj数据集,包含10,000个训练状态和2,500个测试状态,覆盖浏览和软件工程两类任务。
50%待验证对五个投机解码基线的分析发现:聚合接受率可能随上下文长度上升,但在匹配的晚期浏览动作中,接受率实际上在下降。
50%待验证TraceSpec框架的核心方法是将动态执行与固定前缀回放相结合,在中间助手轮次上进行训练,并利用状态条件化的前缀感知接受差距估计来分配预测预算。
50%待验证固定前缀回放是一种评估技术:给定智能体交互历史中的某个前缀并固定不变,让草稿模型在相同条件下多次生成后续令牌,统计目标模型的接受情况以消除随机性噪声。
50%待验证状态条件化的前缀感知接受差距估计指根据当前轨迹状态(如任务类型、轮次、上下文长度)估计草稿模型与目标模型之间的接受差距,并据此动态分配预测预算,向接受差距大、监督需求高的状态倾斜。
50%待验证在三个目标模型尺寸和两个温度设置下,TraceSpec相比其DSpark基线,将回放吞吐量提升了12.5%至22.6%。
50%待验证Qwen3-4B上的消融实验显示,自适应分配相比固定的全轮次监督,将接受长度提升了3.3%至10.0%。
50%待验证TraceSpec的消融实验证实了状态条件化和连续令牌一致性在改善草稿模型连贯性方面的作用。
50%待验证TraceSpec提供了一套评估资源和轨迹发现,将智能体执行分析与实际的草稿改进连接起来,基于轨迹条件的投机解码优化有望降低推理延迟。
50%