概念
DFlash2
vLLM推理框架中的投机解码新实现方案,结合局部卷积和候选选择器两大模块,通过轻量预测与智能筛选的组合机制加速LLM推理
时间轴 (近 90 天)
9月12日
vLLM v0.28.0 在推测解码领域引入了 DFlash2 以及 DSpark 置信度调度验证(confidence-scheduled verification)
待验证50%
9月11日
将概念表示注入DFlash2的草稿模型能将平均接受长度提升4.17%
待验证50%
vLLM推理框架中的投机解码新实现方案,结合局部卷积和候选选择器两大模块,通过轻量预测与智能筛选的组合机制加速LLM推理
vLLM v0.28.0 在推测解码领域引入了 DFlash2 以及 DSpark 置信度调度验证(confidence-scheduled verification)
将概念表示注入DFlash2的草稿模型能将平均接受长度提升4.17%