共 1 篇相关文章
DeepSeek投机解码算法(DSpark)已正式合并至vLLM主干代码,原生支持Qwen3、Gemma等主流开源模型。测试显示单用户Token生成速率提升接近150倍,整体吞吐量提升约40%-50%,是开源大模型推理加速的重要里程碑。