概念D-Flash2
D-Flash2
一种投机解码方法,作为大模型推理加速的新路径,在Strata中作为可选特性提供
时间轴 (近 90 天)
10月25日
Strata 0.2.4 默认关闭投机解码(D-Flash2),因为官方认为尚无显卡被证明该路径全面更快,仅在终端中手动启用。
待验证50%
9月23日
D-Flash2模式的代码吞吐为50.9 Token/s,长文本处理为25.4 Token/s,思考型短聊场景达到66.6 Token/s
已过期50%
9月23日
D-Flash2在16路并发下总吞吐达到227.6 Token/s,平均每路28.2 Token/s,首Token延迟为4.18秒
已过期50%
9月23日
纯代码高频场景推荐选D-Spark,长文档/推理/多轮对话及多用户并发推荐选D-Flash2
待验证50%