[控场AI]
概念D-Flash2

D-Flash2

一种投机解码方法,作为大模型推理加速的新路径,在Strata中作为可选特性提供

时间轴 (近 90 天)

10月25日

Strata 0.2.4 默认关闭投机解码(D-Flash2),因为官方认为尚无显卡被证明该路径全面更快,仅在终端中手动启用。

待验证50%
9月23日

D-Flash2模式的代码吞吐为50.9 Token/s,长文本处理为25.4 Token/s,思考型短聊场景达到66.6 Token/s

已过期50%
9月23日

D-Flash2在16路并发下总吞吐达到227.6 Token/s,平均每路28.2 Token/s,首Token延迟为4.18秒

已过期50%
9月23日

纯代码高频场景推荐选D-Spark,长文档/推理/多轮对话及多用户并发推荐选D-Flash2

待验证50%

全部知识事实 (2)

来源文章