模型AutoRound
Autoround
华为诺亚方舟实验室开源的权重量化算法,通过自适应舍入策略在低比特量化下保持较好的模型质量,在4位量化中精度表现优异
时间轴 (近 90 天)
9月13日
运行Qwen3-Next-Flash(Autoround W4A16量化)时,预填充速度约1.3k tokens/s,生成速度达70 tokens/s(代码)/60 tokens/s(散文),支持128k+长上下文
待验证50%
9月13日
Autoround是华为诺亚方舟实验室开源的权重量化算法,通过自适应舍入策略在低比特下保持更好的模型质量
待验证50%