模型Qwen2.5 7B / 通义千问2.5 7B
Qwen2.5 7B
阿里巴巴通义千问团队发布的70亿参数开源大语言模型，支持128K上下文，采用GQA架构
时间轴 (近 90 天)
10月11日
在配备16GB统一内存的M2 Mac mini上使用4-bit量化的Qwen2.5 7B模型测试，吞吐量从未批处理的16.8 tokens/s跌到批处理后的8.7 tokens/s
待验证50%
阿里巴巴通义千问团队发布的70亿参数开源大语言模型，支持128K上下文，采用GQA架构
在配备16GB统一内存的M2 Mac mini上使用4-bit量化的Qwen2.5 7B模型测试，吞吐量从未批处理的16.8 tokens/s跌到批处理后的8.7 tokens/s