产品GFX1151引擎
GFX1151 Engine
由B站UP主「防暴键盘」开发的自研开源推理引擎,专为AMD AI MAX+ 395平台优化,支持本地部署大型语言模型,针对MoE架构和多种权重格式提供优化支持
时间轴 (近 90 天)
10月5日
GFX1151 Engine是UP主自己编写的推理引擎,支持Windows且已在GitHub上开源
待验证50%
10月5日
GFX1151 Engine在AMD 395上的解码(对话生成)速度为每秒30到40 token,具体取决于投机采样的接受率
待验证50%
10月5日
该框架的预填充速度上限约在900到1000 token,在Windows上资源被抢占后基本徘徊在900左右
待验证50%
10月5日
闭源的Hologen Flash Server(Linux)预填充速度能做到1200到1400 token,优于GFX1151 Engine
待验证50%
10月5日
因显存被占满,若同时将该机器作为Windows办公机正常使用,推理性能会受到很大影响,不适合作为生产力工具
待验证50%
全部知识事实 (5)
待验证
GFX1151 Engine在AMD 395上的解码(对话生成)速度为每秒30到40 token,具体取决于投机采样的接受率
50%待验证该框架的预填充速度上限约在900到1000 token,在Windows上资源被抢占后基本徘徊在900左右
50%待验证闭源的Hologen Flash Server(Linux)预填充速度能做到1200到1400 token,优于GFX1151 Engine
50%待验证因显存被占满,若同时将该机器作为Windows办公机正常使用,推理性能会受到很大影响,不适合作为生产力工具
50%待验证GFX1151 Engine是UP主自己编写的推理引擎,支持Windows且已在GitHub上开源
50%