DeepGEMM
DeepGEMM是由DeepSeek开发的一款高性能通用矩阵乘法(GEMM)计算库,专为深度学习模型推理与训练场景设计。它针对GPU硬件架构进行了深度优化,支持FP8等低精度数据类型,能够显著提升大规模矩阵运算的计算效率,是AI基础设施底层算子库的典型实现之一。
核心事实
时间轴 (近 90 天)
DeepInfer中昇腾和英伟达是一等公民,TileLang算子两边各30个一一对应,还有DeepGEMM和DeepEP的昇腾版。
v5.20.1 修复了 DeepGEMM Mega MoE 专家并行问题(#49428)。
对于依赖特定 torch 版本或使用 MoE、多模态推理的生产环境,升级前应重点验证 HunYuan-VL 与 DeepGEMM 相关路径。
DeepGEMM是由DeepSeek团队开源的一款GPU矩阵运算(BLAS)内核库,使用CUDA编写
DeepGEMM在GitHub上已获得约8525颗星、1361次Fork,并以单日新增363颗星的速度持续走热
DeepGEMM的核心定位是"clean and efficient"(简洁且高效),将可读性与效率并列作为设计目标
底层内核库的使用门槛较高,通常面向有CUDA开发经验的工程师和研究人员,普通应用开发者更可能通过上层框架间接受益
DeepGEMM对应cuBLAS,负责AI中核心的矩阵乘法计算优化
原始 DeepGEMM 是一个 CUDA 内核库,Ascend 版本为昇腾提供相对熟悉的接口并处理布局与数据移动
六个组件分工:DeepGEMM加速通用矩阵运算,DeepEP负责大规模跨设备通信,TileKernels提供常规向量计算和访存算子,FlashMLA提供稀疏注意力算子,DeepSelect做高效数据筛选
还有 3 条时间轴事件
全部知识事实 (13)
DeepGEMM是DeepSeek专为其MoE模型设计的高性能矩阵乘法库,支持bf16和fp8等低精度格式
65%已验证2025年9月30日,DeepSeek开源了一批底层基础设施组件,包括算子、编程语言、计算库、通信库
65%待验证DeepInfer中昇腾和英伟达是一等公民,TileLang算子两边各30个一一对应,还有DeepGEMM和DeepEP的昇腾版。
50%待验证对于依赖特定 torch 版本或使用 MoE、多模态推理的生产环境,升级前应重点验证 HunYuan-VL 与 DeepGEMM 相关路径。
50%待验证v5.20.1 修复了 DeepGEMM Mega MoE 专家并行问题(#49428)。
50%待验证DeepGEMM是由DeepSeek团队开源的一款GPU矩阵运算(BLAS)内核库,使用CUDA编写
50%待验证DeepGEMM的核心定位是"clean and efficient"(简洁且高效),将可读性与效率并列作为设计目标
50%待验证底层内核库的使用门槛较高,通常面向有CUDA开发经验的工程师和研究人员,普通应用开发者更可能通过上层框架间接受益
50%待验证DeepGEMM对应cuBLAS,负责AI中核心的矩阵乘法计算优化
50%待验证原始 DeepGEMM 是一个 CUDA 内核库,Ascend 版本为昇腾提供相对熟悉的接口并处理布局与数据移动
50%待验证六个组件分工:DeepGEMM加速通用矩阵运算,DeepEP负责大规模跨设备通信,TileKernels提供常规向量计算和访存算子,FlashMLA提供稀疏注意力算子,DeepSelect做高效数据筛选
50%待验证DeepGEMM昇腾版沿用原有API,以Ascend 950系列开发和验证,并要求相应的CANN工具链
50%待验证Kimi K3 支持同时提供 Python 与 Rust 两套前端支持,并接入 DeepGEMM、compressed-tensors 量化检查点及 DSpark AR 融合
50%