共 1 篇相关文章
开发者用Triton手写W4A16融合GEMV内核,在RTX 3060上追平bitsandbytes NF4速度,但两者均输给bf16基线。本文解析roofline分析、内核优化陷阱与量化解码的真实性能瓶颈。