#FlashAttention
共 132 篇相关文章
·9 分钟
vLLM深度解析：PagedAttention如何实现高吞吐量LLM推理
深入解析vLLM高吞吐量LLM推理引擎的核心技术，包括PagedAttention内存管理、连续批处理机制、分布式部署方案，以及与TensorRT-LLM等方案的对比和适用场景建议。
阅读全文 →
科技前沿·6 分钟
SGLang v0.5.12.post1发布：DeepSeek V4稳定性修复与Blackwell适配
SGLang v0.5.12.post1稳定性补丁详解，包含12项关键修复，涵盖DeepSeek V4乱码与崩溃问题、NIXL PD分离式推理逻辑修复、Blackwell B300架构适配及冷启动性能优化。
阅读全文 →
科技前沿·7 分钟
Step 3.7 Flash：198B稀疏MoE多模态模型深度解析
深度解析StepFun AI发布的Step 3.7 Flash，一款198B参数稀疏MoE视觉语言模型，支持256K上下文与三级推理，在多模态理解、AI编程和Agent工具编排方面表现顶尖，已获SGLang首日支持。
阅读全文 →
科技前沿·6 分钟
LFM2.5-8B-A1B：1.5B激活参数实现4倍体量效果的MoE模型
Liquid AI发布LFM2.5-8B-A1B模型，采用MoE架构，8B总参数仅激活1.5B，在工具调用场景中媲美6B级模型表现。支持128K上下文、本地部署、多语言，SGLang即时支持。
阅读全文 →
产品体验·6 分钟
DeepSeek V4编码实测：榜单第一Kimi翻车，Claude稳居最强
用同一个全栈小游戏任务实测DeepSeek V4、Claude Opus、GPT和Kimi K2.6四大AI编程模型。榜单排名第一的Kimi K2.6全部失败，Claude Opus一次通过。深度解读DeepSeek V4论文核心技术创新与真实编码选型建议。
阅读全文 →
深度解读·5 分钟
DeepSeek V3.2深度解读：DSA稀疏注意力、强化学习与Agent三大突破
深度解析DeepSeek V3.2与V3.2 Special两款新模型，详解DSA稀疏注意力机制如何加速长文本处理、强化学习计算量达预训练10%、1800种环境的Agent任务合成流水线，附实测体验与GPT-5、Gemini 3.0 Pro对比。
阅读全文 →
产品体验·9 分钟
GPT-OSS 120B/20B开源模型深度测评：幻觉、推理、代码全面实测
OpenAI开源GPT-OSS 120B和20B模型全面测评，涵盖幻觉测试、逻辑推理、代码生成、SQL查询、文档分析等多维度实测，附部署方式与选型建议，助你选择最适合的开源大模型。
阅读全文 →
科技前沿·9 分钟
Gemma 4 + DGX Spark：开源大模型与桌面级算力如何改变AI开发
NVIDIA与Google DeepMind联合展示Gemma 4开源模型在DGX Spark桌面平台上的视觉翻译、长上下文问答和实时代码生成能力，解读开源AI与边缘算力融合的产业趋势及开发者实际启示。
阅读全文 →
教程攻略·10 分钟
4-bit QLoRA微调LLaMA 3实战：消费级GPU训练80亿参数大模型指南
详解如何使用QLoRA和Unsloth框架在消费级GPU上微调LLaMA 3 8B大模型。涵盖4-bit量化、LoRA低秩适配、Alpaca数据格式、训练流水线搭建到模型部署的完整流程，RTX 3090即可运行。
阅读全文 →
产品体验·8 分钟
Unsloth：单卡微调大模型，显存省70%的开源神器
Unsloth 是 GitHub 63K+ Star 的开源大模型微调工具，支持 Gemma 4、Qwen 3、DeepSeek 等主流模型。通过显存优化技术，单张 RTX 3090 即可完成微调，训练速度提升2-5倍，附 Web UI 图形界面，零门槛上手。
阅读全文 →
产品体验·12 分钟
Unsloth：本地微调大模型速度提升5倍的开源利器
Unsloth是GitHub 63K+星标的开源大模型微调工具，支持Gemma 4、Qwen 3、DeepSeek等主流模型，通过LoRA/QLoRA技术将训练速度提升2-5倍，显存降低80%，提供Web UI界面让本地微调大模型变得简单高效。
阅读全文 →
产品体验·13 分钟
Unsloth：本地微调大模型速度提升5倍的开源神器
Unsloth 是 GitHub 63000+ Star 的开源大模型训练工具，支持 Gemma 4、Qwen3、DeepSeek 等主流模型的本地微调，提供 Web UI 界面、显存优化和 2-5 倍训练加速，让消费级 GPU 也能跑通模型微调全流程。
阅读全文 →