#大模型推理加速
共 8 篇相关文章
·6 分钟
D-Flash：扩散草稿让大模型推理提速3.5倍的秘密
D-Flash通过快扩散并行草稿与目标特征KV注入，解决投机解码中自回归Drafter的延迟瓶颈。16个Token仅需6毫秒，HumanEval加速达3.5倍，全面超越EAGLE3和MTP方案。
阅读全文 →
SGLang集成DSpark：置信度驱动推测解码如何破解高并发失效难题
·6 分钟
SGLang集成DSpark：置信度驱动推测解码如何破解高并发失效难题
SGLang正式集成DSpark，通过置信度驱动的变长验证机制解决推测解码在高并发批次下加速失效的核心痛点。支持Qwen3与DeepSeek-V4，B300硬件实测生成速度达383.7 tok/s，全批次范围性能领先MTP与常规推理方案。
阅读全文 →
·8 分钟
Krea 2实测：RTX 3060也能1分钟生成1080P图像
RTX 3060 12GB显卡能跑Krea 2吗？实测1-2分钟生成1080P图像，Krea2 Turbo FP8量化技术让消费级显卡也能高效AI绘图。本文解析技术原理、工作流配置及LoRA/ControlNet生态展望。
阅读全文 →
·17 分钟
LangChain 1.3入门实战：大模型与Agent核心解析
深入解析LangChain 1.3框架核心概念，涵盖大模型三大特点、Agent架构、记忆管理与完整学习路径。掌握LangChain与LangGraph，快速构建AI应用开发能力。
阅读全文 →
·15 分钟
AI编程助手Fable遭削弱？开发者曝路由异常引发热议
一位开发者在X平台质疑AI编程助手Fable被大幅削弱，发现系统将4-10倍token路由至Opus模型，Fable仅完成约20%工作量。本文深度解析多模型路由机制、透明度痛点及AI工具信任危机背后的行业趋势。
阅读全文 →
科技前沿·11 分钟
GLM-5.2登顶全球开源模型榜首：前端编码能力领跑业界
智谱AI发布GLM-5.2模型，在Artificial Analysis Intelligence Index评测中登顶全球开放权重模型榜首，同时被评为顶级前端编码模型。深入解析GLM-5.2的突破性表现与开源模型竞争格局变化。
阅读全文 →
