#LLM
共 3296 篇相关文章
·6 分钟
无载荷技能攻击：LLM智能体供应链的隐蔽安全威胁
无载荷技能（Payload-Less Skills）是针对LLM智能体供应链的新型攻击手法，无需植入恶意代码即可诱导危险行为。本文深入解析攻击原理、隐蔽性来源，并提供信任机制、运行时监控等实用防御策略。
阅读全文 →
·19 分钟
OpenAI联手博通发布Jalapeño芯片：专为LLM推理打造
OpenAI与博通联合推出定制AI芯片Jalapeño，专为大语言模型推理场景设计，聚焦性能、效率与规模三大目标。本文深度解析其技术逻辑、战略意图，以及对英伟达和整个AI算力格局的深远影响。
阅读全文 →
·7 分钟
Whats-LLM：零基础文科生也能学会的AI编程电子书教程
Whats-LLM是一本专为零基础非技术人群打造的免安装AI编程电子书教程，由美术生转行程序员的作者编写，用通俗语言讲解大语言模型核心概念、Cloud Code和Codex使用方法，内置测验与笔记功能，帮助文科生跨越Vibe Coding的知识鸿沟。
阅读全文 →
·7 分钟
LLM交互的三次范式革命：从网站到桌面应用再到团队成员
深度解析LLM用户交互的三次范式转变：从ChatGPT网页工具到桌面应用，再到自主异步协作的AI团队成员。探讨AI从同步工具进化为持久化团队成员背后的工程挑战与未来工作方式变革。
阅读全文 →
·8 分钟
让LLM更快更轻：重塑稀疏性以适配GPU的实战方案
深入解析Sakana AI与NVIDIA合作的最新研究，通过TwELL稀疏打包格式和定制CUDA内核，将LLM稀疏性转化为真实的GPU加速收益，实现推理训练速度提升超20%、内存占用显著降低。
阅读全文 →
·10 分钟
OpenLLMVTuber：开源AI虚拟人框架深度解析
深度解析GitHub 10K星标开源项目OpenLLMVTuber，一套集成语音识别、大语言模型、语音合成与Live2D角色的AI虚拟人框架，支持语音打断、视觉感知、桌面陪伴等功能，模块化架构可灵活替换各层组件。
阅读全文 →
·8 分钟
GrillMe技能9大失败模式与最佳实践指南
深入解析GrillMe和GrillWithDocs技能的9个常见失败模式，涵盖范围控制、问题保真度、模型选择、并行会话等最佳实践，帮助开发者高效利用AI Agent进行工程规划。
阅读全文 →
·9 分钟
LLM基础设施建设全解析：从GPU集群到推理优化的核心挑战
深入解析LLM基础设施建设的核心挑战与关键技术栈，涵盖GPU集群管理、模型推理优化、分布式训练流程、成本控制与可观测性建设，为技术团队提供系统性的LLM Infra实践指南。
阅读全文 →
·7 分钟
GitHub用LLM推理降低密钥扫描误报率：AI驱动的DevSecOps实践
GitHub在Secret Scanning密钥扫描中引入上下文感知的LLM推理技术，通过代码语义分析、模式识别和多信号融合大幅降低误报率，解决开发者告警疲劳问题，提升安全告警可信度。
阅读全文 →
·12 分钟
OpenAgent：基于LLM+RAG的开源AI个人助手深度解析
深度解析OpenAgent开源AI助手项目，涵盖Computer Use电脑操控、Browser Use浏览器自动化、Coding Agent编程智能体三大核心能力，以及LLM+RAG+Agent Loops技术架构与应用场景。
阅读全文 →
·9 分钟
LLM可观测性与Eval实战：大模型上线后的监控评估全指南
深度解析LLM应用上线后的可观测性、评估体系与实验改进闭环。涵盖OpenTelemetry接入、Trace与Session监控、五种评估信号、四个评估层级，以及数据集驱动的自动化改进飞轮，助力AI Agent生产化落地。
阅读全文 →
·9 分钟
vLLM深度解析：PagedAttention如何实现高吞吐量LLM推理
深入解析vLLM高吞吐量LLM推理引擎的核心技术，包括PagedAttention内存管理、连续批处理机制、分布式部署方案，以及与TensorRT-LLM等方案的对比和适用场景建议。
阅读全文 →
产品体验·8 分钟
WhichLLM：一键检测你的电脑最适合跑哪个本地大模型
WhichLLM 是一款开源工具，能自动检测电脑硬件配置，结合权威评测数据推荐最适合本地运行的大语言模型。支持模拟任意显卡配置、过滤虚假评测、一键下载开聊，帮你告别选模型的纠结。
阅读全文 →
教程攻略·7 分钟
AnythingLLM安装配置教程：本地知识库搭建与API调用指南
详解AnythingLLM本地知识库的安装避坑、Ollama模型配置、文档向量化、知识库召回率优化及API调用方法，帮助你快速搭建私有智能问答系统。
阅读全文 →
教程攻略·10 分钟
Gemini CLI支持任意大模型：EasyLLM CLI开源改造方案详解
深度解析EasyLLM CLI如何改造Gemini CLI，实现支持任意大模型（含本地模型）接入，解决账号门槛、模型锁定、数据安全三大痛点，并提供代码级API集成能力。
阅读全文 →
教程攻略·9 分钟
Claude Agent SDK+LiteLLM+本地大模型：零成本搭建智能体平台
详解如何通过LiteLLM Proxy将Claude Agent SDK的API请求重定向到本地大模型，在保留完整Agent框架能力的同时将推理成本降为零。含架构设计、实战演示与企业级部署方案。
阅读全文 →
行业洞察·6 分钟
NVIDIA Blackwell创下金融LLM推理STAC-AI新纪录
NVIDIA Blackwell架构GPU在金融行业权威基准STAC-AI中刷新LLM推理性能纪录。深入解析Blackwell架构优势、TensorRT-LLM软硬件协同优化策略，以及大语言模型在金融交易情绪分析、风控合规等场景的应用前景。
阅读全文 →
教程攻略·4 分钟
SourceCheck：用引用替代拷贝，构建可验证的LLM可信输出
SourceCheck 是一款开源工具，通过元数据引用协议替代大段拷贝，结合确定性校验与自我修正循环，解决LLM幻觉问题。支持Fact Check与RAG可追溯性，为构建可信LLM输出提供可落地的技术方案。
阅读全文 →
