#LLM
共 127 篇相关文章
开放权重模型API实战：选型要点与OpenAI/Anthropic SDK调用指南
一文讲清开放权重AI模型的三种运行方式、挑选托管API前必查的协议兼容性/精度/价格等指标，并附OpenAI SDK、Anthropic SDK与curl的调用代码示例，助你低成本迁移到开放模型。
HMA多智能体交替框架：破解长程机器学习工程的单体瓶颈
HMA（Humanize MLE Agents）通过多智能体会话交替与上下文重置，突破单智能体长程机器学习工程瓶颈，在MLE-bench上以1/4时间预算达到78.2%的SOTA奖牌率，并展现跨智能体组合的通用性。
LLM能力认知鸿沟正在扩大：我们对AI的理解为何分裂
大语言模型的能力认知正在加速分化，不同使用者对同一工具得出相反结论。本文分析LLM能力认知鸿沟扩大的原因、现实影响及缩小分歧的可能路径。
别让大模型算数：AI评语言，代码算分数
一位开发者在构建德语考试备考平台 ExamReady 时总结出的 LLM 应用原则：让大模型负责语言评判，让代码负责计数、套规则和加总。本文拆解这条分界线为何能带来可复现、可测试、可调试的 AI 评分系统。
LLM能当数据管道侦探吗？一场基准测试实验
开发者 Olga Braginskaya 在 Kaggle 基准测试挑战中探索让大语言模型（LLM）充当数据管道侦探，自动定位数据丢失与异常根因。本文解读其思路、基准测试意义及对数据工程落地的启示。
用FastAPI构建语义缓存代理，削减58%的大模型账单
本文详解如何用FastAPI、Redis向量检索与OpenTelemetry搭建兼容OpenAI的语义缓存代理，通过余弦相似度拦截重复查询、设置按租户token护栏与熔断器，削减高达58%的大模型推理账单。
LLM响应缓存实战：为OpenAI兼容API构建精确匹配缓存
如何在OpenAI兼容API前搭建客户端精确匹配缓存？本文详解缓存键设计、SQLite与Redis存储、流式响应缓存与请求合并，附完整Python代码，帮你降低LLM延迟与成本。
构建模型回退链：何时切换LLM及Python实现指南
如何在同一个 OpenAI 兼容 base URL 下构建 LLM 模型回退链？本文用 Python 详解何时切换模型、哪些错误该回退、哪些该直接抛出，并给出可落地的核心循环代码与测试方法。
多智能体应用遭遇429限流：多Provider故障转移实战
一位开发者用LangGraph构建多智能体辩论应用时屡遭免费LLM API的429限流错误，通过多Provider故障转移链和状态解耦设计解决可靠性难题。本文剖析其工程经验与社区关于router网关与自定义重试的讨论。
有了大语言模型，为什么技术文档还是错的？
大语言模型让写文档变得更容易，但技术文档为何依旧错误频出？本文从代码意图缺失、同步机制薄弱、LLM幻觉等角度分析根源，并提出文档即测试、人机协同等务实解法。
AI交易智能体新思路：让LLM写策略而非做决策
一个AI交易智能体平台将LLM从实时交易员改为策略作者，用自然语言生成可执行量化策略，解决了AI每日决策随机、无法归因改进的痛点，并提供公开不可篡改的业绩记录与GitHub式策略分享。
AI分析海量技术文档：事实抽取、RAG校验与异常检测实战方案
面对数千份、单份达600页的技术交付文档，如何用AI自动核验事实、检测矛盾与重复？本文剖析事实抽取、结构化schema、BM25+向量混合RAG检索及长上下文模型的工程取舍，提供可落地的大规模文档分析方案。
Kernl：压缩LLM对话记忆82.9%的开源Python库
Kernl 是一个开源 Python 包，通过 DSPM 动态语义补丁记忆技术，将 LLM 对话记忆压缩高达 82.9% 且不丢失关键信息。本文解析其技术思路、使用方式与实际应用中的注意事项。
GPT到底怎么工作？用一句话拆解大语言模型黑箱
通过"我最喜欢的摇滚乐队是……"这一句话，拆解GPT等大语言模型的工作原理：从分词、向量嵌入到注意力机制与逐词预测，用可视化方式帮AI初学者理解LLM黑箱。
Praxa：让AI智能体执行从提议到验证可追溯的治理框架
arXiv新论文提出AI智能体执行框架Praxa，通过确定性准入、经纪式执行和外部回读等机制，将智能体从授权到效果的状态转换显式化、可测试化，并以四条证据链诚实呈现能力边界。
个人用LLM单枪匹马造出C编译器Kcc：能引导Linux内核
一位开发者借助大语言模型（LLM），以每月约100美元的成本单人打造出C编译器Kcc，并称其能编译引导Linux内核。本文解析这一AI辅助编程案例的意义与局限。
一条命令搭建本地AI服务器：ODS开源部署LLM/RAG/绘图全攻略
ODS（Osmatic部署系统）是一个Apache 2.0开源项目，一条命令即可在本地部署LLM推理、RAG、图像生成、语音智能体等完整AI技术栈，支持Linux/Windows/macOS。本文解析其功能、端口约定、可信度与实操建议。
如何挑选最佳LLM团队？异质性驱动的模型协同选择框架
一篇arXiv新研究提出异质性驱动的LLM团队选择框架，通过错误去相关和预测行为分歧两个互补信号衡量模型协同效果，将团队组建转化为可优化的组合问题，实验证明其持续优于仅看质量的基线方法。
