#LLM工程

共 6 篇相关文章

免费模型端点常出现JSON格式漂移、超时和token计量异常。本文介绍如何用契约测试台替代排行榜截图，通过固定fixture、控制变量和失败分类计数，判断端点能否成为稳定依赖。

免费LLM API返回HTTP 429时如何排查？本文区分RPM、TPM、RPD与并发四种限流，给出指数退避、多供应商故障转移、按限制形状路由的实战方法，并介绍开源自托管路由FreeLLMAPI。

如何用 n8n 和 Python 构建多模型故障转移路由，实现零停机 AI 工作流。覆盖四种故障模式、优先级列表、冷却机制与输出校验器的完整实现，附代码示例与常见踩坑指南。

LLM流式请求被中断后重发整个prompt等于重复付费。本文介绍一种轻量运维习惯：用token游标断点续写，中断后只续写剩余部分，并区分输入与输出成本、幂等副作用及适用边界，有效避免重复token开销。

手把手教你用 Node.js 构建带人工审批的客服邮件分流 AI Agent：让模型只负责分类起草、执行器只运行已批准操作，通过审批队列、幂等键和陈旧检查守住退款、改账户等不可逆操作的安全底线。

深入解析构建生产级RAG系统的四大核心杠杆：检索前后处理、文档分块、嵌入与向量库调优、以及效果评估。涵盖查询改写、HyDE、重排序、混合检索等实用工程技巧。