#LLM测试

共 4 篇相关文章

免费模型评测前先跑A/A测试：用同一提示词重复调用，测量模型自一致性（modal_share），区分采样噪声与真实回归，避免单次运行造成的错误判断。附Python探针脚本与分诊表。

AI Agent每次输出都不同，传统单元测试彻底失效。本文提出用行为约束取代输出匹配，通过结构契约、护栏断言和LLM-as-Judge三层测试金字塔，让非确定性Agent变得可部署、可衡量。

如何测试调用大语言模型的代码？本文详解如何在 pytest 中 Mock OpenAI 客户端，构建快速、确定、免费的单元测试，涵盖 fake 客户端、重试、JSON 解析、流式响应与线上冒烟测试的完整实战方案。

一则Reddit招募帖寻找10-20人参与4小时协调式LLM并发测试，采用OpenAI兼容接口。本文解析这类同时集中测试背后的并发压力验证逻辑、技术信号及参与注意事项。