评测集

没有评测集的“实验”容易沦为凭感觉选型，实验应记录完整配置与输出以保证可复现。

对概率输出的AI产品，建立小规模（几十到几百条）但覆盖核心场景的稳定评测集，比盲目追求更大模型更能驱动迭代。

设计评测集、幻觉检测、构建回归测试监控模型行为等技能在工程团队里极度稀缺。

Judge驱动的质量闭环包含五个步骤：用人工标注校准Judge、标记低分输出、确认真实失败、加入评测集、修复并重跑。

OpenAI此次同时构建评测集和优化模型，旨在打破低资源语言缺乏基准的恶性循环，让改进有据可依。

PM的Prompt修改必须先在评测集上跑过才能上线，包括几次完整的Agent运行，以检测工具选择偏移。

给工程师的建议是：在调优任何RAG参数之前，先写好评测集，利用律所团队已手工完成的研究成果作为基准，测量精确率和召回率并加入遗漏案例审计

很多团队使用标准评测集时只关心模型能否答对，而不关心答案在上下文中的位置，这是生产环境中出问题的高发地带。

检索和生成必须分开测试，通过建立小型评估集，先单独检查检索器有没有召回正确证据，再去评估模型措辞。