测试集
完全隔离的数据子集，用于评估模型在未见数据上的真实表现，是衡量模型泛化能力的最终标准
核心事实
时间轴 (近 90 天)
测试集每个样本需要明确的期望输出或评分标准，可以是精确匹配、关键信息包含或由另一个LLM按评分标准打分（LLM-as-judge）
初期50-100个高质量样本就能暴露大部分回归问题
评估的第一步是收集一组有代表性的输入-输出对，覆盖核心功能路径、常见边缘场景和已知的历史故障案例
测试集应来自真实匿名化消息，包括 Hinglish 和语音转写文本，断言每一条价格相关消息都会触发升级；每次修改分类器或提示词都要重跑这套测试。
如果两个模型在所有用例上都通过，测试集再大也提供不了关于两者差异的信息。
RAG场景中的测试集通常需要覆盖三类情况：正常问题（验证基本能力）、边界问题（如多跳推理、需要跨文档综合的问题）、对抗性问题（如检索源中本就缺少答案、或存在干扰文档的情况）；后两类最容易暴露检索与生成的协同缺陷。
训练视觉模型需要将数据划分为训练集、验证集和测试集：训练集用于更新模型参数，验证集用于调参和选择模型版本，测试集用于评估模型在未见数据上的真实表现。
评估模型时通常将数据分为训练集和测试集，用测试集衡量真实的泛化水平。
正确做法是在独立验证集上完成所有超参数选择后，仅在测试集上运行一次最终评测，且无论好坏均予以报告
在仅有一百个场景的小测试集上，不同运行之间的分数可能摆动好几个百分点，应在完整数据集上评判
全部知识事实 (10)
评估模型时通常将数据分为训练集和测试集，用测试集衡量真实的泛化水平。
75%待验证如果两个模型在所有用例上都通过，测试集再大也提供不了关于两者差异的信息。
60%待验证测试集每个样本需要明确的期望输出或评分标准，可以是精确匹配、关键信息包含或由另一个LLM按评分标准打分（LLM-as-judge）
50%待验证评估的第一步是收集一组有代表性的输入-输出对，覆盖核心功能路径、常见边缘场景和已知的历史故障案例
50%待验证初期50-100个高质量样本就能暴露大部分回归问题
50%待验证测试集应来自真实匿名化消息，包括 Hinglish 和语音转写文本，断言每一条价格相关消息都会触发升级；每次修改分类器或提示词都要重跑这套测试。
50%待验证RAG场景中的测试集通常需要覆盖三类情况：正常问题（验证基本能力）、边界问题（如多跳推理、需要跨文档综合的问题）、对抗性问题（如检索源中本就缺少答案、或存在干扰文档的情况）；后两类最容易暴露检索与生成的协同缺陷。
50%待验证训练视觉模型需要将数据划分为训练集、验证集和测试集：训练集用于更新模型参数，验证集用于调参和选择模型版本，测试集用于评估模型在未见数据上的真实表现。
50%待验证正确做法是在独立验证集上完成所有超参数选择后，仅在测试集上运行一次最终评测，且无论好坏均予以报告
50%待验证在仅有一百个场景的小测试集上，不同运行之间的分数可能摆动好几个百分点，应在完整数据集上评判
50%