LLM评估
针对大语言模型在特定任务或业务场景下的性能评测方法论，包括评估指标定义、数据集构建、离线/在线评估及持续监控等环节
核心事实
时间轴 (近 90 天)
最终词典由一个能力更强的LLM评估，并通过Cohen's κ与人类专家标注进行校准。
该交互式笔记项目覆盖了RLHF、Transformer注意力机制、LoRA和LLM评估四个主题。
自定义LLM评估中，保持二元选项（通过/失败）通常优于1-5分制，因为LLM处理细粒度区分很差。
在LLM评估中，比较8.3和8.7这类0.1分精度的差异属于噪声，没有意义。
LLM评估分数的可用分辨率大约是0.5分，不是0.1分。
“9分段”和“7分段”之间的差异在LLM评估中有意义，小数点后的数字没有意义。
LLM评估工程上通常借助RAGAS、DeepEval等框架，结合人工标注或用另一个LLM充当裁判来打分
LLM评估解决的核心问题是当模型输出是开放式自然语言时如何系统衡量其质量，常见维度包括准确性、忠实度、相关性和安全性
AI评估对象分为大语言模型评估、知识库（RAG）评估、智能体（Agent）评估三层，且呈知识度和复杂度递增的递进关系
全部知识事实 (10)
AI评估对象分为大语言模型评估、知识库（RAG）评估、智能体（Agent）评估三层，且呈知识度和复杂度递增的递进关系
80%已验证当前主流的LLM评估方法包括基于参考答案的指标（如BLEU、ROUGE）、基于模型的评估（LLM-as-a-Judge）和基于人类偏好的评估（如Chatbot Arena的ELO评分）
75%待验证最终词典由一个能力更强的LLM评估，并通过Cohen's κ与人类专家标注进行校准。
50%待验证该交互式笔记项目覆盖了RLHF、Transformer注意力机制、LoRA和LLM评估四个主题。
50%待验证自定义LLM评估中，保持二元选项（通过/失败）通常优于1-5分制，因为LLM处理细粒度区分很差。
50%待验证在LLM评估中，比较8.3和8.7这类0.1分精度的差异属于噪声，没有意义。
50%待验证“9分段”和“7分段”之间的差异在LLM评估中有意义，小数点后的数字没有意义。
50%待验证LLM评估分数的可用分辨率大约是0.5分，不是0.1分。
50%待验证LLM评估工程上通常借助RAGAS、DeepEval等框架，结合人工标注或用另一个LLM充当裁判来打分
50%待验证LLM评估解决的核心问题是当模型输出是开放式自然语言时如何系统衡量其质量，常见维度包括准确性、忠实度、相关性和安全性
50%