#LLM评测
共 15 篇相关文章
SIT-Eval：对话Agent评测的管道缺口与逐轮评估新范式
SIT-Eval 提出基于情境的逐轮对话Agent评测框架，用情境规则与LLM裁判暴露聚合指标掩盖的模糊澄清、苏格拉底提问等失败模式，并分析其架构、部署形态与安全边界。
KillSwitch：专为搞垮LLM而生的编程语言实测
实测KillSwitch：一门专为对抗LLM设计的编程语言。规格文档含虚假信息，要求变位词调用，基准测试最高仅66.8分。深入分析其设计原理与实测结果。
LLM裁判有偏见？三个校准步骤让评测可信
LLM-as-a-Judge 存在位置偏见、冗长偏见和自我偏好三类可预测偏差。本文介绍三个修复步骤：交换顺序双重裁判、基于书面评分标准的通过/失败判定、用人工标注和混淆矩阵校验裁判，并提供可复用的 Python 代码。
vLLM temperature=0 竟非确定：200条评测23条翻转
vLLM temperature=0 并不保证确定性。连续批处理改变 GPU kernel 归约顺序，浮点加法不满足结合律，200条评测中23条回答翻转。本文解析根因并给出串行化、语义判分、logprob 差距监控等可复现评测方案。
LLM评测基准如何产出可比分数：拆解LFORLA机制
LFORLA的LLM评测基准通过固定提示词、固定评审、按维度评分和公开逐字记录，让不同模型的分数具备可比性。本文拆解其机制，并给出阅读排行榜的实操检查清单。
ClaimScope：不看标签的见证验证，让数学命题审计更可靠
ClaimScope 是一个 72 任务的数学命题审计基准，用标签盲见证检查器验证反例与修复方案。实验显示验证器反馈提升反例接受率至 23/39，但 verdict 准确率基本不变，收益主要来自见证结构修正。
生产环境跑LLM裁判：直播流量评测的成本控制指南
在直播流量上运行LLM-as-a-judge看似昂贵，本文给出九条成本控制原则：全量确定性检查加抽样裁判、确定性抽样、裁判脱离请求路径、独立预算、防提示注入、上线前校准以及把发现转化为测试用例。
LangSmith评估滞后真相：CI通过后如何对账？
LangSmith 评估中延迟 ground truth 如何处理？本文拆解 CI 通过后异步对账的两阶段方案、历史归因难题，以及更新原结果、独立对账 run、外部验证账本三种实践路线的取舍。
测评19款大模型做论文审稿人：参数与价格并不决定成绩
一位开发者测评了19款大语言模型担任机器学习论文审稿人的能力，结果显示参数规模、价格和发布时间都无法预测审稿成绩。Qwen 3 235B满分、GPT-5.4 mini反超GPT-5.5，本文解析其配对样本设计、核心发现与工程踩坑。
我埋了962个错别字测AI改稿，没一个被"修正"——真正翻车的是句子边界
一位开发者在10篇文档里埋入962处错别字测试13个AI模型的逐字引用能力，结果没有一个模型悄悄"修正"错误，真正的失败集中在句子边界判定。本文解析这项诚实基准测试的设计、发现与方法论启示。
大模型时间抽取任务泛化能力评测：单一维度不可靠
arXiv新研究系统评测大语言模型在时间与事件抽取任务中的多维泛化能力，涵盖领域偏移、对抗扰动、组合性与长度增加四个维度，发现归纳式提示最稳定，单一维度无法可靠预测模型泛化表现。
DischargeBench：让LLM学会向病人讲清出院医嘱
arXiv最新研究提出DischargeBench，一个以病人理解为核心的LLM出院教育评测框架。通过人格锚定的虚拟病人模拟和四维评分，揭示大模型在困难病人场景下的覆盖失败与理解鸿沟。
RFCLLM：大模型真能读懂网络协议状态机吗？
arXiv 新论文 RFCLLM 系统评测大语言模型对网络协议状态机（FSM）的推理能力，覆盖 16 种协议、4 类任务、1482 条查询，揭示 LLM 在协议规范理解上的真实边界。
科技前沿IBM Granite 4.1开源模型：21个量化版本SVG生成实测对比
IBM发布Granite 4.1系列开源大模型（Apache 2.0），Unsloth提供21种GGUF量化版本。Simon Willison用鹈鹕SVG测试不同量化级别，发现3B模型在SVG生成上表现一致——都很差，揭示了模型选型的关键启示。
科技前沿IBM Granite 4.1量化测试：21个GGUF版本SVG生成对比实验
IBM Granite 4.1开源模型发布，Unsloth提供21种GGUF量化版本。Simon Willison用鹈鹕骑自行车SVG测试发现：3B小模型中量化级别对生成质量影响微乎其微，最小模型反而画出最好的自行车。