#模型评估
共 32 篇相关文章
TenetBench：用俄语职业伦理条款测试AI合规性
TenetBench是一个包含3,433个俄语职业伦理条款冲突请求的基准，用于评估LLM是否遵守专业伦理准则。研究发现14种模型组合中11种会生成违规内容，且推理模式可能降低拒绝率。
用LLM做置信度评分，为何是个坏主意？
Hacker News讨论指出，用LLM做置信度评分存在根本缺陷：模型缺乏自知之明，评分校准不佳，且与答案存在循环依赖。本文分析原因并给出更可靠的替代方案，如外部验证与多模型交叉验证。
准确率骗了你：ML Zoomcamp模块4的ROC AUC与交叉验证实战
ML Zoomcamp模块4实战笔记：准确率0.645为何具有欺骗性？通过ROC AUC 0.732、精确率/召回率阈值扫描与5折交叉验证（std 0.007），揭示分类模型的真实表现与求解器陷阱。
ROC-AUC 0.95 却误报泛滥：稀有事件为何要看 PR-AUC
ROC-AUC 0.95 的模型为何仍产生大量误报？本文通过可复现的 Python 示例，对比 ROC-AUC 与 PR-AUC 在稀有事件分类中的差异，解释 Average Precision、精确率、召回率与阈值选择，并给出不平衡数据集的模型评估检查清单。
模型切换别只看平均值：用配对测试揪出隐藏回归
两个模型聚合分数相同不代表切换安全。本文手把手搭建配对测试装置：冻结金标准集、金丝雀审计评分器、精确McNemar检验，用翻转列表揪出被平均值掩盖的回归案例。
模型替换别只看平均分：用配对测试检测真实回归
模型替换平均分相同就可能隐藏真实回归。本文介绍用冻结黄金集、金丝雀审计评分器、精确McNemar配对检验来检测模型切换中的逐例翻转，避免聚合指标掩盖产品级破坏。
LLM裁判有偏见？三个校准步骤让评测可信
LLM-as-a-Judge 存在位置偏见、冗长偏见和自我偏好三类可预测偏差。本文介绍三个修复步骤：交换顺序双重裁判、基于书面评分标准的通过/失败判定、用人工标注和混淆矩阵校验裁判，并提供可复用的 Python 代码。
花朵计数模型压力测试：总数对了，结构错了
开源花朵计数项目 Bloom-Counter 的 99.7% 召回率被证明是生成器与检测器共调的结果。作者用光照与遮挡压力测试暴露真实失败模式：类别降级、碎片误报、成簇少算，并评估白平衡+CLAHE 与面积拆分的实际收益与代价。
盲审实验揭示：评分标准过度依赖首次评分
一次盲审实验发现，当评分者看不到之前的分数时，一致率从1022/1440骤降至749/1440，揭示了评分标准对首次评分的过度依赖。本文探讨锚定效应如何影响AI模型评估，并提供实践建议。
一张调参两张验证：Scribe手写表单识别的诚实调优实验
Scribe 手写表单识别流水线调优实验：用一包数据调参、两包验证，最终完全准确率从 93% 提升到 96%，免审核答案正确率 99.8%，仅 1 个错误逃过审核。核心教训：先修正评分器、观察模型输入、只读实际字段，速度优化不能牺牲答案质量。
构建防泄漏的糖尿病再入院预测模型：10万次就诊的实战指南
用UCI糖尿病数据集构建再入院预测模型的完整流程：按患者分组切分、避免None误判缺失、逐列排查目标泄漏、Pipeline封装预处理，并报告PR-AUC与校准而非仅准确率。
训练了两个ML模型却忘记准确率：一场自嘲背后的AI实践启示
开发者自嘲训练了情感分类和59语种分类模型却忘记准确率、丢失数据集。文章分析个人AI项目烂尾原因，探讨模型文档与复现的重要性，并给出实践改进建议。
6款AI模型测试：谁在编造你的身份？
开发者Mayank Rajput用同一个问题测试六款AI模型，发现gpt-oss五次编造其身份，Claude、Kimi和GLM拒绝回答。实验揭示AI幻觉背后的评分机制问题，并为AI智能体开发者提供验证策略。
LLM构建全流程：为什么多数解读都停在Transformer
多数LLM科普止步于Transformer，但真正决定模型质量的是数据管道、后训练配方、评估体系与系统工程。本文基于斯坦福CS229讲座整理，拆解预训练八步流程、SFT/RLHF/DPO的取舍、评估陷阱，以及为何学术界扎堆的架构并非实际杠杆所在。
知识注入可写性研究：GPT-2 受控实验与生产记忆对比
一项关于大模型知识注入的受控研究，用 GPT-2 2×2 实验对比 Qwen、DeepSeek 生产记忆系统，发现写入成功不等于提问可召回，词面命中率高但严格答案得分为零，并揭示锚定对漂移的抑制作用。
评估分数只有对应其目标时才有用
一个文档证据模型准确率 90%，却漏掉了唯一的关键阳性样本。本文探讨评估目标定义如何决定分数含义，涉及类别不均衡、数据独立性、基线测量和语义兼容性等 AI 评估中的核心陷阱。
Anthropic 更新独立评估者机制：AI 安全评估走向第三方化
Anthropic 更新独立评估者机制，推动 AI 模型安全评估从内部自证走向第三方审计。本文分析独立评估的必要性、访问权限与评估标准等现实难题，以及对 AI 安全生态的潜在影响。
OpenTWBench：台湾知识评测基准揭示评分体系如何左右模型得分
OpenTWBench 发布台湾知识评测基准，包含 tw-exam-bench 与 tw-formosa-bench。研究揭示答案抽取方式可使准确率从20.8%跃至93.9%，系统提示占位符可重排榜单，量化评测装置对模型得分的影响。
