#评测基准

共 7 篇相关文章

B站UP主自制奶蛙Bench，用大笑奶龙表情包实测11个视觉模型：认梗环节仅3个模型识别出奶龙，画梗环节补详细描述或参考图才能到七八十分，暴露AI对网络迷因理解与风格迁移的短板。

MMEnterprise-Bench是面向企业Agent的多模态评测基准，含1,613个问题，覆盖证据推理、冲突消解与不可回答性三类任务。实验显示最强模型在跨来源和时间冲突下仍表现吃力，且增加检索预算并不稳定提升答案准确率。

OpenTWBench 发布台湾知识评测基准，包含 tw-exam-bench 与 tw-formosa-bench。研究揭示答案抽取方式可使准确率从20.8%跃至93.9%，系统提示占位符可重排榜单，量化评测装置对模型得分的影响。

TextVBench 是一套面向视频生成的文字渲染与保留评测基准，将评测重构为多目标时空对应问题，分设 T2V 与 Ref2V 两条赛道。实测显示 MiniMax-H3 在 T2V 取得 68.32 分，而参考文字越多模型表现下滑越明显。

CAD World是首个面向机械CAD长流程工作流的计算机操作智能体基准，包含200个任务覆盖11类工作流。测试显示最强的GPT-5.4成功率仅17.5%，远低于人类专家的87%，暴露了通用AI Agent在专业工程领域的能力短板。

TWIST是一套评估对话记忆系统"干预质量"的新基准，通过四条赛道和硬负样本设计，揭示了传统召回率评测无法发现的高召回与高特异性之间的权衡关系。

Neo-Classic 是一个用于评估大语言模型古典中文诗词语言-美学推理能力的新基准。研究发现 Qwen3-Max、Gemini-3-Pro、DeepSeek-V3.2 等顶尖模型在当代格律诗上性能下滑20%-50%，篇章排序准确率仅0%-13%，暴露全局规划能力短板。