HealthBench
HealthBench是由OpenAI发布的医疗领域人工智能基准测试,旨在系统评估AI模型在医疗健康场景中的问答、诊断建议和临床推理等能力。该基准覆盖多类医学专业场景,采用严格的评分机制以衡量模型输出的准确性与安全性,为医疗AI系统的研究与比较提供标准化评测框架。
时间轴 (近 90 天)
在 HealthBench 上,使用 Rubricon 评分标准对 Qwen3.5-9B 进行后训练,性能比使用最强替代合成评分标准生成器 RRD 训练高出 4.5%。
HealthBench 是面向真实医疗对话场景的基准,题目多为开放式咨询,答案没有唯一正确形式。
HealthBench是OpenAI于2025年5月发布的公开评测基准,包含约5000段由多国执业医生撰写的多轮对话式评测集,每段配有医生评分标准。
HealthBench Professional是HealthBench体系中面向专业临床场景的更高难度子集,对话更接近真实医生会诊或专科咨询。
AntAngelMed 在 OpenAI HealthBench 评测中是表现最好的开源模型,尤其在 Hard 子集上优势明显。
HealthBench中,医生先撰写评分标准,OpenAI的GPT-4.1评测器在7个主题中的5个上超过了平均医生水平。
全部知识事实 (7)
此前的HealthBench健康基准测试存在被游戏化的问题:模型给出的答案越长,得分就越高
85%待验证各大AI实验室发现HealthBench的冗长加成漏洞后,纷纷利用这种机制来刷分
75%待验证HealthBench 是面向真实医疗对话场景的基准,题目多为开放式咨询,答案没有唯一正确形式。
50%待验证在 HealthBench 上,使用 Rubricon 评分标准对 Qwen3.5-9B 进行后训练,性能比使用最强替代合成评分标准生成器 RRD 训练高出 4.5%。
50%待验证HealthBench Professional是HealthBench体系中面向专业临床场景的更高难度子集,对话更接近真实医生会诊或专科咨询。
50%待验证HealthBench中,医生先撰写评分标准,OpenAI的GPT-4.1评测器在7个主题中的5个上超过了平均医生水平。
50%待验证HealthBench是OpenAI于2025年5月发布的公开评测基准,包含约5000段由多国执业医生撰写的多轮对话式评测集,每段配有医生评分标准。
50%