基准
MedQA
用于临床医疗问答的AI评测基准,引入执照医师参与标注与审核,考察模型在医疗知识与临床决策场景下的表现
时间轴 (近 90 天)
10月16日
健康基准测试通常指用标准化医学问答数据集(如MedQA、PubMedQA等)评估模型医学知识水平,指标以准确率为主;这类测试默认模型应尽量给出答案,但Tabibu的安全层会主动拒绝诊断等,导致大量本可答对的问题被安全回退拦截。
待验证50%
9月24日
COMED在MedQA医学问答基准上的提升最高达到+10.7个百分点
待验证50%
9月24日
MedQA是基于美国执业医师资格考试(USMLE)题库构建的多选题问答基准
待验证50%
9月23日
MedQA和MultiMedBench均引入执照医师参与标注与审核,是expert-informed设计模式在医疗AI评测领域的先例
待验证50%