基准Pelican Test / Pelican Benchmark
鹈鹕测试
一种大语言模型评测方法,要求模型生成代码绘制骑自行车的鹈鹕图像,综合考察模型的空间理解、生物知识、机械结构认知与代码生成能力
时间轴 (近 90 天)
9月27日
鹈鹕测试属于代码生成加视觉推理的复合型评测,通常使用Python配合matplotlib、turtle或SVG等绘图库
待验证50%
9月27日
极简模式第一次测试的结果代码把某些元素写到了不合理位置,整体能跑通但细节处理不精致
已过期50%
9月27日
做纯能力评测时建议关闭搜索,以免结果被外部信息干扰
待验证50%
9月27日
无论哪种模式,鹈鹕与自行车之间的肢体接触、车轮结构等复杂空间关系细节都容易出错
待验证50%
9月8日
「画一只骑自行车的鹈鹕」测试最初由开发者Simon Willison提出,用来评估大语言模型和图像生成模型的能力边界
待验证60%