基准
MBPP
MBPP(Mostly Basic Python Problems)是一个用于评估代码生成能力的Python编程基准测试集,由Google Research发布。该基准包含数百道面向入门至中级难度的Python编程题目,每道题目配有自然语言描述、参考代码解答及测试用例,主要用于衡量大语言模型在理解编程需求并生成正确Python代码方面的能力,是代码生成领域常用的标准评测基准之一。
MBPP(Mostly Basic Python Problems)是一个用于评估代码生成能力的Python编程基准测试集,由Google Research发布。该基准包含数百道面向入门至中级难度的Python编程题目,每道题目配有自然语言描述、参考代码解答及测试用例,主要用于衡量大语言模型在理解编程需求并生成正确Python代码方面的能力,是代码生成领域常用的标准评测基准之一。