跳到主要内容Skip to main content

Models · Evals

MBPP

入门级 Python 编程

测什么入门级 Python 编程
任务与数据约 1,000 道短题;自然语言描述 + 测试
指标pass@1
污染风险题目公开;部分模型可能在预训练中见过。
复现固定 prompt 格式、执行环境与超时;记录 sanitized 版本。
成本低
快照日2026-11-19
核验日2026-11-19

怎么读

难度低于 HumanEval,适合看基础代码能力是否稳定。

下一步

  • 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
  • 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
  • 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。