Models · Evals
MBPP
入门级 Python 编程
| 测什么 | 入门级 Python 编程 |
|---|---|
| 任务与数据 | 约 1,000 道短题;自然语言描述 + 测试 |
| 指标 | pass@1 |
| 污染风险 | 题目公开;部分模型可能在预训练中见过。 |
| 复现 | 固定 prompt 格式、执行环境与超时;记录 sanitized 版本。 |
| 成本 | 低 |
| 快照日 | 2026-11-19 |
| 核验日 | 2026-11-19 |
怎么读
难度低于 HumanEval,适合看基础代码能力是否稳定。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/google-research/google-research/tree/master/mbpp · 快照 2026-11-19