跳到主要内容Skip to main content

Models · Evals

HumanEval

函数级 Python 代码生成

测什么函数级 Python 代码生成
任务与数据164 道题;给函数签名与 docstring,生成实现
指标pass@1 / pass@k(单元测试通过率)
污染风险题目公开,代码模型可能见过;要看模型发布时间与训练数据声明。
复现固定 temperature、top_p、执行环境与超时;记录 pass@k 的 k。
成本低;本地可执行
快照日2026-11-19
核验日2026-11-19

怎么读

题量小、单一语言;适合做快速对照,不适合单独代表代码能力。

下一步

  • 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
  • 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
  • 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/openai/human-eval · 快照 2026-11-19