Models · Data · 评测集
HumanEval
函数级代码生成基准,用单元测试判分,口径清楚。
| 来源 | OpenAI |
|---|---|
| 规模 | 164 道 Python 函数题 |
| 语言 | 英文 / Python |
| 格式 | JSONL |
| 许可 | MIT |
| 商用 | 允许 |
| 获取 | 直接下载 |
| 任务适配 | 代码生成 |
| 核验日 | 2026-11-19 |
质量与偏差
函数级代码生成基准,用单元测试判分,口径清楚。
使用边界
题量小,单一语言;分数波动大,不能单独代表代码能力。
下一步
- 打开来源页,下载数据集卡与许可原文,确认版本与获取条件。
- 先抽 100–500 条样本做质量、语言与敏感内容抽检,再决定是否进训练管线。
- 如果用于 RAG 或 SFT,先读 RAG 语料怎么选 / SFT 数据怎么配比。
来源:https://github.com/openai/human-eval · 核验日 2026-11-19 · 许可以来源页为准