Models · Data · 代码与领域
APPS
包含题面、样例与隐藏测试,适合测“写完能不能过测试”而不是只看相似度。
| 来源 | UC Berkeley |
|---|---|
| 规模 | 10,000 题 |
| 语言 | 英文题面 / Python 代码 |
| 格式 | JSON |
| 许可 | MIT |
| 商用 | 允许,需保留声明 |
| 获取 | Hugging Face 直接下载 |
| 任务适配 | 代码生成 / 单元测试评测 |
| 核验日 | 2026-11-19 |
质量与偏差
包含题面、样例与隐藏测试,适合测“写完能不能过测试”而不是只看相似度。
使用边界
题面与测试公开已久,污染风险高;部分题测试不完整。
第一次使用
固定执行环境与超时,先跑通样例再跑隐藏测试。
常见坑
把 pass@1 当真实工程能力;忽略执行环境差异。
成本
低到中等;需要沙箱执行。
不适合
不适合评估大型仓库级修改。
对比与替代
与 HumanEval / MBPP 相比题更多、测试更完整。
怎么验证
核对 split 与测试用例;抽 10 题本地跑通。
下一步
- 打开来源页,下载数据集卡与许可原文,确认版本与获取条件。
- 先抽 100–500 条样本做质量、语言与敏感内容抽检,再决定是否进训练管线。
- 如果用于 RAG 或 SFT,先读 RAG 语料怎么选 / SFT 数据怎么配比。
来源:https://huggingface.co/datasets/codeparrot/apps · 核验日 2026-11-19 · 许可以来源页为准