Models · Data · 代码与领域
CommitPackFT
从真实 Git 提交中筛出的指令-代码对,覆盖多语言与真实修改场景。
| 来源 | BigCode |
|---|---|
| 规模 | 约 200 万条提交 |
| 语言 | 多语言代码 |
| 格式 | JSONL / Parquet |
| 许可 | BigCode 数据集协议 |
| 商用 | 需按协议核对 |
| 获取 | Hugging Face 直接下载 |
| 任务适配 | 代码 SFT / 提交信息生成 / 代码编辑 |
| 核验日 | 2026-11-19 |
质量与偏差
从真实 Git 提交中筛出的指令-代码对,覆盖多语言与真实修改场景。
使用边界
提交质量参差,含调试残留与许可证不明的代码;需按仓库过滤。
第一次使用
先按语言与许可证过滤,再抽 1,000 条看 diff 与指令是否匹配。
常见坑
把提交当正确修改;忽略仓库许可证与敏感信息。
成本
中等;代码模型训练成本高。
不适合
不适合直接生成专利或闭源代码。
对比与替代
与 The Stack / StarCoderData 相比更偏“修改指令”,不是纯代码语料。
怎么验证
核对协议、语言分布与仓库过滤规则;抽 50 条看 diff。
下一步
- 打开来源页,下载数据集卡与许可原文,确认版本与获取条件。
- 先抽 100–500 条样本做质量、语言与敏感内容抽检,再决定是否进训练管线。
- 如果用于 RAG 或 SFT,先读 RAG 语料怎么选 / SFT 数据怎么配比。
来源:https://huggingface.co/datasets/bigcode/commitpackft · 核验日 2026-11-19 · 许可以来源页为准