跳到主要内容Skip to main content

Models · Data · 代码与领域

CommitPackFT

从真实 Git 提交中筛出的指令-代码对,覆盖多语言与真实修改场景。

来源BigCode
规模约 200 万条提交
语言多语言代码
格式JSONL / Parquet
许可BigCode 数据集协议
商用需按协议核对
获取Hugging Face 直接下载
任务适配代码 SFT / 提交信息生成 / 代码编辑
核验日2026-11-19

质量与偏差

从真实 Git 提交中筛出的指令-代码对,覆盖多语言与真实修改场景。

使用边界

提交质量参差,含调试残留与许可证不明的代码;需按仓库过滤。

第一次使用

先按语言与许可证过滤,再抽 1,000 条看 diff 与指令是否匹配。

常见坑

把提交当正确修改;忽略仓库许可证与敏感信息。

成本

中等;代码模型训练成本高。

不适合

不适合直接生成专利或闭源代码。

对比与替代

与 The Stack / StarCoderData 相比更偏“修改指令”,不是纯代码语料。

怎么验证

核对协议、语言分布与仓库过滤规则;抽 50 条看 diff。

下一步

  • 打开来源页,下载数据集卡与许可原文,确认版本与获取条件。
  • 先抽 100–500 条样本做质量、语言与敏感内容抽检,再决定是否进训练管线。
  • 如果用于 RAG 或 SFT,先读 RAG 语料怎么选 / SFT 数据怎么配比。
来源:https://huggingface.co/datasets/bigcode/commitpackft · 核验日 2026-11-19 · 许可以来源页为准