跳到主要内容Skip to main content

Models · Data · 代码与领域

The Stack

从公开 GitHub 仓库抽取并去重,附许可与仓库元数据。

来源BigCode
规模约 3TB 去重代码 / 300+ 语言
语言多语言代码
格式JSONL / Parquet
许可MIT(数据集打包);代码随原仓库
商用需逐仓核对代码许可
获取需接受条件后下载
任务适配代码预训练 / 代码检索
核验日2026-11-19

质量与偏差

从公开 GitHub 仓库抽取并去重,附许可与仓库元数据。

使用边界

代码许可混杂,含 copyleft 与无许可仓库;训练与分发前必须过滤。

下一步

  • 打开来源页,下载数据集卡与许可原文,确认版本与获取条件。
  • 先抽 100–500 条样本做质量、语言与敏感内容抽检,再决定是否进训练管线。
  • 如果用于 RAG 或 SFT,先读 RAG 语料怎么选 / SFT 数据怎么配比。
来源:https://huggingface.co/datasets/bigcode/the-stack · 核验日 2026-11-19 · 许可以来源页为准