Models · Data · 代码与领域
StarCoderData
StarCoder 系列所用代码语料,语言覆盖广,附去重与许可过滤记录。
| 来源 | BigCode |
|---|---|
| 规模 | 约 2,500 亿代码 token / 80+ 语言 |
| 语言 | 多语言代码 |
| 格式 | JSONL |
| 许可 | Apache-2.0(数据集打包);代码随原仓库 |
| 商用 | 需逐仓核对代码许可 |
| 获取 | 直接下载 |
| 任务适配 | 代码预训练 / 代码补全 |
| 核验日 | 2026-11-19 |
质量与偏差
StarCoder 系列所用代码语料,语言覆盖广,附去重与许可过滤记录。
使用边界
数据集打包许可不等于代码许可;生成代码的许可证继承问题要单独评估。
下一步
- 打开来源页,下载数据集卡与许可原文,确认版本与获取条件。
- 先抽 100–500 条样本做质量、语言与敏感内容抽检,再决定是否进训练管线。
- 如果用于 RAG 或 SFT,先读 RAG 语料怎么选 / SFT 数据怎么配比。
来源:https://huggingface.co/datasets/bigcode/starcoderdata · 核验日 2026-11-19 · 许可以来源页为准