跳到主要内容Skip to main content

Models · Data · Pretraining corpora

预训练语料

从网页、书籍、代码里洗出来的底座语料;先看许可、去重与语言分布。 这一页收 3 张卡;点进单卡看许可、规模、任务适配与使用边界。

预训练语料

FineWeb

从 96 批 Common Crawl 清洗,附教育向子集 FineWeb-Edu;清洗步骤有公开报告。

规模
15T tokens
许可
ODC-By 1.0
获取
直接下载

网页语料仍有噪声、重复与低质页;训练前要做语言筛选、去重和许可复核。

看数据卡 →
预训练语料

Dolma

AI2 公开的研究语料,定位是给科研提供可复现的对照底座。

规模
3T tokens
许可
ODC-BY 1.0
获取
直接下载

3T 是清洗后的口径;网页来源仍可能含敏感或侵权内容,使用前按用途复核。

看数据卡 →
预训练语料

RedPajama-Data-v2

多语言网页语料,带质量信号与去重标记,适合做多语言预训练基线。

规模
30T tokens(原始)
许可
Apache-2.0
获取
直接下载

30T 是原始规模,清洗后可用量取决于质量筛选;不同语言覆盖不均。

看数据卡 →