预训练语料
FineWeb
从 96 批 Common Crawl 清洗,附教育向子集 FineWeb-Edu;清洗步骤有公开报告。
- 规模
- 15T tokens
- 许可
- ODC-By 1.0
- 获取
- 直接下载
网页语料仍有噪声、重复与低质页;训练前要做语言筛选、去重和许可复核。
看数据卡 →Models · Data · Pretraining corpora
从网页、书籍、代码里洗出来的底座语料;先看许可、去重与语言分布。 这一页收 3 张卡;点进单卡看许可、规模、任务适配与使用边界。
从 96 批 Common Crawl 清洗,附教育向子集 FineWeb-Edu;清洗步骤有公开报告。
网页语料仍有噪声、重复与低质页;训练前要做语言筛选、去重和许可复核。
看数据卡 →AI2 公开的研究语料,定位是给科研提供可复现的对照底座。
3T 是清洗后的口径;网页来源仍可能含敏感或侵权内容,使用前按用途复核。
看数据卡 →多语言网页语料,带质量信号与去重标记,适合做多语言预训练基线。
30T 是原始规模,清洗后可用量取决于质量筛选;不同语言覆盖不均。
看数据卡 →