跳到主要内容Skip to main content

Models · Data · 预训练语料

FineWeb

从 96 批 Common Crawl 清洗,附教育向子集 FineWeb-Edu;清洗步骤有公开报告。

来源Hugging Face
规模15T tokens
语言英文
格式Parquet / web text
许可ODC-By 1.0
商用允许,需按许可署名
获取直接下载
任务适配预训练
核验日2026-11-19

质量与偏差

从 96 批 Common Crawl 清洗,附教育向子集 FineWeb-Edu;清洗步骤有公开报告。

使用边界

网页语料仍有噪声、重复与低质页;训练前要做语言筛选、去重和许可复核。

下一步

  • 打开来源页,下载数据集卡与许可原文,确认版本与获取条件。
  • 先抽 100–500 条样本做质量、语言与敏感内容抽检,再决定是否进训练管线。
  • 如果用于 RAG 或 SFT,先读 RAG 语料怎么选 / SFT 数据怎么配比。
来源:https://huggingface.co/datasets/HuggingFaceFW/fineweb · 核验日 2026-11-19 · 许可以来源页为准