Models · Data · 预训练语料
DCLM-Baseline
从 Common Crawl 清洗,附 DCLM 过滤模型与消融报告;强调质量过滤,不是单纯扩量。
| 来源 | DataComp-LM / ML Foundations |
|---|---|
| 规模 | 4T tokens(1.0 基线) |
| 语言 | 英文 |
| 格式 | Parquet / JSONL |
| 许可 | CC-BY-4.0(以数据集卡为准) |
| 商用 | 允许,需按许可署名 |
| 获取 | Hugging Face 直接下载 |
| 任务适配 | 预训练 / 数据过滤消融 |
| 核验日 | 2026-11-19 |
质量与偏差
从 Common Crawl 清洗,附 DCLM 过滤模型与消融报告;强调质量过滤,不是单纯扩量。
使用边界
网页语料仍有版权、噪声与重复;过滤模型会带入自身偏差,不能把过滤分当质量真值。
第一次使用
先拉 1–5 GB 抽样,跑语言识别、去重、毒性抽检,再决定是否进训练管线。
常见坑
把 DCLM 分数当通用质量真值;忽略 Common Crawl 的 robots 与来源条款。
成本
全量下载与训练成本高;抽样验证成本低。
不适合
不适合需要逐条授权证明的闭源商用语料。
对比与替代
与 FineWeb 同属网页预训练语料;DCLM 更强调过滤消融,FineWeb 提供教育向子集。
怎么验证
在数据集卡核对 1.0 版本、token 数与许可;抽 100 条看语言与正文质量。
下一步
- 打开来源页,下载数据集卡与许可原文,确认版本与获取条件。
- 先抽 100–500 条样本做质量、语言与敏感内容抽检,再决定是否进训练管线。
- 如果用于 RAG 或 SFT,先读 RAG 语料怎么选 / SFT 数据怎么配比。
来源:https://huggingface.co/datasets/mlfoundations/dclm-baseline-1.0 · 核验日 2026-11-19 · 许可以来源页为准