Models · Data · 指南
怎么读一张数据集卡
数据集卡不是广告页。先看许可、规模口径、语言与获取方式,再看它适合什么任务;四件事缺一件,就不要直接拿来做训练。
先看许可,不要先看下载量
许可决定你能不能用、能不能改、能不能商用、改了之后要不要同样开放。CC-BY 系列通常要署名;CC-BY-SA 有传染性;ODC-BY 也要署名;Apache-2.0 和 MIT 相对宽松,但仍要看数据集打包许可与原始内容许可是不是两件事。
如果卡片只写“研究用途”或“见原站”,就把它当成未核许可。不要用“别人都在训”来替代许可判断。
再看规模口径:token、样本、还是原始网页
15T token、3T token、30T 原始 token 不是同一口径。token 数受 tokenizer 影响;样本数受去重影响;原始网页量不等于清洗后可训练量。跨数据集比较时,先统一到同一口径,至少写清“清洗前 / 清洗后”。
如果一个数据集只给压缩包大小,不给 token 数,就把它当成规模未知,不要按文件大小推算训练量。
语言、格式与获取方式决定清洗成本
语言覆盖不均会直接改变模型行为。多语言数据集里英文占比高,直接混训会让小语种欠拟合;需要按语言分层采样。格式决定清洗管线:JSONL 比 Parquet 更容易流式处理,URL 元数据要先回源下载。
gated 数据集要接受条件、可能需要账号;不能把“能下载”当成“能重新分发”。
最后看任务适配与偏差说明
预训练语料、SFT 数据、偏好数据、评测集、RAG 文档不是同一类东西。把评测集混进 SFT 会污染分数;把偏好数据当 SFT 会学到排序格式而不是回答。
卡片里的“质量”多是作者自述。找独立复现、去重记录、语言分布和敏感内容过滤说明;找不到就自己在小样本上抽检。