Models · Data · 合成数据
Cosmopedia
用生成模型合成的教科书、故事与问答文本,结构清楚,适合小模型预训练实验。
| 来源 | Hugging Face |
|---|---|
| 规模 | 约 3,000 万篇 / 25B tokens |
| 语言 | 英文 |
| 格式 | Parquet / JSONL |
| 许可 | Apache-2.0(以数据集卡为准) |
| 商用 | 允许,需保留声明 |
| 获取 | Hugging Face 直接下载 |
| 任务适配 | 合成预训练 / 小模型训练 / 教育内容 |
| 核验日 | 2026-11-19 |
质量与偏差
用生成模型合成的教科书、故事与问答文本,结构清楚,适合小模型预训练实验。
使用边界
合成文本会放大生成模型的偏见与事实错误;不能替代真实网页语料。
第一次使用
先抽 1,000 篇做事实与重复检查,再小比例混入真实语料。
常见坑
把合成数据当真实世界知识;忽略生成模型的许可与风格。
成本
低到中等;文本训练成本可控。
不适合
不适合需要最新事实或长尾真实知识的预训练。
对比与替代
与 UltraChat / OpenHermes 相比更偏预训练长文,不是对话 SFT。
怎么验证
核对版本、token 数与生成模型;抽 50 篇看事实与重复。
下一步
- 打开来源页,下载数据集卡与许可原文,确认版本与获取条件。
- 先抽 100–500 条样本做质量、语言与敏感内容抽检,再决定是否进训练管线。
- 如果用于 RAG 或 SFT,先读 RAG 语料怎么选 / SFT 数据怎么配比。
来源:https://huggingface.co/datasets/HuggingFaceTB/cosmopedia · 核验日 2026-11-19 · 许可以来源页为准