跳到主要内容Skip to main content

Models · Data · 预训练语料

RedPajama-Data-v2

多语言网页语料,带质量信号与去重标记,适合做多语言预训练基线。

来源Together AI
规模30T tokens(原始)
语言英 / 德 / 法 / 西 / 意
格式JSONL / Parquet
许可Apache-2.0
商用允许
获取直接下载
任务适配预训练 / 多语言
核验日2026-11-19

质量与偏差

多语言网页语料,带质量信号与去重标记,适合做多语言预训练基线。

使用边界

30T 是原始规模,清洗后可用量取决于质量筛选;不同语言覆盖不均。

下一步

  • 打开来源页,下载数据集卡与许可原文,确认版本与获取条件。
  • 先抽 100–500 条样本做质量、语言与敏感内容抽检,再决定是否进训练管线。
  • 如果用于 RAG 或 SFT,先读 RAG 语料怎么选 / SFT 数据怎么配比。
来源:https://huggingface.co/datasets/togethercomputer/RedPajama-Data-V2 · 核验日 2026-11-19 · 许可以来源页为准