跳到主要内容Skip to main content

Models · Data · 指令与 SFT

Tülu 3 SFT Mixture

把多个公开 SFT 集按配方混合,附 Tülu 3 训练报告与消融,适合做可复现的后训练基线。

来源Allen Institute for AI
规模约 100 万+ 指令样本
语言英文为主
格式JSONL / Parquet
许可ODC-BY 1.0(以数据集卡为准)
商用允许,需署名
获取Hugging Face 直接下载
任务适配SFT / 指令跟随 / 多任务混合
核验日2026-11-19

质量与偏差

把多个公开 SFT 集按配方混合,附 Tülu 3 训练报告与消融,适合做可复现的后训练基线。

使用边界

混合配方会带入各源集的风格与偏差;部分子集许可不同,不能只看总卡。

第一次使用

先用官方配方跑一个小模型,记录模板、packing 与评估口径。

常见坑

把混合集当“万能 SFT”;忽略各子集的许可与去重。

成本

中等;全量 SFT 需要多卡。

不适合

不适合需要特定行业术语或中文母语风格的任务,需另配领域数据。

对比与替代

与 OpenHermes / SmolTalk 相比,Tülu 3 的配方与评估报告更完整。

怎么验证

核对配方版本、各子集许可与样本数;抽 100 条看模板一致性。

下一步

  • 打开来源页,下载数据集卡与许可原文,确认版本与获取条件。
  • 先抽 100–500 条样本做质量、语言与敏感内容抽检,再决定是否进训练管线。
  • 如果用于 RAG 或 SFT,先读 RAG 语料怎么选 / SFT 数据怎么配比。
来源:https://huggingface.co/datasets/allenai/tulu-3-sft-mixture · 核验日 2026-11-19 · 许可以来源页为准