Models · Data · 指令与 SFT
Tülu 3 SFT Mixture
把多个公开 SFT 集按配方混合,附 Tülu 3 训练报告与消融,适合做可复现的后训练基线。
| 来源 | Allen Institute for AI |
|---|---|
| 规模 | 约 100 万+ 指令样本 |
| 语言 | 英文为主 |
| 格式 | JSONL / Parquet |
| 许可 | ODC-BY 1.0(以数据集卡为准) |
| 商用 | 允许,需署名 |
| 获取 | Hugging Face 直接下载 |
| 任务适配 | SFT / 指令跟随 / 多任务混合 |
| 核验日 | 2026-11-19 |
质量与偏差
把多个公开 SFT 集按配方混合,附 Tülu 3 训练报告与消融,适合做可复现的后训练基线。
使用边界
混合配方会带入各源集的风格与偏差;部分子集许可不同,不能只看总卡。
第一次使用
先用官方配方跑一个小模型,记录模板、packing 与评估口径。
常见坑
把混合集当“万能 SFT”;忽略各子集的许可与去重。
成本
中等;全量 SFT 需要多卡。
不适合
不适合需要特定行业术语或中文母语风格的任务,需另配领域数据。
对比与替代
与 OpenHermes / SmolTalk 相比,Tülu 3 的配方与评估报告更完整。
怎么验证
核对配方版本、各子集许可与样本数;抽 100 条看模板一致性。
下一步
- 打开来源页,下载数据集卡与许可原文,确认版本与获取条件。
- 先抽 100–500 条样本做质量、语言与敏感内容抽检,再决定是否进训练管线。
- 如果用于 RAG 或 SFT,先读 RAG 语料怎么选 / SFT 数据怎么配比。
来源:https://huggingface.co/datasets/allenai/tulu-3-sft-mixture · 核验日 2026-11-19 · 许可以来源页为准