跳到主要内容Skip to main content

Models · Data

数据与训练语料

数据集不是越大越好。先看许可与商用边界,再看规模口径、语言、质量与任务适配;这里收 24 张数据卡,按 8 类放,每张都写清“能做什么、不能做什么”。

24张数据卡
8个类别
5篇选数据指南
使用前先做三件事:核对许可与商用边界;确认规模口径(token / 样本 / 原始网页);把评测集从训练集里剔除。数据卡只做索引与风险提示,不代替法务意见。

预训练语料 3

从网页、书籍、代码里洗出来的底座语料;先看许可、去重与语言分布。

预训练语料

FineWeb

从 96 批 Common Crawl 清洗,附教育向子集 FineWeb-Edu;清洗步骤有公开报告。

规模
15T tokens
许可
ODC-By 1.0
获取
直接下载

网页语料仍有噪声、重复与低质页;训练前要做语言筛选、去重和许可复核。

看数据卡 →
预训练语料

Dolma

AI2 公开的研究语料,定位是给科研提供可复现的对照底座。

规模
3T tokens
许可
ODC-BY 1.0
获取
直接下载

3T 是清洗后的口径;网页来源仍可能含敏感或侵权内容,使用前按用途复核。

看数据卡 →
预训练语料

RedPajama-Data-v2

多语言网页语料,带质量信号与去重标记,适合做多语言预训练基线。

规模
30T tokens(原始)
许可
Apache-2.0
获取
直接下载

30T 是原始规模,清洗后可用量取决于质量筛选;不同语言覆盖不均。

看数据卡 →

指令与 SFT 3

把任务写成指令-回答对,用来教模型按格式做事。

指令与 SFT

OpenAssistant OASST1

人工编写的多轮对话树,带审核与语言标签,适合做对话 SFT 的起点。

规模
约 16.1 万条消息
许可
Apache-2.0
获取
直接下载

社区众包,质量参差;不同语言样本量差异大,直接混合会偏英文。

看数据卡 →
指令与 SFT

Databricks Dolly 15k

Databricks 员工人工编写,覆盖问答、生成、摘要、信息抽取等类别。

规模
1.5 万条指令
许可
CC-BY-SA-4.0
获取
直接下载

CC-BY-SA 有传染性;如果你把数据混进训练集,衍生数据的分发方式要先看许可。

看数据卡 →
指令与 SFT

FLAN Collection

把大量 NLP 任务改写成指令格式,任务覆盖面广,适合做指令微调的对照基线。

规模
约 1,836 个任务 / 1,500 万级样本
许可
Apache-2.0
获取
直接下载

任务模板高度统一,直接拿去训对话模型会显得机械;需要重采样与模板多样化。

看数据卡 →

偏好与 RLHF 3

人类或模型对回答排序,用来做偏好对齐与 DPO。

偏好与 RLHF

Anthropic HH-RLHF

有帮助性与无害性两组人类偏好数据,是 RLHF 早期常用的公开基线。

规模
约 17 万组偏好对比
许可
MIT
获取
直接下载

对话风格与现在的助手产品差异较大;直接拿旧偏好训新模型,可能学到过时的表达。

看数据卡 →
偏好与 RLHF

UltraFeedback

用多个模型生成回答再做细粒度评分,适合做偏好对齐与 DPO 训练。

规模
约 6.4 万条 prompt × 4 个回答
许可
MIT
获取
直接下载

评分由模型产生,会带入评分模型的偏好;用于生产前要抽检偏差。

看数据卡 →
偏好与 RLHF

Nectar

GPT-4 对多个模型回答做 7 档排序,适合研究排序式偏好学习。

规模
约 18.3 万条 prompt,每组 7 个回答
许可
MIT
获取
直接下载

排序由单一模型完成,存在位置偏差与风格偏好;不要当作人类真值。

看数据卡 →

评测集 3

用来量分数的题集;注意污染与版本,不要混进训练。

评测集

MMLU

覆盖 57 个学科的多选题,是模型知识广度的常用基线。

规模
约 1.4 万道测试题 / 57 学科
许可
MIT
获取
直接下载

题目公开已久,污染风险高;分数高不等于会做实际任务。

看数据卡 →
评测集

GSM8K

题目短、答案唯一,适合观察多步算术与推理链是否稳定。

规模
8,500 道小学应用题
许可
MIT
获取
直接下载

难度集中在小学范围;高分不代表能处理真实业务里的表格与多约束问题。

看数据卡 →
评测集

HumanEval

函数级代码生成基准,用单元测试判分,口径清楚。

规模
164 道 Python 函数题
许可
MIT
获取
直接下载

题量小,单一语言;分数波动大,不能单独代表代码能力。

看数据卡 →

RAG 文档 3

检索问答的证据库;质量、更新与权限比 chunk size 更重要。

RAG 文档

Natural Questions

来自真实搜索查询,附 Wikipedia 段落标注,适合做检索与阅读理解的联合评测。

规模
约 30.7 万条真实查询
许可
CC-BY-SA-3.0
获取
直接下载

维基页面会变,旧标注可能对不上;做 RAG 评测要固定快照。

看数据卡 →
RAG 文档

HotpotQA

需要跨两段以上证据才能回答,适合测检索召回与证据拼接。

规模
约 11.3 万条多跳问答
许可
CC-BY-4.0
获取
直接下载

部分问题依赖维基结构;真实文档库的噪声与权限问题它不覆盖。

看数据卡 →
RAG 文档

BEIR

跨领域检索基准集合,适合比较 embedding 与检索策略的泛化。

规模
18 个检索数据集
许可
Apache-2.0
获取
直接下载

各子集许可与领域不同;不要把 18 个分数平均成一个总分。

看数据卡 →

多模态 3

图文、视频与音频对;图像版权随源站,不能默认可商用。

多模态

LAION-5B

大规模图文对,适合研究对比学习与图文检索。

规模
58.5 亿图文对(URL 元数据)
许可
元数据 CC-BY-4.0;图像版权随源站
获取
元数据下载 / 图像需回源

不托管图像;URL 会失效,图像许可与肖像权要逐条核对,不能默认可商用。

看数据卡 →
多模态

DataComp-1B

固定训练预算下比较数据筛选方法,适合做可复现的缩放实验。

规模
约 14 亿图文对
许可
CC-BY-4.0(元数据);图像随源站
获取
直接下载元数据

图像不随数据集重新分发;商用前要核对源站许可与肖像权。

看数据卡 →
多模态

COCO Captions

图像描述的标准基线,标注格式稳定,适合做小规模对照。

规模
约 33 万张图 / 每图 5 条描述
许可
标注 CC-BY-4.0;图像随 Flickr 源站
获取
直接下载

图像来自 Flickr,许可不统一;不能把整个数据集默认成商用可分发。

看数据卡 →

代码与领域 3

代码、医学、法律等专业语料;逐仓/逐篇核对许可。

代码与领域

The Stack

从公开 GitHub 仓库抽取并去重,附许可与仓库元数据。

规模
约 3TB 去重代码 / 300+ 语言
许可
MIT(数据集打包);代码随原仓库
获取
需接受条件后下载

代码许可混杂,含 copyleft 与无许可仓库;训练与分发前必须过滤。

看数据卡 →
代码与领域

StarCoderData

StarCoder 系列所用代码语料,语言覆盖广,附去重与许可过滤记录。

规模
约 2,500 亿代码 token / 80+ 语言
许可
Apache-2.0(数据集打包);代码随原仓库
获取
直接下载

数据集打包许可不等于代码许可;生成代码的许可证继承问题要单独评估。

看数据卡 →
代码与领域

PubMedQA

从 PubMed 摘要构造的是/否/不确定问答,适合做医学文献检索问答的基线。

规模
约 27.3 万条生物医学问答
许可
MIT
获取
直接下载

不是临床指南,不能用于诊断建议;专业用途要另行核对最新文献与监管要求。

看数据卡 →

合成数据 3

模型生成或改写的样本;补长尾,但会放大模型风格与错误。

合成数据

UltraChat 200k

由模型生成的多轮对话, topic 覆盖广,适合做对话 SFT 的合成基线。

规模
约 20 万条多轮对话
许可
MIT
获取
直接下载

合成数据会放大生成模型的风格与错误;要混入人工数据并做去重与质量过滤。

看数据卡 →
合成数据

WizardLM Evol-Instruct

用 Evol-Instruct 把简单指令改写成更深、更复杂版本,适合做指令难度爬坡。

规模
约 7 万条进化指令
许可
Apache-2.0
获取
直接下载

合成指令可能不自然或不可执行;训练前要抽检并去掉重复模板。

看数据卡 →
合成数据

OpenHermes-2.5

混合合成与公开指令数据,覆盖广,是社区常用的 SFT 基线。

规模
约 100 万条对话样本
许可
Apache-2.0
获取
直接下载

来源混合,重复与低质样本多;需按来源分层抽样并做去重。

看数据卡 →

怎么选数据

指南

怎么读一张数据集卡

数据集卡不是广告页。先看许可、规模口径、语言与获取方式,再看它适合什么任务;四件事缺一件,就不要直接拿来做训练。

读指南 →