FineWeb
从 96 批 Common Crawl 清洗,附教育向子集 FineWeb-Edu;清洗步骤有公开报告。
- 规模
- 15T tokens
- 许可
- ODC-By 1.0
- 获取
- 直接下载
网页语料仍有噪声、重复与低质页;训练前要做语言筛选、去重和许可复核。
看数据卡 →Models · Data
数据集不是越大越好。先看许可与商用边界,再看规模口径、语言、质量与任务适配;这里收 24 张数据卡,按 8 类放,每张都写清“能做什么、不能做什么”。
从网页、书籍、代码里洗出来的底座语料;先看许可、去重与语言分布。
从 96 批 Common Crawl 清洗,附教育向子集 FineWeb-Edu;清洗步骤有公开报告。
网页语料仍有噪声、重复与低质页;训练前要做语言筛选、去重和许可复核。
看数据卡 →AI2 公开的研究语料,定位是给科研提供可复现的对照底座。
3T 是清洗后的口径;网页来源仍可能含敏感或侵权内容,使用前按用途复核。
看数据卡 →多语言网页语料,带质量信号与去重标记,适合做多语言预训练基线。
30T 是原始规模,清洗后可用量取决于质量筛选;不同语言覆盖不均。
看数据卡 →把任务写成指令-回答对,用来教模型按格式做事。
人工编写的多轮对话树,带审核与语言标签,适合做对话 SFT 的起点。
社区众包,质量参差;不同语言样本量差异大,直接混合会偏英文。
看数据卡 →Databricks 员工人工编写,覆盖问答、生成、摘要、信息抽取等类别。
CC-BY-SA 有传染性;如果你把数据混进训练集,衍生数据的分发方式要先看许可。
看数据卡 →把大量 NLP 任务改写成指令格式,任务覆盖面广,适合做指令微调的对照基线。
任务模板高度统一,直接拿去训对话模型会显得机械;需要重采样与模板多样化。
看数据卡 →人类或模型对回答排序,用来做偏好对齐与 DPO。
有帮助性与无害性两组人类偏好数据,是 RLHF 早期常用的公开基线。
对话风格与现在的助手产品差异较大;直接拿旧偏好训新模型,可能学到过时的表达。
看数据卡 →用多个模型生成回答再做细粒度评分,适合做偏好对齐与 DPO 训练。
评分由模型产生,会带入评分模型的偏好;用于生产前要抽检偏差。
看数据卡 →GPT-4 对多个模型回答做 7 档排序,适合研究排序式偏好学习。
排序由单一模型完成,存在位置偏差与风格偏好;不要当作人类真值。
看数据卡 →用来量分数的题集;注意污染与版本,不要混进训练。
覆盖 57 个学科的多选题,是模型知识广度的常用基线。
题目公开已久,污染风险高;分数高不等于会做实际任务。
看数据卡 →题目短、答案唯一,适合观察多步算术与推理链是否稳定。
难度集中在小学范围;高分不代表能处理真实业务里的表格与多约束问题。
看数据卡 →函数级代码生成基准,用单元测试判分,口径清楚。
题量小,单一语言;分数波动大,不能单独代表代码能力。
看数据卡 →检索问答的证据库;质量、更新与权限比 chunk size 更重要。
来自真实搜索查询,附 Wikipedia 段落标注,适合做检索与阅读理解的联合评测。
维基页面会变,旧标注可能对不上;做 RAG 评测要固定快照。
看数据卡 →需要跨两段以上证据才能回答,适合测检索召回与证据拼接。
部分问题依赖维基结构;真实文档库的噪声与权限问题它不覆盖。
看数据卡 →跨领域检索基准集合,适合比较 embedding 与检索策略的泛化。
各子集许可与领域不同;不要把 18 个分数平均成一个总分。
看数据卡 →图文、视频与音频对;图像版权随源站,不能默认可商用。
大规模图文对,适合研究对比学习与图文检索。
不托管图像;URL 会失效,图像许可与肖像权要逐条核对,不能默认可商用。
看数据卡 →固定训练预算下比较数据筛选方法,适合做可复现的缩放实验。
图像不随数据集重新分发;商用前要核对源站许可与肖像权。
看数据卡 →图像描述的标准基线,标注格式稳定,适合做小规模对照。
图像来自 Flickr,许可不统一;不能把整个数据集默认成商用可分发。
看数据卡 →代码、医学、法律等专业语料;逐仓/逐篇核对许可。
从公开 GitHub 仓库抽取并去重,附许可与仓库元数据。
代码许可混杂,含 copyleft 与无许可仓库;训练与分发前必须过滤。
看数据卡 →StarCoder 系列所用代码语料,语言覆盖广,附去重与许可过滤记录。
数据集打包许可不等于代码许可;生成代码的许可证继承问题要单独评估。
看数据卡 →从 PubMed 摘要构造的是/否/不确定问答,适合做医学文献检索问答的基线。
不是临床指南,不能用于诊断建议;专业用途要另行核对最新文献与监管要求。
看数据卡 →模型生成或改写的样本;补长尾,但会放大模型风格与错误。
由模型生成的多轮对话, topic 覆盖广,适合做对话 SFT 的合成基线。
合成数据会放大生成模型的风格与错误;要混入人工数据并做去重与质量过滤。
看数据卡 →用 Evol-Instruct 把简单指令改写成更深、更复杂版本,适合做指令难度爬坡。
合成指令可能不自然或不可执行;训练前要抽检并去掉重复模板。
看数据卡 →混合合成与公开指令数据,覆盖广,是社区常用的 SFT 基线。
来源混合,重复与低质样本多;需按来源分层抽样并做去重。
看数据卡 →数据集卡不是广告页。先看许可、规模口径、语言与获取方式,再看它适合什么任务;四件事缺一件,就不要直接拿来做训练。
读指南 →数据集许可、原始内容许可、模型产出许可,是三层不同的权利。数据集卡写“Apache-2.0”不代表里面的图片、代码、网页文本都能商用。
读指南 →RAG 的语料不是“越多越好”。先写清用户会问什么、答案应该来自哪类文档、文档会不会更新,再决定收什么、切多大、怎么评。
读指南 →SFT 不是把能找到的指令数据全混在一起。先定你要模型学会哪几种行为,再按行为分层配比,最后用留出集检查有没有学偏。
读指南 →榜单不是模型排行榜。先看它测什么、题集什么时候发布、评委是谁、分数怎么算,再决定这个分数对你的选型有没有意义。
读指南 →