Models · Data · RAG 文档
MS MARCO
大规模真实搜索查询与段落,适合训练/评测检索器与重排器。
| 来源 | Microsoft |
|---|---|
| 规模 | 约 880 万段落 / 100 万+ 查询 |
| 语言 | 英文 |
| 格式 | JSONL / TSV |
| 许可 | MS MARCO 数据使用协议 |
| 商用 | 需按协议核对 |
| 获取 | Hugging Face / 官方下载 |
| 任务适配 | 检索 / RAG / 重排 |
| 核验日 | 2026-11-19 |
质量与偏差
大规模真实搜索查询与段落,适合训练/评测检索器与重排器。
使用边界
查询与段落偏英文网页;答案不一定完整,不能直接当生成训练真值。
第一次使用
先做 BM25 基线,再加向量检索,记录 recall@k 与 MRR。
常见坑
把检索命中当答案正确;忽略段落版本与索引更新。
成本
中等;全量索引需要磁盘与内存。
不适合
不适合中文或垂直领域检索,需另配语料。
对比与替代
与 Natural Questions / HotpotQA 相比更偏真实搜索查询与段落检索。
怎么验证
核对协议与 split;抽 50 条看查询/段落/答案字段。
下一步
- 打开来源页,下载数据集卡与许可原文,确认版本与获取条件。
- 先抽 100–500 条样本做质量、语言与敏感内容抽检,再决定是否进训练管线。
- 如果用于 RAG 或 SFT,先读 RAG 语料怎么选 / SFT 数据怎么配比。
来源:https://huggingface.co/datasets/microsoft/ms_marco · 核验日 2026-11-19 · 许可以来源页为准