Models · Evals
MMLU-Pro
更难、更贴近推理的多学科知识
| 测什么 | 更难、更贴近推理的多学科知识 |
|---|---|
| 任务与数据 | 10 选项多选题;题目经过增强与过滤 |
| 指标 | 准确率 |
| 污染风险 | 在原 MMLU 基础上改写,仍需检查训练集是否见过同源题。 |
| 复现 | 固定 prompt、选项顺序与 few-shot 数量;记录是否使用思维链。 |
| 成本 | 低到中;10 选项推理更长 |
| 快照日 | 2026-11-19 |
| 核验日 | 2026-11-19 |
怎么读
比 MMLU 更不容易靠记忆得分,但仍不等于业务能力。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://huggingface.co/spaces/TIGER-Lab/MMLU-Pro · 快照 2026-11-19