跳到主要内容Skip to main content

Models · Evals

MMLU-Pro

更难、更贴近推理的多学科知识

测什么更难、更贴近推理的多学科知识
任务与数据10 选项多选题;题目经过增强与过滤
指标准确率
污染风险在原 MMLU 基础上改写,仍需检查训练集是否见过同源题。
复现固定 prompt、选项顺序与 few-shot 数量;记录是否使用思维链。
成本低到中;10 选项推理更长
快照日2026-11-19
核验日2026-11-19

怎么读

比 MMLU 更不容易靠记忆得分,但仍不等于业务能力。

下一步

  • 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
  • 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
  • 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://huggingface.co/spaces/TIGER-Lab/MMLU-Pro · 快照 2026-11-19