MMLU
57 个学科的知识广度
- 指标
- 准确率(按题计)
- 成本
- 低;本地单卡可跑
- 快照
- 2026-11-19
题目公开多年,训练集污染风险高;新模型分数要结合发布时间看。
看基准卡 →Models · Evals
榜单不是模型排行榜。先看它测什么、题集什么时候发布、评委是谁、分数怎么算,再决定这个分数对你的选型有没有意义。这里收 20 个常用基准,只写“测什么、怎么读”,不做总分与“最强”排名。
57 个学科的知识广度
题目公开多年,训练集污染风险高;新模型分数要结合发布时间看。
看基准卡 →更难、更贴近推理的多学科知识
在原 MMLU 基础上改写,仍需检查训练集是否见过同源题。
看基准卡 →研究生级科学问答
题目由专家编写,公开后仍有污染风险;钻石集更小、更敏感。
看基准卡 →函数级 Python 代码生成
题目公开,代码模型可能见过;要看模型发布时间与训练数据声明。
看基准卡 →入门级 Python 编程
题目公开;部分模型可能在预训练中见过。
看基准卡 →真实 GitHub issue 的修复能力
仓库与 issue 公开;要看模型训练截止时间与仓库版本。
看基准卡 →终端环境里的多步任务
任务公开较新,污染风险相对低;但任务集仍在增长。
看基准卡 →持续更新的代码生成
按发布时间切分,专门用来降低训练集污染;仍要看题源与切分日。
看基准卡 →多轮对话质量
题目公开;评委模型可能偏好长回答或特定风格。
看基准卡 →指令跟随的胜率
题目公开;评委偏好与长度偏差是主要风险。
看基准卡 →高难度指令的胜率
题目公开;评委模型与基线选择会影响结果。
看基准卡 →人类偏好胜率与 Elo 分
用户提交的 prompt 不公开,污染风险相对低;但用户分布有偏。
看基准卡 →多场景、多指标的综合评测
部分场景公开;要看具体场景的数据来源与时间。
看基准卡 →持续更新的多任务能力
按时间更新题目,降低污染;但题量分布会变。
看基准卡 →开放模型的标准化对照
题目公开,污染风险高;榜单会标注模型提交时间。
看基准卡 →中文多学科知识
题目公开;中文模型可能见过。
看基准卡 →中文知识与推理
题目公开;需要核对训练数据是否含同源题。
看基准卡 →长上下文理解
部分任务来自公开语料;长文档可能被模型见过。
看基准卡 →RAG 管线质量
不是固定题集,取决于你喂的文档与问题;结果不可跨项目直接比。
看基准卡 →事实性与常见误解
题目公开;模型可能记住答案,也可能记住错误答案。
看基准卡 →