Models · Evals
MMLU
57 个学科的知识广度
| 测什么 | 57 个学科的知识广度 |
|---|---|
| 任务与数据 | 多选题;覆盖 STEM、人文、社科、法律、医学等 |
| 指标 | 准确率(按题计) |
| 污染风险 | 题目公开多年,训练集污染风险高;新模型分数要结合发布时间看。 |
| 复现 | 固定 5-shot 或 0-shot 设置,记录模板、选项顺序与评分脚本。 |
| 成本 | 低;本地单卡可跑 |
| 快照日 | 2026-11-19 |
| 核验日 | 2026-11-19 |
怎么读
适合看知识面,不适合判断实际任务能力;不要把分数当唯一选型依据。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard · 快照 2026-11-19