跳到主要内容Skip to main content

Models · Evals

评测与榜单

榜单不是模型排行榜。先看它测什么、题集什么时候发布、评委是谁、分数怎么算,再决定这个分数对你的选型有没有意义。这里收 20 个常用基准,只写“测什么、怎么读”,不做总分与“最强”排名。

20个基准卡
1篇读榜指南
0个总分排名
读榜四问:测的是知识、推理还是任务完成?题目有没有被训练集见过?评委是谁、分数怎么算?能不能复现、成本多少?四问缺一,分数只能当参考。
基准

MMLU

57 个学科的知识广度

指标
准确率(按题计)
成本
低;本地单卡可跑
快照
2026-11-19

题目公开多年,训练集污染风险高;新模型分数要结合发布时间看。

看基准卡 →
基准

MMLU-Pro

更难、更贴近推理的多学科知识

指标
准确率
成本
低到中;10 选项推理更长
快照
2026-11-19

在原 MMLU 基础上改写,仍需检查训练集是否见过同源题。

看基准卡 →
基准

GPQA

研究生级科学问答

指标
准确率
成本
低;题量小
快照
2026-11-19

题目由专家编写,公开后仍有污染风险;钻石集更小、更敏感。

看基准卡 →
基准

HumanEval

函数级 Python 代码生成

指标
pass@1 / pass@k(单元测试通过率)
成本
低;本地可执行
快照
2026-11-19

题目公开,代码模型可能见过;要看模型发布时间与训练数据声明。

看基准卡 →
基准

MBPP

入门级 Python 编程

指标
pass@1
成本
低
快照
2026-11-19

题目公开;部分模型可能在预训练中见过。

看基准卡 →
基准

SWE-bench

真实 GitHub issue 的修复能力

指标
解决率(测试通过)
成本
高;需要容器与测试执行
快照
2026-11-19

仓库与 issue 公开;要看模型训练截止时间与仓库版本。

看基准卡 →
基准

Terminal-Bench

终端环境里的多步任务

指标
任务完成率
成本
中到高;需要容器执行
快照
2026-11-19

任务公开较新,污染风险相对低;但任务集仍在增长。

看基准卡 →
基准

LiveCodeBench

持续更新的代码生成

指标
pass@1
成本
低到中
快照
2026-11-19

按发布时间切分,专门用来降低训练集污染;仍要看题源与切分日。

看基准卡 →
基准

MT-Bench

多轮对话质量

指标
模型评委打分(1–10)
成本
低;主要花评委调用
快照
2026-11-19

题目公开;评委模型可能偏好长回答或特定风格。

看基准卡 →
基准

AlpacaEval 2.0

指令跟随的胜率

指标
长度控制的胜率(LC win rate)
成本
低到中
快照
2026-11-19

题目公开;评委偏好与长度偏差是主要风险。

看基准卡 →
基准

Arena-Hard

高难度指令的胜率

指标
胜率
成本
中;评委调用较多
快照
2026-11-19

题目公开;评委模型与基线选择会影响结果。

看基准卡 →
基准

Chatbot Arena

人类偏好胜率与 Elo 分

指标
Elo / 胜率
成本
无法自建同等规模
快照
2026-11-19

用户提交的 prompt 不公开,污染风险相对低;但用户分布有偏。

看基准卡 →
基准

HELM

多场景、多指标的综合评测

指标
各场景分别报告,不合成单一总分
成本
高;场景多
快照
2026-11-19

部分场景公开;要看具体场景的数据来源与时间。

看基准卡 →
基准

LiveBench

持续更新的多任务能力

指标
各任务准确率
成本
中
快照
2026-11-19

按时间更新题目,降低污染;但题量分布会变。

看基准卡 →
基准

Open LLM Leaderboard

开放模型的标准化对照

指标
各基准分别报告,另有平均
成本
低到中
快照
2026-11-19

题目公开,污染风险高;榜单会标注模型提交时间。

看基准卡 →
基准

C-Eval

中文多学科知识

指标
准确率
成本
低
快照
2026-11-19

题目公开;中文模型可能见过。

看基准卡 →
基准

CMMLU

中文知识与推理

指标
准确率
成本
低
快照
2026-11-19

题目公开;需要核对训练数据是否含同源题。

看基准卡 →
基准

LongBench

长上下文理解

指标
各任务 F1 / 准确率 / ROUGE 等
成本
中到高;长上下文吃显存
快照
2026-11-19

部分任务来自公开语料;长文档可能被模型见过。

看基准卡 →
基准

RAGAS

RAG 管线质量

指标
各指标分别评分(含模型评委)
成本
低到中;评委调用为主
快照
2026-11-19

不是固定题集,取决于你喂的文档与问题;结果不可跨项目直接比。

看基准卡 →
基准

TruthfulQA

事实性与常见误解

指标
真实率与信息量(MC / generation)
成本
低
快照
2026-11-19

题目公开;模型可能记住答案,也可能记住错误答案。

看基准卡 →