跳到主要内容Skip to main content

Models · Evals · 指南

怎么读榜单:先看测什么,再看谁在测

榜单不是模型排行榜。先看它测什么、题集什么时候发布、评委是谁、分数怎么算,再决定这个分数对你的选型有没有意义。

第一问:测的是知识、推理,还是任务完成

MMLU 这类多选题测知识面;GSM8K 测小学应用题;SWE-bench 测真实仓库修 bug;Chatbot Arena 测人类偏好。它们不是同一件事,不能相加成一个“综合能力”。

先把你的使用场景写成一句话,再找最接近的基准。找不到接近的,就自己建 50–100 条内部评测,不要硬套公开榜单。

第二问:题目有没有被见过

公开题集会被写进训练数据。看模型发布时间、训练数据声明、榜单有没有做时间切分。LiveCodeBench、LiveBench 这类持续更新题集的污染风险低一些,但题量分布会变。

如果榜单只给一个分数,不给题集版本和提交日期,就把它当宣传材料,不当评测证据。

第三问:评委是谁,分数怎么算

模型评委会有长度偏好、风格偏好和位置偏差;人类投票也会有用户分布偏差。看榜单有没有报告评委模型、prompt 模板、置信区间与样本量。

胜率 60% 不等于能力高 60%。要看对手是谁、题集是什么、置信区间多宽。小样本上的几个百分点差异,可能只是噪声。

第四问:能不能复现,成本多少

能复现的榜单会给出代码、prompt、版本与运行环境。不能复现的,只能当参考。还要看成本:SWE-bench 要跑容器与测试,Chatbot Arena 无法自建同等规模。

最后把榜单结论写成“在什么条件下、对什么问题、有多大参考价值”,不要写“某模型最强”。