Models · Evals
GPQA
研究生级科学问答
| 测什么 | 研究生级科学问答 |
|---|---|
| 任务与数据 | 物理、化学、生物的选择题;含钻石集与扩展集 |
| 指标 | 准确率 |
| 污染风险 | 题目由专家编写,公开后仍有污染风险;钻石集更小、更敏感。 |
| 复现 | 记录用钻石集还是扩展集、few-shot、是否允许搜索。 |
| 成本 | 低;题量小 |
| 快照日 | 2026-11-19 |
| 核验日 | 2026-11-19 |
怎么读
高分说明科学推理强,但题量小、波动大,不要只看一个百分点。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/idavidrein/gpqa · 快照 2026-11-19