Models · Evals
HELM
多场景、多指标的综合评测
| 测什么 | 多场景、多指标的综合评测 |
|---|---|
| 任务与数据 | 问答、摘要、分类、安全等大量场景 |
| 指标 | 各场景分别报告,不合成单一总分 |
| 污染风险 | 部分场景公开;要看具体场景的数据来源与时间。 |
| 复现 | 固定场景、prompt、指标与运行版本;记录未覆盖场景。 |
| 成本 | 高;场景多 |
| 快照日 | 2026-11-19 |
| 核验日 | 2026-11-19 |
怎么读
优点是透明、分场景报告;缺点是不是所有模型都覆盖全场景。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://crfm.stanford.edu/helm/ · 快照 2026-11-19