Models · Evals
AlpacaEval 2.0
指令跟随的胜率
| 测什么 | 指令跟随的胜率 |
|---|---|
| 任务与数据 | 805 条指令,与参考模型回答对比 |
| 指标 | 长度控制的胜率(LC win rate) |
| 污染风险 | 题目公开;评委偏好与长度偏差是主要风险。 |
| 复现 | 固定评委模型、参考模型、长度控制方法与 prompt。 |
| 成本 | 低到中 |
| 快照日 | 2026-11-19 |
| 核验日 | 2026-11-19 |
怎么读
胜率高不代表事实正确;要结合人工抽检与任务评测。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://tatsu-lab.github.io/alpaca_eval/ · 快照 2026-11-19