跳到主要内容Skip to main content

Models · Evals

AlpacaEval 2.0

指令跟随的胜率

测什么指令跟随的胜率
任务与数据805 条指令,与参考模型回答对比
指标长度控制的胜率(LC win rate)
污染风险题目公开;评委偏好与长度偏差是主要风险。
复现固定评委模型、参考模型、长度控制方法与 prompt。
成本低到中
快照日2026-11-19
核验日2026-11-19

怎么读

胜率高不代表事实正确;要结合人工抽检与任务评测。

下一步

  • 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
  • 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
  • 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://tatsu-lab.github.io/alpaca_eval/ · 快照 2026-11-19