跳到主要内容Skip to main content

Models · Evals

Arena-Hard

高难度指令的胜率

测什么高难度指令的胜率
任务与数据500 条高难度 prompt,与基线模型对比
指标胜率
污染风险题目公开;评委模型与基线选择会影响结果。
复现固定评委、基线、prompt 与温度;记录是否用长度控制。
成本中;评委调用较多
快照日2026-11-19
核验日2026-11-19

怎么读

比 AlpacaEval 更难,但仍属于模型评委口径,不是人类真值。

下一步

  • 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
  • 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
  • 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/lm-sys/arena-hard-auto · 快照 2026-11-19