跳到主要内容Skip to main content

Models · Evals

IFEval

指令跟随(可验证约束)

测什么指令跟随(可验证约束)
任务与数据500+ 条 prompt;多种约束
指标严格准确率 / 宽松准确率
污染风险题集公开;prompt 模板可能进训练。
复现固定 prompt、约束解析与评分脚本。
成本低
快照日2026-11-19(本站快照;上游版本以仓库为准)
核验日2026-11-19

怎么读

适合看格式与约束遵守;不适合开放写作质量。

第一次使用

先跑 50 条,确认约束解析。

常见坑

严格准确率低不代表模型差;约束组合难度不同。

不适合

不适合评估事实正确。

对比与替代

与 MT-Bench 相比更偏可验证约束,不靠 judge。

怎么验证

核对 prompt 版本与评分脚本。

下一步

  • 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
  • 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
  • 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/google-research/google-research/tree/master/instruction_following_eval · 快照 2026-11-19(本站快照;上游版本以仓库为准)