Models · Evals
HarmBench
有害请求拒答与攻击成功率
| 测什么 | 有害请求拒答与攻击成功率 |
|---|---|
| 任务与数据 | 400+ 行为;文本攻击 |
| 指标 | 攻击成功率 / 拒答率 |
| 污染风险 | 行为与攻击模板公开;模型可能见过;安全策略变化快。 |
| 复现 | 固定攻击方法、目标模型、judge 与采样数。 |
| 成本 | 中;需要 judge 与多次采样 |
| 快照日 | 2026-11-19(本站快照;上游版本以仓库为准) |
| 核验日 | 2026-11-19 |
怎么读
适合看安全边界;不适合替代人工红队。
第一次使用
先跑 20 条标准行为,确认 judge 与拒答口径。
常见坑
judge 偏差;采样数少导致方差。
不适合
不适合评估隐私或数据合规。
对比与替代
与 ToxiGen 相比更偏攻击与拒答,不是毒性分类。
怎么验证
核对行为集、攻击脚本与 judge。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://www.harmbench.org/ · 快照 2026-11-19(本站快照;上游版本以仓库为准)