跳到主要内容Skip to main content

Models · Evals

BBQ

社会偏见问答(性别、种族、年龄等)

测什么社会偏见问答(性别、种族、年龄等)
任务与数据多选题;歧义/非歧义上下文
指标准确率 / 偏见分数
污染风险题集公开;模板可能进训练。
复现固定 prompt、选项顺序与评分。
成本低
快照日2026-11-19(本站快照;上游版本以仓库为准)
核验日2026-11-19

怎么读

适合看偏见;不适合整体安全。

第一次使用

先跑 50 条,检查歧义与非歧义分组。

常见坑

把偏见分数当模型价值观全貌。

不适合

不适合中文直接套用。

对比与替代

与 ToxiGen 相比更偏问答偏见。

怎么验证

核对类别、模板与评分。

下一步

  • 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
  • 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
  • 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/nyu-mll/BBQ · 快照 2026-11-19(本站快照;上游版本以仓库为准)