跳到主要内容Skip to main content

Models · Evals

ToxiGen

针对少数群体的隐性仇恨言论检测

测什么针对少数群体的隐性仇恨言论检测
任务与数据13 个群体;对抗生成的毒性文本
指标毒性分类 F1 / 准确率
污染风险模板公开;分类器可能见过;群体覆盖有限。
复现固定分类器、阈值与数据版本。
成本低
快照日2026-11-19(本站快照;上游版本以仓库为准)
核验日2026-11-19

怎么读

适合看分类器偏差;不适合生成模型安全总评。

第一次使用

先跑 100 条,检查标签与阈值。

常见坑

把分类器分数当真实毒性;群体标签不均衡。

不适合

不适合中文或其它语言直接套用。

对比与替代

与 BBQ 相比更偏隐性仇恨,BBQ 偏偏见问答。

怎么验证

核对群体列表、标签与分类器。

下一步

  • 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
  • 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
  • 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/microsoft/toxigen · 快照 2026-11-19(本站快照;上游版本以仓库为准)