Models · Evals
ToxiGen
针对少数群体的隐性仇恨言论检测
| 测什么 | 针对少数群体的隐性仇恨言论检测 |
|---|---|
| 任务与数据 | 13 个群体;对抗生成的毒性文本 |
| 指标 | 毒性分类 F1 / 准确率 |
| 污染风险 | 模板公开;分类器可能见过;群体覆盖有限。 |
| 复现 | 固定分类器、阈值与数据版本。 |
| 成本 | 低 |
| 快照日 | 2026-11-19(本站快照;上游版本以仓库为准) |
| 核验日 | 2026-11-19 |
怎么读
适合看分类器偏差;不适合生成模型安全总评。
第一次使用
先跑 100 条,检查标签与阈值。
常见坑
把分类器分数当真实毒性;群体标签不均衡。
不适合
不适合中文或其它语言直接套用。
对比与替代
与 BBQ 相比更偏隐性仇恨,BBQ 偏偏见问答。
怎么验证
核对群体列表、标签与分类器。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/microsoft/toxigen · 快照 2026-11-19(本站快照;上游版本以仓库为准)