偏好与 RLHF
Anthropic HH-RLHF
有帮助性与无害性两组人类偏好数据,是 RLHF 早期常用的公开基线。
- 规模
- 约 17 万组偏好对比
- 许可
- MIT
- 获取
- 直接下载
对话风格与现在的助手产品差异较大;直接拿旧偏好训新模型,可能学到过时的表达。
看数据卡 →Models · Data · Preference & RLHF
人类或模型对回答排序,用来做偏好对齐与 DPO。 这一页收 3 张卡;点进单卡看许可、规模、任务适配与使用边界。
有帮助性与无害性两组人类偏好数据,是 RLHF 早期常用的公开基线。
对话风格与现在的助手产品差异较大;直接拿旧偏好训新模型,可能学到过时的表达。
看数据卡 →用多个模型生成回答再做细粒度评分,适合做偏好对齐与 DPO 训练。
评分由模型产生,会带入评分模型的偏好;用于生产前要抽检偏差。
看数据卡 →GPT-4 对多个模型回答做 7 档排序,适合研究排序式偏好学习。
排序由单一模型完成,存在位置偏差与风格偏好;不要当作人类真值。
看数据卡 →