跳到主要内容Skip to main content

Models · Data · Preference & RLHF

偏好与 RLHF

人类或模型对回答排序,用来做偏好对齐与 DPO。 这一页收 3 张卡;点进单卡看许可、规模、任务适配与使用边界。

偏好与 RLHF

Anthropic HH-RLHF

有帮助性与无害性两组人类偏好数据,是 RLHF 早期常用的公开基线。

规模
约 17 万组偏好对比
许可
MIT
获取
直接下载

对话风格与现在的助手产品差异较大;直接拿旧偏好训新模型,可能学到过时的表达。

看数据卡 →
偏好与 RLHF

UltraFeedback

用多个模型生成回答再做细粒度评分,适合做偏好对齐与 DPO 训练。

规模
约 6.4 万条 prompt × 4 个回答
许可
MIT
获取
直接下载

评分由模型产生,会带入评分模型的偏好;用于生产前要抽检偏差。

看数据卡 →
偏好与 RLHF

Nectar

GPT-4 对多个模型回答做 7 档排序,适合研究排序式偏好学习。

规模
约 18.3 万条 prompt,每组 7 个回答
许可
MIT
获取
直接下载

排序由单一模型完成,存在位置偏差与风格偏好;不要当作人类真值。

看数据卡 →