跳到主要内容Skip to main content

Models · Data · 偏好与 RLHF

RewardBench

覆盖聊天、推理、安全等子集的偏好对,专门用来测奖励模型而不是生成模型。

来源Allen Institute for AI
规模数千条偏好对
语言英文
格式JSONL
许可MIT
商用允许,需保留声明
获取Hugging Face 直接下载
任务适配奖励模型评测 / 偏好对齐诊断
核验日2026-11-19

质量与偏差

覆盖聊天、推理、安全等子集的偏好对,专门用来测奖励模型而不是生成模型。

使用边界

题集规模不大,子集间难度差异明显;分数高不等于下游 DPO 一定好。

第一次使用

先确认你的奖励模型输入格式与模板,再跑官方评分脚本。

常见坑

把 RewardBench 分数当生成质量;忽略训练集污染。

成本

低;单卡可跑。

不适合

不适合单独决定 DPO 配方。

对比与替代

与 HelpSteer2 互补:一个用于训练,一个用于评测奖励模型。

怎么验证

核对子集划分与评分脚本;抽 20 条看 chosen/rejected 是否合理。

下一步

  • 打开来源页,下载数据集卡与许可原文,确认版本与获取条件。
  • 先抽 100–500 条样本做质量、语言与敏感内容抽检,再决定是否进训练管线。
  • 如果用于 RAG 或 SFT,先读 RAG 语料怎么选 / SFT 数据怎么配比。
来源:https://huggingface.co/datasets/allenai/reward-bench · 核验日 2026-11-19 · 许可以来源页为准