Models · Data · 偏好与 RLHF
RewardBench
覆盖聊天、推理、安全等子集的偏好对,专门用来测奖励模型而不是生成模型。
| 来源 | Allen Institute for AI |
|---|---|
| 规模 | 数千条偏好对 |
| 语言 | 英文 |
| 格式 | JSONL |
| 许可 | MIT |
| 商用 | 允许,需保留声明 |
| 获取 | Hugging Face 直接下载 |
| 任务适配 | 奖励模型评测 / 偏好对齐诊断 |
| 核验日 | 2026-11-19 |
质量与偏差
覆盖聊天、推理、安全等子集的偏好对,专门用来测奖励模型而不是生成模型。
使用边界
题集规模不大,子集间难度差异明显;分数高不等于下游 DPO 一定好。
第一次使用
先确认你的奖励模型输入格式与模板,再跑官方评分脚本。
常见坑
把 RewardBench 分数当生成质量;忽略训练集污染。
成本
低;单卡可跑。
不适合
不适合单独决定 DPO 配方。
对比与替代
与 HelpSteer2 互补:一个用于训练,一个用于评测奖励模型。
怎么验证
核对子集划分与评分脚本;抽 20 条看 chosen/rejected 是否合理。
下一步
- 打开来源页,下载数据集卡与许可原文,确认版本与获取条件。
- 先抽 100–500 条样本做质量、语言与敏感内容抽检,再决定是否进训练管线。
- 如果用于 RAG 或 SFT,先读 RAG 语料怎么选 / SFT 数据怎么配比。
来源:https://huggingface.co/datasets/allenai/reward-bench · 核验日 2026-11-19 · 许可以来源页为准