Models · Evals
RULER
长上下文检索与多跳追踪
| 测什么 | 长上下文检索与多跳追踪 |
|---|---|
| 任务与数据 | 4 类任务;长度 4K–128K+ |
| 指标 | 准确率 |
| 污染风险 | 合成任务公开;模型可能见过模板;长度外推。 |
| 复现 | 固定 tokenizer、长度、针位置与评分。 |
| 成本 | 中高;长上下文推理 |
| 快照日 | 2026-11-19(本站快照;上游版本以仓库为准) |
| 核验日 | 2026-11-19 |
怎么读
适合看长上下文有效性;不适合真实长文档。
第一次使用
先跑 4K/8K 两档,确认 tokenizer 与位置。
常见坑
把“能塞进去”当“能用”;长度口径不一。
不适合
不适合评估长文档问答质量。
对比与替代
与 InfiniteBench 相比更偏合成检索;InfiniteBench 更偏真实任务。
怎么验证
核对任务配置、长度与评分。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/NVIDIA/RULER · 快照 2026-11-19(本站快照;上游版本以仓库为准)