跳到主要内容Skip to main content

Models · Evals

RULER

长上下文检索与多跳追踪

测什么长上下文检索与多跳追踪
任务与数据4 类任务;长度 4K–128K+
指标准确率
污染风险合成任务公开;模型可能见过模板;长度外推。
复现固定 tokenizer、长度、针位置与评分。
成本中高;长上下文推理
快照日2026-11-19(本站快照;上游版本以仓库为准)
核验日2026-11-19

怎么读

适合看长上下文有效性;不适合真实长文档。

第一次使用

先跑 4K/8K 两档,确认 tokenizer 与位置。

常见坑

把“能塞进去”当“能用”;长度口径不一。

不适合

不适合评估长文档问答质量。

对比与替代

与 InfiniteBench 相比更偏合成检索;InfiniteBench 更偏真实任务。

怎么验证

核对任务配置、长度与评分。

下一步

  • 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
  • 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
  • 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/NVIDIA/RULER · 快照 2026-11-19(本站快照;上游版本以仓库为准)