跳到主要内容Skip to main content

Models · Evals

InfiniteBench

超长上下文真实任务(检索、代码、对话、书)

测什么超长上下文真实任务(检索、代码、对话、书)
任务与数据10+ 任务;100K+ 长度
指标准确率 / 任务指标
污染风险题集公开;长文档可能进训练。
复现固定长度、截断与评分。
成本高;长上下文
快照日2026-11-19(本站快照;上游版本以仓库为准)
核验日2026-11-19

怎么读

适合看真实长任务;不适合短上下文模型。

第一次使用

先跑 100K 子集,确认截断策略。

常见坑

截断位置影响结果;不同任务指标不可平均。

不适合

不适合评估工具调用。

对比与替代

与 RULER 相比更偏真实任务,合成检索少。

怎么验证

核对任务清单、长度与评分。

下一步

  • 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
  • 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
  • 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/OpenBMB/InfiniteBench · 快照 2026-11-19(本站快照;上游版本以仓库为准)