Models · Evals
InfiniteBench
超长上下文真实任务(检索、代码、对话、书)
| 测什么 | 超长上下文真实任务(检索、代码、对话、书) |
|---|---|
| 任务与数据 | 10+ 任务;100K+ 长度 |
| 指标 | 准确率 / 任务指标 |
| 污染风险 | 题集公开;长文档可能进训练。 |
| 复现 | 固定长度、截断与评分。 |
| 成本 | 高;长上下文 |
| 快照日 | 2026-11-19(本站快照;上游版本以仓库为准) |
| 核验日 | 2026-11-19 |
怎么读
适合看真实长任务;不适合短上下文模型。
第一次使用
先跑 100K 子集,确认截断策略。
常见坑
截断位置影响结果;不同任务指标不可平均。
不适合
不适合评估工具调用。
对比与替代
与 RULER 相比更偏真实任务,合成检索少。
怎么验证
核对任务清单、长度与评分。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/OpenBMB/InfiniteBench · 快照 2026-11-19(本站快照;上游版本以仓库为准)