Models · Evals
AgentBench
多环境 agent 任务完成能力(操作系统、数据库、知识图谱、网页等 8 个环境)
| 测什么 | 多环境 agent 任务完成能力(操作系统、数据库、知识图谱、网页等 8 个环境) |
|---|---|
| 任务与数据 | 8 个交互环境;文本任务 |
| 指标 | 成功率 / 任务完成率 |
| 污染风险 | 任务与容器环境公开;模型可能见过题面,环境版本变化会影响可比性。 |
| 复现 | 按官方 Docker 环境跑;固定工具集、最大步数与评分脚本。 |
| 成本 | 中高;需要多环境容器与 API 调用 |
| 快照日 | 2026-11-19(本站快照;上游版本以仓库为准) |
| 核验日 | 2026-11-19 |
怎么读
适合看跨环境任务完成,不适合代表真实业务;把失败按环境拆开看。
第一次使用
先跑 1 个环境 10 条样例,确认工具调用与评分。
常见坑
不同环境权重不同;工具集变化会让分数不可比。
不适合
不适合单一业务场景选型。
对比与替代
与 GAIA 相比更偏受控环境,与 OSWorld 相比桌面操作比重较低。
怎么验证
核对环境版本、任务数与评分脚本;抽 5 条看轨迹。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/THUDM/AgentBench · 快照 2026-11-19(本站快照;上游版本以仓库为准)