跳到主要内容Skip to main content

Models · Evals

AgentBench

多环境 agent 任务完成能力(操作系统、数据库、知识图谱、网页等 8 个环境)

测什么多环境 agent 任务完成能力(操作系统、数据库、知识图谱、网页等 8 个环境)
任务与数据8 个交互环境;文本任务
指标成功率 / 任务完成率
污染风险任务与容器环境公开;模型可能见过题面,环境版本变化会影响可比性。
复现按官方 Docker 环境跑;固定工具集、最大步数与评分脚本。
成本中高;需要多环境容器与 API 调用
快照日2026-11-19(本站快照;上游版本以仓库为准)
核验日2026-11-19

怎么读

适合看跨环境任务完成,不适合代表真实业务;把失败按环境拆开看。

第一次使用

先跑 1 个环境 10 条样例,确认工具调用与评分。

常见坑

不同环境权重不同;工具集变化会让分数不可比。

不适合

不适合单一业务场景选型。

对比与替代

与 GAIA 相比更偏受控环境,与 OSWorld 相比桌面操作比重较低。

怎么验证

核对环境版本、任务数与评分脚本;抽 5 条看轨迹。

下一步

  • 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
  • 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
  • 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/THUDM/AgentBench · 快照 2026-11-19(本站快照;上游版本以仓库为准)