Models · Evals
WebArena
网页环境中的任务完成(购物、论坛、CMS 等)
| 测什么 | 网页环境中的任务完成(购物、论坛、CMS 等) |
|---|---|
| 任务与数据 | 812 个任务;真实网站复刻环境 |
| 指标 | 成功率 |
| 污染风险 | 环境与任务公开;网站状态会变;模型可能见过任务。 |
| 复现 | 固定 Docker 环境、起始状态与评分脚本。 |
| 成本 | 中高;需要浏览器与容器 |
| 快照日 | 2026-11-19(本站快照;上游版本以仓库为准) |
| 核验日 | 2026-11-19 |
怎么读
适合看网页操作 agent;不适合移动端或桌面软件。
第一次使用
先跑 10 条 shopping 任务,确认选择器与重置。
常见坑
环境未重置导致结果不可复现;不同浏览器版本影响。
不适合
不适合评估 API-only agent。
对比与替代
与 OSWorld 相比更偏网页,OSWorld 覆盖桌面应用。
怎么验证
核对环境镜像、任务 ID 与重置脚本。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://webarena.dev/ · 快照 2026-11-19(本站快照;上游版本以仓库为准)