Models · Evals
OSWorld
桌面操作系统任务完成(多应用、文件、设置)
| 测什么 | 桌面操作系统任务完成(多应用、文件、设置) |
|---|---|
| 任务与数据 | 数百个任务;Ubuntu/Windows 虚拟机 |
| 指标 | 成功率 / 部分完成分 |
| 污染风险 | 任务公开;应用版本变化会影响;模型可能见过。 |
| 复现 | 固定 VM 镜像、应用版本、屏幕分辨率与评分。 |
| 成本 | 高;需要 VM 与视觉模型 |
| 快照日 | 2026-11-19(本站快照;上游版本以仓库为准) |
| 核验日 | 2026-11-19 |
怎么读
适合看 GUI agent 的规划与操作;不适合纯文本任务。
第一次使用
先跑 5 个单应用任务,确认截图与坐标。
常见坑
分辨率与主题变化导致坐标失效;评分器对部分完成不敏感。
不适合
不适合评估无 GUI 的 API agent。
对比与替代
与 WebArena 相比覆盖桌面应用,环境更重。
怎么验证
核对 VM 镜像、任务 ID 与评分器。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://os-world.github.io/ · 快照 2026-11-19(本站快照;上游版本以仓库为准)