Models · Evals
GAIA
真实世界助理任务(搜索、文件、多步推理)
| 测什么 | 真实世界助理任务(搜索、文件、多步推理) |
|---|---|
| 任务与数据 | 466 题(公开集);多模态与工具 |
| 指标 | 准确率(精确匹配) |
| 污染风险 | 题面公开;搜索类答案会随时间变化;污染风险高。 |
| 复现 | 固定工具权限、搜索时间与答案规范化。 |
| 成本 | 中;需要浏览器/搜索与文件工具 |
| 快照日 | 2026-11-19(本站快照;上游版本以仓库为准) |
| 核验日 | 2026-11-19 |
怎么读
适合看多步助理能力;不适合比较纯模型知识。
第一次使用
先跑 10 条 Level 1,确认工具与答案格式。
常见坑
把搜索能力当模型能力;忽略答案规范化。
不适合
不适合离线模型单独评测。
对比与替代
与 AgentBench 相比更贴近真实助理任务,工具依赖更强。
怎么验证
核对 split、工具配置与答案格式。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://huggingface.co/spaces/gaia-benchmark/leaderboard · 快照 2026-11-19(本站快照;上游版本以仓库为准)