跳到主要内容Skip to main content

Models · Evals

GAIA

真实世界助理任务(搜索、文件、多步推理)

测什么真实世界助理任务(搜索、文件、多步推理)
任务与数据466 题(公开集);多模态与工具
指标准确率(精确匹配)
污染风险题面公开;搜索类答案会随时间变化;污染风险高。
复现固定工具权限、搜索时间与答案规范化。
成本中;需要浏览器/搜索与文件工具
快照日2026-11-19(本站快照;上游版本以仓库为准)
核验日2026-11-19

怎么读

适合看多步助理能力;不适合比较纯模型知识。

第一次使用

先跑 10 条 Level 1,确认工具与答案格式。

常见坑

把搜索能力当模型能力;忽略答案规范化。

不适合

不适合离线模型单独评测。

对比与替代

与 AgentBench 相比更贴近真实助理任务,工具依赖更强。

怎么验证

核对 split、工具配置与答案格式。

下一步

  • 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
  • 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
  • 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://huggingface.co/spaces/gaia-benchmark/leaderboard · 快照 2026-11-19(本站快照;上游版本以仓库为准)