Models · Evals · 指南
Agent 与工具调用怎么评:环境、工具、步数、评分
Agent 分数不是“模型会不会用工具”,而是“在给定环境、工具集、步数上限和评分器下,任务能不能完成”。四件事缺一件,分数就不可比。
先固定环境与工具集
同一个任务,在真实网站、复刻环境、Mock API 里难度完全不同。评测卡要写清:环境镜像/版本、起始状态、可用工具、权限边界。
工具集变了,分数就不能直接比。把工具名、参数 schema、最大调用次数和错误返回都记录下来。
步数与成本要一起报
只报成功率不报步数,会掩盖“靠大量试错堆出来”的 agent。至少报:平均步数、token 成本、工具调用次数、超时率。
pass^k 适合看稳定性:同一任务跑 k 次,k 次全对的概率。它比单次 pass@1 更能暴露随机性。
评分器决定你测的是什么
精确匹配、状态检查、单元测试、LLM judge 是四种不同的尺子。状态检查最硬,但覆盖窄;LLM judge 覆盖宽,但有偏差。
把失败分类:规划错、工具选错、参数错、环境错、评分错。只看总分,不知道下一步该改什么。