Models · Evals
τ-bench
工具调用 + 用户对话的任务完成(retail / airline 域)
| 测什么 | 工具调用 + 用户对话的任务完成(retail / airline 域) |
|---|---|
| 任务与数据 | 多轮对话;模拟用户;工具调用 |
| 指标 | 任务成功率 / pass^k |
| 污染风险 | 场景模板公开;模型可能熟悉工具 schema;域窄。 |
| 复现 | 固定用户模拟器、工具 schema 与最大轮数。 |
| 成本 | 中;需要 LLM 用户模拟器 |
| 快照日 | 2026-11-19(本站快照;上游版本以仓库为准) |
| 核验日 | 2026-11-19 |
怎么读
适合看 agent 在规则约束下办成事,不适合开放域。
第一次使用
先跑 retail 域 20 条,记录工具错误与越权。
常见坑
用户模拟器本身会引入方差;pass^k 与 pass@1 不可混读。
不适合
不适合评估创意任务。
对比与替代
与 AgentBench 相比更偏业务对话与工具约束。
怎么验证
核对域、工具 schema 与用户模拟器版本。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/sierra-research/tau-bench · 快照 2026-11-19(本站快照;上游版本以仓库为准)