跳到主要内容Skip to main content

Models · Evals

τ-bench

工具调用 + 用户对话的任务完成(retail / airline 域)

测什么工具调用 + 用户对话的任务完成(retail / airline 域)
任务与数据多轮对话;模拟用户;工具调用
指标任务成功率 / pass^k
污染风险场景模板公开;模型可能熟悉工具 schema;域窄。
复现固定用户模拟器、工具 schema 与最大轮数。
成本中;需要 LLM 用户模拟器
快照日2026-11-19(本站快照;上游版本以仓库为准)
核验日2026-11-19

怎么读

适合看 agent 在规则约束下办成事,不适合开放域。

第一次使用

先跑 retail 域 20 条,记录工具错误与越权。

常见坑

用户模拟器本身会引入方差;pass^k 与 pass@1 不可混读。

不适合

不适合评估创意任务。

对比与替代

与 AgentBench 相比更偏业务对话与工具约束。

怎么验证

核对域、工具 schema 与用户模拟器版本。

下一步

  • 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
  • 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
  • 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://github.com/sierra-research/tau-bench · 快照 2026-11-19(本站快照;上游版本以仓库为准)