Models · Evals
SWE-bench
真实 GitHub issue 的修复能力
| 测什么 | 真实 GitHub issue 的修复能力 |
|---|---|
| 任务与数据 | 从仓库 issue 生成补丁,跑项目测试 |
| 指标 | 解决率(测试通过) |
| 污染风险 | 仓库与 issue 公开;要看模型训练截止时间与仓库版本。 |
| 复现 | 固定仓库快照、测试命令、环境镜像与重试次数;记录 resolved 判定。 |
| 成本 | 高;需要容器与测试执行 |
| 快照日 | 2026-11-19 |
| 核验日 | 2026-11-19 |
怎么读
最接近真实修 bug 的公开基准之一,但环境重、结果受脚手架影响大。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://www.swebench.com/ · 快照 2026-11-19