Models · Evals
LiveCodeBench
持续更新的代码生成
| 测什么 | 持续更新的代码生成 |
|---|---|
| 任务与数据 | 从竞赛平台收集新题,按时间切分 |
| 指标 | pass@1 |
| 污染风险 | 按发布时间切分,专门用来降低训练集污染;仍要看题源与切分日。 |
| 复现 | 记录题目版本、时间窗口、执行环境与 pass@1 设置。 |
| 成本 | 低到中 |
| 快照日 | 2026-11-19 |
| 核验日 | 2026-11-19 |
怎么读
比固定题集更能反映新题上的泛化,但题源偏竞赛风格。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://livecodebench.github.io/ · 快照 2026-11-19