Models · Evals
Video-MME
视频理解(短/中/长视频)
| 测什么 | 视频理解(短/中/长视频) |
|---|---|
| 任务与数据 | 900 段视频、2,700 题;多领域 |
| 指标 | 准确率 |
| 污染风险 | 题集公开;视频可能出现在训练;污染风险中高。 |
| 复现 | 固定抽帧数、时间戳与 prompt。 |
| 成本 | 高;视频解码与长上下文 |
| 快照日 | 2026-11-19(本站快照;上游版本以仓库为准) |
| 核验日 | 2026-11-19 |
怎么读
适合看长视频理解;不适合实时视频流。
第一次使用
先跑 short 子集 10 条,确认抽帧与字幕。
常见坑
抽帧数不同不可比;把字幕当视觉理解。
不适合
不适合评估视频生成。
对比与替代
与 MMMU 相比更偏时序视频;与 DocVQA 相比不是文档。
怎么验证
核对视频清单、抽帧配置与评分。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://video-mme.github.io/ · 快照 2026-11-19(本站快照;上游版本以仓库为准)