Models · Evals
MMMU
大学级多模态知识理解(图像+文本)
| 测什么 | 大学级多模态知识理解(图像+文本) |
|---|---|
| 任务与数据 | 多学科问答;图表、表格、示意图 |
| 指标 | 准确率 |
| 污染风险 | 题集公开;图像与题面可能进训练;污染风险高。 |
| 复现 | 固定图像分辨率、prompt 与答案格式。 |
| 成本 | 中;需要视觉模型 |
| 快照日 | 2026-11-19(本站快照;上游版本以仓库为准) |
| 核验日 | 2026-11-19 |
怎么读
适合看多模态知识,不适合视频或文档版面。
第一次使用
先跑 20 条验证集,检查图像编码与选项。
常见坑
图像缩放影响 OCR;把知识分数当视觉推理。
不适合
不适合评估视频理解。
对比与替代
与 DocVQA / ChartQA 相比更偏学科知识,不专攻文档版面。
怎么验证
核对 split、图像版本与评分。
下一步
- 打开榜单或论文页,确认题集版本、评分脚本与提交日期。
- 把它和你关心的业务任务做对照;找不到对应任务,就自己建 50–100 条内部评测。
- 读 怎么读榜单,把“分数”写成“条件 + 参考价值”。
榜单 / 来源:https://mmmu-benchmark.github.io/ · 快照 2026-11-19(本站快照;上游版本以仓库为准)