跳到主要内容Skip to main content

Models · Evals · 指南

多模态评测怎么读:图像、视频、文档三套口径

多模态分数受分辨率、抽帧、OCR 和答案格式影响。先确认它测的是哪一类输入,再谈分数能不能比。

图像:分辨率与 OCR 是隐藏变量

同一张图,缩到 512 和原图 2048,OCR 与细节题分数会差很多。评测卡要写图像长边、压缩方式、是否切图。

图表题还要看单位、刻度和图例;模型答对数字但读错单位,不能算对。

视频:抽帧数与时间戳决定上限

视频理解不是“抽几帧给模型看”。抽帧数、采样策略、是否带字幕、是否保留时间戳,都会改变结果。长视频还要看模型能不能定位到具体片段。

把“视频问答”和“视频生成”分开;前者测理解,后者测生成,分数不能混。

文档:ANLS 与精确匹配不是一回事

DocVQA 常用 ANLS(归一化编辑距离),对 OCR 小错更宽容;精确匹配更严。报分数时要写指标,不要只写“准确率”。

文档版面、表格合并单元格、手写体是三个不同难点;抽检时分开看。

参考:MMMU · Video-MME · DocVQA