Models · Evals · 指南
多模态评测怎么读:图像、视频、文档三套口径
多模态分数受分辨率、抽帧、OCR 和答案格式影响。先确认它测的是哪一类输入,再谈分数能不能比。
图像:分辨率与 OCR 是隐藏变量
同一张图,缩到 512 和原图 2048,OCR 与细节题分数会差很多。评测卡要写图像长边、压缩方式、是否切图。
图表题还要看单位、刻度和图例;模型答对数字但读错单位,不能算对。
视频:抽帧数与时间戳决定上限
视频理解不是“抽几帧给模型看”。抽帧数、采样策略、是否带字幕、是否保留时间戳,都会改变结果。长视频还要看模型能不能定位到具体片段。
把“视频问答”和“视频生成”分开;前者测理解,后者测生成,分数不能混。
文档:ANLS 与精确匹配不是一回事
DocVQA 常用 ANLS(归一化编辑距离),对 OCR 小错更宽容;精确匹配更严。报分数时要写指标,不要只写“准确率”。
文档版面、表格合并单元格、手写体是三个不同难点;抽检时分开看。