跳到主要内容Skip to main content

Models · Evals · 指南

评测污染怎么查:先看题集时间,再做检索

模型分数高,不一定是能力强,可能是题目见过。污染检查不是一句“我们做了去重”,而是可复现的题集时间线 + 检索证据。

先建题集时间线

记录题集首次公开日期、当前版本、训练语料截止日期。训练截止晚于题集公开,就有污染可能;训练截止早于题集公开,也不能完全排除,因为模型可能见过转述或泄漏版本。

把题集拆成“公开题 / 隐藏题 / 新出题”三类;只有隐藏题或新题才能比较干净地测能力。公开题分数要标注“可能污染”。

再做三种检索检查

精确匹配:把题面做规范化(去标点、统一大小写、去空白),在训练语料里查完全相同的 n-gram。命中率高,说明题面直接进过训练。

近似匹配:用 MinHash / SimHash 或嵌入检索找改写版本;注意代码题要按 token 而不是按行匹配。

答案匹配:有些题面没进训练,但答案与解析进了;把答案、选项和解析一起查。

最后看分数是否“异常整齐”

同一模型在公开集上明显高于隐藏集,或不同模板下分数波动异常小,都值得怀疑。把 prompt 模板、few-shot 数、选项顺序换一遍;如果分数几乎不变,可能不是能力而是记忆。

污染检查结果要写进评测卡:查了什么、命中多少、剩余风险是什么。不要只写“已检查”。