Models · Data · 指南
SFT 数据怎么配比:先定行为,再定数量
SFT 不是把能找到的指令数据全混在一起。先定你要模型学会哪几种行为,再按行为分层配比,最后用留出集检查有没有学偏。
先列行为清单
把目标行为写成可检查的条目:按格式回答、引用来源、承认不知道、拒绝越权、分步骤执行、使用工具前先确认。每条行为对应一类样本,不要用“通用对话”一锅端。
行为清单要和评测集对应。没有对应评测的行为,先不要放进首批训练目标。
配比按“行为覆盖”而不是“数据来源”
常见错误是按来源配比:30% Dolly、30% OASST、40% 合成。应该按行为配比:格式类多少、引用类多少、拒答类多少、工具类多少。来源只作为实现手段。
合成数据可以补长尾,但不要超过总样本的一半;合成数据的风格会放大,必须有真实或人工样本压住。
去重、去模板、去污染
先做近重复去重与模板去重,再把评测集从训练集里剔除。把 MMLU、GSM8K 之类评测题混进 SFT,会让分数虚高,且很难事后发现。
对多轮对话,按“整段对话”去重,不要只按单条消息去重;否则同一段对话换个顺序又进来了。
留出集与回归
留出集要覆盖每个行为,且不能和训练集同源。每次改数据配比都跑同一套留出集,记录版本、样本数、通过率与失败样本。
如果某个行为在留出集上变差,先查这类样本的配比与模板,不要先调模型超参。数据问题通常比超参更贵。