跳到主要内容Skip to main content

Models · Data · 指南

SFT 数据怎么配比:先定行为,再定数量

SFT 不是把能找到的指令数据全混在一起。先定你要模型学会哪几种行为,再按行为分层配比,最后用留出集检查有没有学偏。

先列行为清单

把目标行为写成可检查的条目:按格式回答、引用来源、承认不知道、拒绝越权、分步骤执行、使用工具前先确认。每条行为对应一类样本,不要用“通用对话”一锅端。

行为清单要和评测集对应。没有对应评测的行为,先不要放进首批训练目标。

配比按“行为覆盖”而不是“数据来源”

常见错误是按来源配比:30% Dolly、30% OASST、40% 合成。应该按行为配比:格式类多少、引用类多少、拒答类多少、工具类多少。来源只作为实现手段。

合成数据可以补长尾,但不要超过总样本的一半;合成数据的风格会放大,必须有真实或人工样本压住。

去重、去模板、去污染

先做近重复去重与模板去重,再把评测集从训练集里剔除。把 MMLU、GSM8K 之类评测题混进 SFT,会让分数虚高,且很难事后发现。

对多轮对话,按“整段对话”去重,不要只按单条消息去重;否则同一段对话换个顺序又进来了。

留出集与回归

留出集要覆盖每个行为,且不能和训练集同源。每次改数据配比都跑同一套留出集,记录版本、样本数、通过率与失败样本。

如果某个行为在留出集上变差,先查这类样本的配比与模板,不要先调模型超参。数据问题通常比超参更贵。