长推理SFT为何要调大epoch？旧数据复用是关键

这个标题我第一眼看过去，心里想的是——这不扯淡吗？传统监督微调的基本功明明是“epoch不要贪，1~3个就收手”，怎么还调大？但我在长推理（long reasoning）SFT上反复做了几轮实验之后，不得不承认：Chat类SFT的经验搬到长推理场景里确实不适用。长推理SFT不但要调大epoch，而且旧数据在里面扮演的角色比很多人想象中重要得多。这篇文章就把我自己的思考过程、实验对照和落地参数一次性讲清楚，给你一条能直接拿去用的路线。

长推理SFT说的不是那种“给我写一句欢迎语”的指令微调，而是让模型输出几十步甚至上百步思维链的推理任务，比如数学证明、竞赛题、逻辑推理、复杂代码设计。这类任务下，模型学的不是“输入到输出的快捷映射”，而是一整套可复用的推理策略。这个区别决定了epoch和数据策略都要换思路。

1. 长推理SFT到底在训练什么

1.1 它和普通Chat SFT的本质区别

普通SFT的目标是让模型学会一种交互习惯：用户说什么，模型怎么接。这个习惯一旦学会，样本之间高度相似，模型很快就能从几千条数据里抽出公共模式。因此1~2个epoch就够了，多了反而容易把模型“教油”，变得只会复读训练集里的套话。

但长推理SFT完全不同。模型需要学的不是“这句话怎么接”，而是“这个问题怎么拆”。以数学证明为例，一个完整的长思维链通常包含探索、试错、修正、验证等多个环节。模型不仅要学会每一步该做什么，还要学会什么时候放弃当前路径、什么时候切换到另一条思路。这是策略级别的模仿，不是模式级别的记忆。

给我自己的直观类比：教新手做菜，Chat SFT是给菜谱，输入“宫保鸡丁”输出“鸡丁过油、调汁、翻炒”，背下来就行；长推理SFT是培养一个厨师的临场思维，比如酱汁炒干了怎么补救、火大了怎么调、怎么判断鸡肉刚好断生。后者没法靠看一遍菜谱就学会，必须反复练习形成肌肉记忆。

1.2 为什么推理行为模式很难一次训练到位

原因在于长思维链的表征极其分散。同一个数学问题，不同数据点里的解题路径可能完全不一样，有的是枚举法，有的是构造反例，有的是化简公式；就算路径相似，中间某个关键步骤的选择点也可能不同。模型只过一个epoch，大概率只记住了每条数据表面的token分布，而没有把背后那个抽象的“推理策略分布”提炼出来。

我见过很多刚上手长推理SFT的开发者，包括我自己，在第一个epoch结束时看训练loss已经降得不错，就习惯性停下，结果模型在验证集上的pass@1指标很一般。症结就在这里：loss下降只说明模型开始拟合这批数据，不代表它已经内化了推理结构。

另一个容易被忽略的因素是，长推理样本的单个序列长度经常在几千token以上，而梯度是逐token累积的。模型学会“这一步为什么这么做”和学会“这一步后面该输出什么字”是两码事。前者需要多轮梯度反复强调，后者可能第一轮就有信号。

2. 为什么长推理SFT需要调大epoch

2.1 高质量长推理数据量本来就小

长推理SFT的数据不像通用指令数据那样容易获取。你得先想办法让某个模型或人工标注产出一条合理的完整推理链，再做筛选、做修正，成本很高。这也导致常见的开源长推理微调集往往只有几千到两三万条，比起通用SFT动辄几十万条的规模，完全是小体量。

在数据量这么小的前提下，只训1个epoch就好比让一个新员工只看一遍公司制度就去处理客户投诉，不可能不出问题。模型一次根本看不完所有推理结构，谈何泛化。

我自己通常的起点是：单条数据至少过3遍。如果数据量在5000条以下，甚至会把训练步数推进到4~5个epoch再观察验证集表现。

2.2 长推理训练中的loss很“平”

可能你会问，既然loss在1个epoch后就降下来了，为什么不多学到东西？这个问题我纠结了挺久。后来在一次实验里我记录到：从epoch 2到epoch 5，训练loss每轮只降一点点，看起来像收敛了，但模型在验证集上的生成质量却在持续变好，尤其是推理步骤的完整性和可读性明显提升。

我理解的原因是这样的：长序列的交叉熵loss天然被序列长度摊薄了。单个错误token对整体loss的贡献很小，梯度信号被分散到几百上千个token上。因此loss曲线看起来“平”，实际上参数还在缓慢地往泛化更好的方向移动。

用开车来类比，你在山区开一条陌生路线，第一遍只能记住大概方向，第二遍开始注意弯道，第三遍才能真正形成肌肉记忆。只看一张loss曲线图就喊停，等于你只开了第一遍就下车，后面那些真正重要的经验全没拿到。

2.3 多epoch不等于过拟合，要看你怎么防

很多人的顾虑是“epoch大了必然过拟合”。这个说法在长推理SFT里并不完全成立，关键在于过拟合的表现形式不一样。传统SFT过拟合，模型开始逐字背诵训练集，验证集loss飙升，一眼就能看出来；长推理SFT过拟合，模型其实很少逐字背诵，它更可能表现为“输出路径单一化”，比如所有问题都强行套同一种解题模板，或者思维链里大量重复废话。

这种过拟合不能靠简单调小epoch来避免，反而需要靠正则化手段来控制。我常用的做法有三件：

• 学习率不要拉太高，尤其是多epoch训练的后半段，建议用余弦退火把lr逐步压低；
• 在数据里故意混入一定比例的负样本（错误推理路径），让模型学会区分；
• 必要时冻结底层的embedding层，只训练上层注意力参数，减少表示漂移。

换句话说，如果想防过拟合，先把学习率和数据质量管好，再用epoch调深度，而不是一味地怕多训练。

3. “旧数据”在新数据增量训练中的特殊价值

3.1 什么是SFT场景下的“旧数据”

这里要先说清楚旧数据指什么。在实际项目里，很少有人只做一次SFT就收工。通常是先收集一批数据训练出一个版本，模型上线后用户反馈出一些新问题，再补充一批修正数据、错误答例，然后在上一版checkpoint上继续训练。

于是数据集变成两部分：一部分是之前已经训练过的旧数据，一部分是这轮新引入的新数据。旧数据往往占大头，而且经过上一轮验证，质量是有保障的；新数据量少但针对性强，专治当前模型的已知弱点。

很多人在这种增量训练里会直接把新旧数据混在一起跑几个epoch，觉得这样就算“模型都见过了”。但这正是问题所在——如果新旧数据统一用相同的采样权重，新数据里的关键修正信号很快被旧数据洪流淹没，训练出来的模型该犯的错可能还在犯；反过来，如果你为了提高新数据权重而丢掉旧数据，模型又会表现出明显的能力退化。

3.2 为什么旧数据要多训几遍才稳

这里有个反直觉的点：旧数据明明已经被模型学过了，再重复训练还有意义吗？

有，而且意义比你想的大。我倾向于从“行为巩固”的角度来理解这件事。长推理的推理策略不是一次梯度更新就能写进参数里的，它需要反复强化才能在参数空间里形成一个稳定的“吸引子”。旧数据正是巩固这个吸引子的原材料。

用体育锻炼来说，新招式要学会没错，但旧的基本功每天都要练，否则关键时刻动作就会变形。模型也是一样，新数据教会了它应对新题型的方法，但如果不同时用旧数据反复巩固原有的推理习惯，它极有可能在优化新数据的过程中把旧策略一并冲掉。

持续学习领域的经验回放（experience replay）也印证了这一点：在有新旧数据分布差异的情况下，旧数据不仅不能丢，还应该以更高的频率被采样。长推理SFT因为推理策略更难固化，这个效应被放得更明显。

3.3 旧数据重复训练的具体实现

具体操作不复杂。你有两种方式，我交替用过：

一是直接把旧数据在数据集构建阶段复制若干份，再和新数据拼在一起训练。比如新数据4000条，旧数据6000条，想让旧数据多训练一个epoch，就把它复制一份，得到旧数据12000条加新数据4000条，总样本16000条。这种方式简单粗暴，缺点是旧数据在整体中占比过高，训练步数会明显变长。

二是给旧数据设一个更高的采样权重，用WeightedRandomSampler实现。代码大致长这样：

from torch.utils.data import DataLoader, WeightedRandomSampler # 假设train_dataset里每个样本带一个is_old字段 weights = [] for sample in train_dataset: if sample["is_old"]: weights.append(1.5) # 旧数据权重略高 else: weights.append(1.0) # 新数据权重正常 sampler = WeightedRandomSampler( weights, num_samples=len(train_dataset), replacement=True ) dataloader = DataLoader(train_dataset, batch_size=16, sampler=sampler)

我建议先从旧数据权重1.25~1.5起步，不要上来就翻倍。重复倍数过高会让模型陷入旧模式的“舒适区”，反而吸收不了新数据的关键修正信息，这一点我后面踩坑实录里还会细说。

4. 实操过程：一个典型的实验对照

4.1 实验配置与分组设计

用一个模拟项目X来说明，背景是给某开源底座模型做数学长推理SFT。训练数据总共10000条：6000条是已经过一遍训练的旧数据，4000条是新增的针对模型弱点的修正数据。底座模型只有一个，不是从零预训练，所以我们要观察的是SFT阶段的差异。

三组对照：

• A组：常规做法，全量数据合并，统一2个epoch，不做任何特殊处理。
• B组：全量数据合并统一2个epoch，但旧数据在数据集里多复制1份（等价于旧数据被看到4次，新数据2次）。
• C组：旧数据多复制2份（等价于旧数据被看到6次，新数据2次）。

优化器统一用AdamW，学习率取常规中值，配合一个总步数3%的warmup，然后走余弦退火。weight decay保持0.01。评价指标不用单一看准确率，加一个“路径稳定率”——判断思维链中的重复废话比例、错误回溯次数是否符合预期。

4.2 各组的关键趋势

表格里的数值我就不给死数据了，因为不同数据分布下差异很大，但趋势我在多个数据集上复验过，稳定成立。

A组是最标准的“害怕过拟合所以少训”的做法，实际效果反而是三组里最差的。这验证了我前面说的：长推理SFT里的欠拟合风险远高于过拟合风险。

B组是甜点位。旧数据4次、新数据2次这个比例下，模型既保留了对旧分布的记忆，又能吸收新数据里的修正信号。验证集上能看到比较干净的推理链，步骤之间的逻辑衔接也更自然。

C组开始出现副作用，有点“练过度”的味道。模型在部分难题上还能继续提升，但整体输出明显变啰嗦。看案例时发现，模型会在不该验算的步骤上反复自检，甚至出现“我觉得前面可能算错了，再算一遍”这类无意义循环。这就是过拟合在长推理任务中的真实表现——不是背答案，是路径僵化和冗余化。

4.3 参数选择与具体建议

如果你不想做那么复杂的对照，我给出一个可以直接照抄的小流程：

• 拿到新一轮数据后，先把旧数据按质量过滤一遍，只保留那些在上一版模型上回答正确或经过人工修正的高质量样本；
• 高质量旧数据复制1~2份，低质量旧数据不复制；
• 与新数据混合，整体训练2~3个epoch即可；
• 学习率比常规SFT再压低一点，如果上一轮用5e-5，这次就降到3e-5左右；
• 在验证集上监控pass@1和平均输出长度，如果平均输出长度在后期突然增长，立刻减少旧数据重复份数。

我特别想强调一点：不要把多epoch当成可以无脑加的东西。它的前提是数据本身有多样性，模型才有东西可学。如果旧数据本身就只有两三条模板式的推理链，重复10遍的结果就是把模型彻底锁死在这几条模板里。旧数据也要挑，宁缺毋滥。

4.4 关于“先旧后新”还是“先新后旧”

训练顺序也是一个值得玩的变量。我曾经试过两种顺序：

• 先在新数据上单独训练0.5个epoch，再混合新旧数据训练剩余epoch。好处是模型先快速吸收修正信号，不至于被旧数据淹没。
• 先拿旧数据做1个epoch的“回忆热身”，再进入混合阶段。好处是参数先回到一个熟悉的起点，模型在学习新东西时表示更稳定。

我个人的经验是，如果新数据是针对某个已知缺陷的少量修正样本，先新后旧更有效，因为缺陷信号越早接触、越早被放大。如果新旧数据规模差距特别大，新数据只有几百条，那先旧热身更重要，否则那点新信号很容易在初始化阶段被冲掉。

5. 常见问题与排查技巧实录

5.1 别只盯着训练loss看

长推理SFT最坑的地方，就是训练loss在epoch 2之后基本看不出什么变化。很多人连着跑了好几天，一看loss没降就提前停了，白白错过了后面那些真正提升泛化能力的梯度更新。

我现在判断训练是否到位的核心指标有三个：

• 验证集pass@1是否还在涨；
• 输出思维链的格式违规率是否在下降；
• 对训练集里相似题目的改写泛化能力是否在提升，也就是换个数字、换个问法还能不能解。

如果这三个指标都在变好，哪怕loss纹丝不动，也建议让训练继续跑。反过来，就算loss还在降，但模型输出开始出现大量重复车轱辘话，那就要警惕过拟合了。

5.2 旧数据重复后loss上升了怎么办

我自己踩过的坑是，第一次调大旧数据权重后，训练loss不但没降反而在某个step突然跳高，然后就一直下不来。当时以为是bug，后来排查下来是旧数据里混着不少带错误标注的长样本，被重复采样后错误信号被放大了。

这里给一个排查清单，直接按下面顺序走：

这条清单我打印出来贴在工位上，每次实验出问题，先排除数据噪声，再调学习率，最后才动epoch和采样权重。

5.3 数据配比与难度权重的一些坑

简单复制旧数据虽然方便，但它默认了一个假设：所有旧数据价值相同。这在实际项目中不成立。

我的做法是给数据加一个“难度/质量代理指标”。在长推理任务里，一个很方便的代理指标是模型在旧checkpoint上的回答正确率。如果旧模型对某条旧数据答错了，这条样本往往意味着一个尚未完全固化的推理模式，值得多重复几次；如果旧模型已经能稳定答对，重复的意义就相对小。

但要注意另一面：如果某条数据连更强模型都给不出稳定答案，说明这个任务本身太模糊，靠SFT硬学只会给模型塞噪声。这种极端困难样本别重复，直接丢掉都比留着强。

另外，类别平衡也很关键。长推理数据里如果大部分是代数题，几何题就这么三五条，那重复时按难度加权的话，几何题很容易被淹没。建议计算完权重后看一眼类别分布，必要时按类别单独做重采样。

5.4 一个容易被忽略的“遗忘”问题

最后提一个我踩过最隐蔽的坑：增量训练时，旧数据如果包含一些被后续新数据纠正过的错误标注，一定要先过滤掉再重复。这类数据在新一轮训练中会成为矛盾的监督信号，你越重复它，模型越迷茫。

我当时就吃过这个亏：有一批旧数里几十条几何题的推理链存在中间步骤错误，后续新版本数据已经把正确答案覆盖了，但旧数据仍然躺在库里。结果旧数据权重一调大，模型反而开始新老答案混合输出，验证集指标不升反降。后来把这批冲突数据彻底移除，问题就消失了。

所以调大旧数据epoch之前，先花半小时做一遍数据冲突检测，问自己三个问题：这条旧数据有没有被新数据修正过？它代表的推理模式在上一轮验证中是否真的有效？重复它会不会挤压新数据的学习空间？三个问题都通过，再放心加权重。

我个人在实际操作中的体会是，“调大你的epoch”这句话的真正重点不是让你无脑增加训练轮数，而是提醒你重新审视长推理任务的训练动力学。传统短问答SFT的“少epoch”惯性太强，在长推理场景下真的会误导判断。我现在做增量训练时，默认流程就是：旧数据按质量筛选后复制1~2份，新数据保持原始权重，整体训2~3个epoch，学习率压低，验证集看pass@1和输出长度是否同步变好。这个策略帮我解决了好几轮实际项目里的推理稳定性问题。如果你也被“少epoch教条”绕住了，不妨从旧数据多重复一份开始试，成本极低，但收益大概率超出你的预期。