SFT最佳实践-系列二

When SFT Hurts – Catastrophic Forgetting and Alignment TaxAs LLMs transition through sequential training phases — pre-training → continued pre-training → SFT → RLHF/DPO — performance degradation frequently manifests on standard benchmarks.Two fundamentally distinct phenomena drive these regressions, and confusing them leads to wrong mitigation strategies.随着大语言模型（LLM）经历预训练（pre-training）、持续预训练（continued pre-training）、少样本微调（SFT）、强化学习/对齐（RLHF/DPO）等阶段，其性能在标准基准测试中常常出现（manifest）退化。这种退化主要由两种根本不同的现象驱动，混淆二者会导致错误的缓解策略。Two fundamentally distinct phenomena drive these regressions （两种根本不同的现象驱动着退化，退化被两种根本不同的现象驱动）sequentialsɪˈkwenʃ(ə)ladj. 连续的，按顺序的；依次发生的，相继发生的；（主计算机）顺序的degradationˌdeɡrəˈdeɪʃnn. 丢脸，落魄，侮辱；损害，恶化，衰退；降解；陵夷，剥蚀manifestˈmænɪfestv. 显示，表明；（鬼魂或神灵）显灵，出现；（病症）显现；把……列入货单；显化（指通过可视化和积极思考来帮助梦想成真）adj. 明显的，显而易见的n. 旅客名单，载货清单；货运列车编组清单confusingkənˈfjuːzɪŋadj. 令人费解的，令人迷惑的v. 使迷惑，使困惑；使混乱，使混淆；使更难于理解（confuse 的现在分词）mitigationˌmɪtɪˈɡeɪʃnn. 减轻，缓和；法律减轻罪行的辩护regressionrɪˈɡreʃnn. 后退，倒退；（思想或行为的）退化，退行；（疾病或症状的）消退；（统计）回归fundamentallyˌfʌndəˈmentəliadv. 根本地，基础地；（用来加强语气）从根本上说灾难性遗忘，Catastrophic Forgetting (Structural Erasure，结构抹除)catastrophicˌkætəˈstrɒfɪkadj. 灾难性的；极糟的，失败的；大规模突变的；（与）地质灾变（有关）的erasureɪˈreɪʒə(r)n. 消除；涂擦的痕迹；消磁定义unintentionalˌʌnɪnˈtenʃənladj. 非故意的；无意识的subsequentlyˈsʌbsɪkwəntliadv. 后来，随后disjointdɪsˈdʒɔɪntv. 打散；拆开；（使）关节脱离；adj. 不连贯的；（两个集合）不相交的irreversibleˌɪrɪˈvɜːsəb(ə)ladj. 不可挽回的，无法逆转的；不能治愈的，不能挽救的灾难性遗忘是一种非预期的/非故意的/无意识的（unintentional）优化缺陷：当模型在分布 D_A 上完成优化后，接着在无交集分布 D_B 上继续训练，D_B 所需的权重更新会直接覆盖（physically overwrite）结构编码参数 D_A：知识（knowledge）已被销毁——编码任务A的权重不再存在。若不重新训练，此过程不可逆。公式逻辑：用任务 B 做梯度下降更新参数后，任务 A 的损失大幅上涨，代表模型在旧任务 A 性能严重崩坏示例：先用猫狗图片（分布 D_A）训练分类模型，模型权重记住猫狗视觉特征；再只用花草图片（分布 D_B）继续训练（原来是训练导致权重参数被覆盖，导致了灾难性遗忘）梯度修改全部权重适配花草，模型分辨猫狗的参数被覆盖。最终新模型能分清花草，但几乎分不清猫狗，猫狗相关知识被 “忘干净”Symptomsˈsɪmptəmzn. 症状；症候；病征（symptom 的复数）Symptoms 症状• Complete breakdown on tasks not in fine-tuning data (e.g., model forgets how to do math after SFT on chat data)微调数据集未覆盖的任务（not in fine-tuning data）出现能力彻底崩坏（Complete breakdown）（举例：模型经过对话数据监督微调 SFT 后，丧失数学计算能力）• Loss of language diversity — model only generates in the narrow style of fine-tuning distribution语言多样性缺失 —— 模型生成文风被局限，只能复刻微调数据分布的狭窄表达风格（模型仅在微调分布的窄样式中生成）• Reduced factual accuracy on knowledge not reinforced during fine-tuning微调过程中未反复巩固的（not reinforced）知识，事实准确度（factual