AI技术-监督微调SFT

监督微调SFT监督微调的本质是采用少量的高质量的指令-回答针对仅有续写功能的Base模型改造成会对话的小助手。因为模型的知识和能力全部依靠预训练SFT算法可以激发响应指令分布。所以这个阶段提示词的质量远远比数量要重要的多1000条高质量的精选词条远高于一万条参差不齐的词条所产生的效果好。核心操作使用ChatTemplate拼接多轮对话通过LossMask确保模型只进行学习生成回复功能不去浪费容量来拟合用户提问的分布QAQ1SFT的Loss和预训练有什么区别为什么要Mask掉Prompt部分Loss和预训练的目标函数都是NextTokenPrediction的交叉熵但是SFT算法仅在Response回复部分计算Loss。具体实现是将Prompt的TokenLabel设置为-100因为这样就可以让模型不会自发的学习生成用户问题的分布仅让模型关注于在给定问题下生成回复。如果不进行Mask的话模型就会浪费参数容量来拟合用户输入的分布导致训练集被稀释严重的可能会造成角色模糊。Q2为什么SFT的学习率要比预训练小1-2个数量级一般预训练的数据量都是T级别的需要很大的学习率来快速学习通用的基本知识。但SFT算法的训练数据量比较小一般就数万条到数百万条并且分布很窄不宽泛如果学习率比较高模型就会迅速拟合到SFT的数据上并冲淡预训练阶段学习掌握到的通用能力这就会导致灾难性遗忘。因此SFT学习率通常要比预训练低1到2个数量级这样就可以采用温和的调整模型行为。Q3为什么SFT有时反而会加重模型的幻觉产生这个问题的主要原因是如果SFT数据中存在模型在预训练阶段没有接触过的知识这就相当于告诉模型要在不知道的时候也要给出一个回答但这个回答肯定是一本正经的胡说八道。因此SFT的数据尽量落在模型已存在的知识边界内。对于超出边界的问题SFT数据应该告知模型回答我不知道而不是强行胡编乱造答案否则就会加重幻觉。SFT算法代码/公式示例import torch import torch.nn as nn # 假设 input_ids 已通过 Chat Template 拼接完成 labels input_ids.clone() # 核心将 prompt (system user) 部分的 label 设为 -100 prompt_length len(prompt_tokens) labels[:prompt_length] -100 # 注意EOS token 必须保留计算 loss否则模型学不会停止生成 loss_fct nn.CrossEntropyLoss(ignore_index-100) loss loss_fct(logits.view(-1, vocab_size), labels.view(-1))文章转载自AI技术-监督微调SFThttps://mp.weixin.qq.com/s/Mm0Yl2PEKnIp4Wd5Ykc8Yg