06-LoRA微调实战16GB显存跑7B模型的秘密

LoRA微调实战：16GB显存跑7B模型的秘密全参数微调一个7B模型需要多少显存？模型本身fp16要14GB，优化器状态fp32要28GB，梯度要14GB，加起来56GB起步。一张A100 40GB都装不下。LoRA（Low-Rank Adaptation）把微调参数量降到原来的0.1%，显存需求直接砍到1/5。16GB显存的V100也能微调7B模型。这篇从原理到手写实现到参数调优，把LoRA讲透。LoRA原理：为什么低秩就够了核心观察：预训练模型的权重矩阵W在微调时的变化量ΔW是"低秩"的——不需要完整的d×d矩阵来表达调整，用两个小矩阵A和B就够了。原权重: W ∈ R^{d×d} 参数量: d² LoRA: ΔW = B × A 参数量: 2 × d × r (r d) B ∈ R^{d×r}, A ∈ R^{r×d}前向传播：h = Wx + ΔWx = Wx + BAxr就是LoRA的rank（秩），通常取8、16、64。当d=4096、r=8时，原来一个矩阵要4096×4096=16M参数，LoRA只要2×4096×8=65K参数，降了246倍。为什么低秩有效？微调时模型只需要做小幅调整，不是从头学。小幅调整不需要满秩矩阵来表达。好比给你一张照片做微调——改亮度对比度几个旋钮就够了，不用重画整张照片。手写LoRA实现不用任何库，20行代码实现LoRA：importtorchimporttorch.nnasnnimportmathclassLoRALinear(nn.Module):"""LoRA适配的线性层"""def__init__(self,original_linear:nn.Linear,rank:int=8,alpha:float=16.0,dropout:float=0.0,):super().__init__()self.original=original_linear self.rank=rank self.alpha=alpha self.scaling=alpha/rank# 缩放因子d_in=original_linear.in_features d_out=original_linear.out_features# LoRA矩阵self.lora_A=nn.Parameter(torch.empty(d_in,rank))self.lora_B=nn.Parameter(torch.zeros(d_out,rank))# Dropoutself.dropout=nn.Dropout(dropout)ifdropout0elsenn.Identity()# 初始化：A用Kaiming，B用零# 这样训练开始时BA=0，模型行为和原始一样nn.init.kaiming_uniform_(self.lora_A,a=math.sqrt(5))# B已经初始化为零# 冻结原始权重self.original.weight.requires_grad=Falseifself.original.biasisnotNone:self.original.bias.requires_grad=Falsedefforward(self,x:torch.Tensor)-