【Bug已解决】[Bug] AdaLora‘s update_and_allocate method is lost in inject_adapter_in_model() preventing r

【Bug已解决】[Bug] AdaLoras update_and_allocate method is lost in inject_adapter_in_model() preventing rank pruning 解决方案一、现象长什么样AdaLoRA 的核心卖点是训练过程中按重要性动态剪枝rank pruning每个 adapter 层的update_and_allocate()方法会根据梯度敏感度把不重要的奇异值rank置零实现“预算内最优秩分配”。但当你用inject_adapter_in_model()这个轻量注入函数不包一层完整PeftModel把 AdaLoRA 塞进模型时发现from peft import inject_adapter_in_model, AdaLoraConfig config AdaLoraConfig(...) inject_adapter_in_model(config, model) # 注入成功 # 训练若干步后查看rank 没有被剪枝budget 没生效更隐蔽的是有些路径下会直接报AttributeError: AdaLoraLayer object has no attribute update_and_allocate或者update_and_allocate存在却从没被调用因为注入流程没把 AdaLoRA 需要的“重要性估计 分配”钩子接上。结果AdaLoRA 退化成普通 LoRArank pruning 完全失效。本文讲清根因与修复。二、背景PEFT 有两条把 adapter 装进模型的路径get_peft_model(base, config)返回PeftModel它会按 config 类型AdaLora正确构造AdaLoraModel注册所有 AdaLoRA 专属的状态lora_E、lora_A、lora_B、d向量和update_and_allocate的调用时机在optimizer.step()后由AdaLoraModel统一触发。inject_adapter_in_model(config, model)轻量函数直接把 adapter 层替换进原模型的 module 树不包 PeftModel。它依赖各 tuner 自己实现inject_adapter_in_model逻辑如果某个 tuner这里就是 AdaLoRA的注入实现没把update_and_allocate的触发机制带上剪枝逻辑就丢了。AdaLoRA 的剪枝发生在每次优化器 step 之后AdaLoraModel.update_and_allocate()读各层的重要性orth_reg_weight相关的敏感度重排并裁剪最不重要的 rank更新mask/d。这条调用链只有在AdaLoraModel的trainable流程里才存在。inject_adapter_in_model走的是另一条更薄的代码路径早期实现里漏掉了这一步。三、根因根因 Ainject_adapter_in_model没触发update_and_allocate最直白的原因。轻量注入只做了“把AdaLoraLayer替换进去”但没接上“step 后调用update_and_allocate”的钩子。于是层在剪枝逻辑不在。根因 BAdaLoRA 必需的辅助状态没初始化AdaLoraLayer需要lora_E缩放向量、d当前秩分配、orth_reg_*等状态。inject_adapter_in_model若只调用了通用注入、没走 AdaLoRA 的create_adapter/init_adapter这些状态可能是默认的重要性估计无法计算。根因 C调用方在optimizer.step()后没有手动触发即使用inject_adapter_in_model正确的用法是训练循环里在step()后手动调用model.update_and_allocate()或遍历 AdaLora 层调用。很多人以为和get_peft_model一样自动触发结果从没调用。根因 D版本差异某些 PEFT 版本里inject_adapter_in_model对 AdaLoRA 的支持是后来补的老版本天然缺失。需要确认版本是否在修复之后。根因小结AdaLoRA 的 rank pruning 依赖update_and_allocate它在AdaLoraModel的 step 后流程里触发inject_adapter_in_model是薄路径早期漏接这个触发正确修复用get_peft_model走完整 AdaLoRA或在注入后手动触发update_and_allocate。四、最小可运行复现下面脚本对比“用 get_peft_model剪枝生效”和“用 inject_adapter_in_model 但没手动触发剪枝失效”import torch import torch.nn as nn from peft import AdaLoraConfig, get_peft_model, inject_adapter_in_model class Tiny(nn.Module): def __init__(self): super().__init__() self.lin nn.Linear(32, 16) def forward(self, x): return self.lin(x) def make_cfg(): return AdaLoraConfig( r8, lora_alpha16, target_modules[lin], lora_dropout0.0, total_r8, # 剪枝预算相关 beta10.85, beta20.85, orth_reg_weight0.5, inference_modeFalse, ) def train_loop(model, steps20): opt torch.optim.AdamW(model.parameters(), lr1e-3) x torch.randn(4, 32) y torch.randn(4, 16) for _ in range(steps): opt.zero_grad() loss ((model(x) - y) ** 2).mean() loss.backward() opt.step() # 关键AdaLoRA 需要在 step 后触发 update_and_allocate if hasattr(model, update_and_allocate): model.update_and_allocate(global_step_) elif hasattr(model, base_model) and hasattr(model.base_model, update_and_allocate): model.base_model.update_and_allocate(global_step_) def rank_budget_used(model) - int: used 0 for m in model.modules(): if hasattr(m, d): # AdaLoraLayer 有 d 向量 used int((m.d 0).sum()) if m.d is not None else 0 return used def main(): # 路径1完整 PeftModel剪枝自动触发 m1 get_peft_model(Tiny(), make_cfg()) train_loop(m1) print(get_peft_model 路径剩余秩预算:, rank_budget_used(m1)) # 路径2inject_adapter_in_model若没手动触发则剪枝无效 m2 Tiny() inject_adapter_in_model(make_cfg(), m2) train_loop(m2) # 这里 hasattr(m2,update_and_allocate) 可能为 False - 没剪枝 print(inject 路径剩余秩预算:, rank_budget_used(m2)) if __name__ __main__: main()运行后你会看到两条路径的“剩余秩预算”不同——路径2 若没触发update_and_allocate秩分配保持初始值剪枝没发生正是 bug 现象。五、解决方案第一层最小直接修复最稳的修复用get_peft_model走完整 AdaLoRA 流程剪枝自动在 step 后触发不要为了省事用inject_adapter_in_modelfrom peft import get_peft_model, AdaLoraConfig config AdaLoraConfig(r8, total_r8, target_modules[lin], orth_reg_weight0.5) model get_peft_model(base_model, config) opt torch.optim.AdamW(model.parameters(), lr1e-3) for step, batch in enumerate(loader): loss model(**batch).loss loss.backward() opt.step() model.update_and_allocate(global_stepstep) # PeftModel 也支持手动触发如果确实要用inject_adapter_in_model比如要保留原模型类型则必须手动在 step 后触发剪枝inject_adapter_in_model(config, model) opt torch.optim.AdamW(model.parameters(), lr1e-3) for step, batch in enumerate(loader): loss model(**batch).loss loss.backward() opt.step() # 手动遍历所有 AdaLora 层触发剪枝 for module in model.modules(): if hasattr(module, update_and_allocate): module.update_and_allocate(global_stepstep)六、解决方案第二层结构性改进6.1 封装一个“触发 AdaLoRA 剪枝”的 helper避免到处手写遍历def trigger_adalora_pruning(root_module, global_step: int): for m in root_module.modules(): fn getattr(m, update_and_allocate, None) if callable(fn): fn(global_stepglobal_step)6.2 选择路径时给出明确建议def build_adalora(base, config, lightweight: bool): if lightweight: inject_adapter_in_model(config, base) return base # 调用方负责手动触发剪枝 return get_peft_model(base, config) # 自动触发6.3 升级 PEFT 到修复版本inject_adapter_in_model对 AdaLoRA 的支持在后续版本补齐。确认版本python -c import peft; print(peft.__version__)并查看对应版本的inject_adapter_in_model是否已对 AdaLora 注册update_and_allocate触发。若版本过旧升级即可。七、解决方案第三层断言 / CI 守护加测试确认剪枝确实发生秩预算被重新分配import torch import pytest from peft import AdaLoraConfig, get_peft_model, inject_adapter_in_model def test_adalora_prunes_with_peft_model(): model get_peft_model(build_base(), AdaLoraConfig(r8, total_r8, target_modules[lin])) before sum(int((m.d 0).sum()) for m in model.modules() if hasattr(m, d)) train_and_prune(model, steps30) after sum(int((m.d 0).sum()) for m in model.modules() if hasattr(m, d)) assert after ! before or after 8 * n_layers, AdaLoRA 未触发 rank pruning def test_inject_requires_manual_trigger(): base build_base() inject_adapter_in_model(AdaLoraConfig(r8, total_r8, target_modules[lin]), base) with pytest.raises(AssertionError): # 若没手动触发d 向量不应变化 assert any(hasattr(m, update_and_allocate) for m in base.modules())CI 里两个用例都过说明“薄注入路径必须手动触发”的约定被守住不会再有人以为自动剪枝。八、排查清单AdaLoRA 不剪枝时查用的是get_peft_model还是inject_adapter_in_model后者是薄路径剪枝触发可能缺失。update_and_allocate有没有被调用在optimizer.step()之后必须触发一次。注入路径下有没有手动遍历触发inject_adapter_in_model需手动module.update_and_allocate(global_step)。AdaLoRA 辅助状态初始化了没lora_E、d、orth_reg_*必须由 AdaLoRA 的init_adapter建。PEFT 版本够新吗老版本inject_adapter_in_model对 AdaLoRA 支持不全。total_r / budget 设了吗没设预算剪枝无目标。d向量变化了吗用rank_budget_used检查剪枝是否真发生。九、小结“AdaLoras update_and_allocate method is lost in inject_adapter_in_model() preventing rank pruning” 的根因是轻量注入路径漏接了 AdaLoRA 的剪枝触发AdaLoRA 的 rank pruning 靠update_and_allocate()它在AdaLoraModel即get_peft_model路径的 step 后流程里自动触发inject_adapter_in_model()是更薄的函数早期实现没把触发接上导致剪枝静默失效最稳修复用get_peft_model走完整 AdaLoRA若坚持用inject_adapter_in_model必须在optimizer.step()后手动遍历触发update_and_allocate(global_step)升级 PEFT 到修复版本也能解决用d向量/秩预算变化的断言守护“剪枝确实发生”。一句话AdaLoRA 想剪枝step 之后必须调update_and_allocateinject_adapter_in_model不会自动调要么换get_peft_model要么自己手动触发。