1. 基于能量路由的在线持续学习Routing without Forgetting深度解析持续学习Continual Learning是机器学习领域的重要挑战它要求模型在不断学习新任务的同时避免遗忘已掌握的知识。随着Vision TransformersViTs成为计算机视觉的主流架构如何在Transformer框架下实现高效的持续学习成为研究热点。传统方法通常采用参数隔离或重放机制来缓解灾难性遗忘问题但这些方法在严格的在线学习场景中存在明显局限。本文将深入解析Routing without ForgettingRwF这一创新方法它通过能量路由机制重新定义了持续学习的实现范式。与主流方法不同RwF不依赖任务特定的参数模块或重放缓冲区而是将持续学习重构为特征空间内的动态路由问题。这种方法在现代Hopfield网络的启发下通过严格凸自由能函数的最小化生成唯一均衡分布实现了单次前向传播中的路由决策。1.1 持续学习的核心挑战与现有方案持续学习面临的核心挑战是灾难性遗忘Catastrophic Forgetting——当模型学习新任务时会覆盖或破坏先前任务中获得的知识表征。这种现象在神经网络中尤为显著因为网络的参数共享机制使得不同任务的知识会相互干扰。当前主流的解决方案可分为三大类重放机制Replay-based Methods保存部分旧任务的样本在学习新任务时混合使用。典型代表如ERExperience Replay和DERDark Experience Replay。这类方法虽然有效但需要额外的存储空间且可能引发隐私问题。参数隔离Parameter Isolation为不同任务分配独立的参数子集。包括提示调优Prompt Tuning如L2P、DualPrompt等方法学习任务特定的提示词适配器Adapters在Transformer层中插入小型可训练模块LoRALow-Rank Adaptation通过低秩矩阵调整预训练权重正则化方法Regularization-based Approaches如EWCElastic Weight Consolidation通过重要性加权限制关键参数的更新。这些方法在离线或多次迭代的学习场景中表现良好但在严格的在线持续学习Online Continual LearningOCL环境下却面临严峻挑战。OCL要求模型数据以非平稳流的形式到达每个样本通常只观察一次需要立即适应分布变化在这种约束下依赖迭代优化的参数隔离策略往往反应迟缓——路由决策需要通过连续的参数更新逐步修正而单次观察无法提供足够的优化机会。1.2 RwF的创新思路从参数隔离到能量路由RwF提出了根本性的范式转变将持续学习视为路由问题而非参数隔离问题。其核心思想是在严格的在线约束下模型应动态选择适合当前输入的表示子空间而不需要显式的任务标识符也不完全依赖累积的参数特化。具体而言RwF在Transformer架构中引入了基于能量的联想检索层受现代Hopfield网络启发实现了以下突破输入条件路由路由提示routing prompts通过当前特征序列的单步联想检索生成而非预先学习的任务条件参数能量最小化路由决策对应于严格凸自由能函数的最小化产生闭式解的唯一均衡分布架构平滑性路由权重连续依赖于输入特征防止流数据分布变化下的突然表征转换这种设计带来了关键优势路由在每次前向传播中重新计算即使参数尚未收敛表征选择也能立即适应分布变化检索操作是连续且输入平滑的有助于缓解流数据漂移下的突然表征转换仅需增加约2.1%的可训练参数保持参数高效性1.3 RwF的架构实现RwF的核心组件是路由增强的Transformer块其结构如图1所示。给定输入token Zℓ基于Hopfield的联想检索模块通过对token特征进行能量池化生成输入条件路由提示Pℓ。这些提示与原始token拼接后送入标准的多头自注意力MHSA模块。经过MHSA处理后只有主干token Zℓ被传播到后续MLP块和下一层而路由提示Pℓ被丢弃——这种设计确保路由保持输入驱动而非跨任务存储。数学上联想路由算子H定义为Pℓ H(Qℓ, Zℓ) ρ(βQ̃ℓKℓ^⊤)Vℓ其中ρ表示行向softmax算子β 0是逆温度参数。路由矩阵Aℓ(Zℓ) ρ(βQ̃ℓKℓ^⊤) ∈ ℝ^(m×L)为每个查询定义了输入token上的概率分布。从能量视角看检索对应于最小化自由能函数F(p;q) -∑pi⟨q̃,ki⟩ β^(-1)H(p)其中H(p)是香农熵。对齐项鼓励路由分布集中于与当前特征几何最兼容的token可塑性而熵项阻止退化的一热分配并促进更平滑的分配稳定性。由于负熵在概率单纯形上是严格凸的能量F存在唯一的全局最小化器p*由公式3中的softmax分布给出。2. RwF的性能分析与实验验证2.1 基准测试与实验设置研究团队在三个标准的Class-IL基准上评估RwFSplit-CIFAR10010个任务每个任务10个类Split-ImageNet-R10个任务每个任务20个类Split-ImageNet-S10个任务每个任务100个类实验遵循严格的单次评估协议使用在ImageNet-21k上预训练的ViT-B/16主干Adam优化器批量大小为64。每个任务仅处理一次每个样本观察恰好一次完全符合OCL设定。评估指标包括最终平均准确率AFinal学习完所有任务后在所有任务上的平均准确率遗忘Forgetting训练期间每个任务达到的最佳准确率与最终准确率之间的平均差距2.2 主要实验结果表1展示了RwF与最先进方法的比较结果包括重放基ER、MIR、DER、正则化方法EWC、提示基L2P、DualPrompt、CODA-Prompt和适配器方法Online-LoRA、InfLoRA、APER、EASE。在Split-ImageNet-R和Split-ImageNet-S上RwF分别达到74.09%和61.37%的最终准确率显著优于DualPrompt60.88%/42.40%、CODA-Prompt66.16%/47.59%等基线方法。值得注意的是RwF仅引入约2.1%的可训练参数远低于CODA-Prompt5.0%等组合提示方法。在Split-CIFAR100上虽然EASE获得最高准确率84.81%但RwF82.48%仍保持竞争力。性能差距的缩小可能与CIFAR100的低分辨率和有限空间细节有关——在特征几何提供较少信息路由方向的情况下动态特征重分配的相对优势会降低。2.3 少样本与数据稀缺场景下的鲁棒性表2展示了训练样本逐步减少时从100%到20%的性能变化。在所有数据情况下RwF都保持最高准确率。当数据减少到20%时RwF仍保持62.29%的准确率而InfLoRA等方法的性能急剧下降。这一现象与RwF的架构设计高度相关提示和适配器方法依赖额外参数的迭代梯度驱动特化当每个任务的样本减少时这些参数得不到足够的更新以形成稳定的任务特定表示。而联想路由在每次前向传播中根据当前特征几何重新计算路由决策不完全依赖对任务数据的重复曝光。2.4 路由深度与容量的影响表3研究了HopfieldPoolingHP层数量和位置对性能的影响。关键发现包括在早期块中插入HP层First-k通常比限制路由到深层Last-k获得更好性能在Split-CIFAR100上k5时准确率达到峰值82.89%在Split-ImageNet-R上k7时性能最佳75.39%权衡准确率和参数效率后选择k3作为默认配置仅增加~2.1%参数这些趋势表明在共享的、较低级别的表示中路由最能有效缓解干扰。早期层路由允许在特征传播到更深层、更任务特定的表示之前拦截冲突。3. RwF的局限性与未来方向尽管RwF在多个基准上表现出色但在细粒度分类任务如CUB-200上效果欠佳。这是因为HopfieldPooling路由机制通过相似性加权组合聚合token特征可能平滑高度区分的局部细节细粒度类别共享相似的高级特征分布可能导致路由吸引子在类别间重叠未来可能的改进方向包括结合局部特征保留机制增强对细粒度差异的捕捉能力探索分层路由策略在不同语义级别实施差异化路由将能量路由扩展到多模态持续学习场景4. 实践建议与实现要点对于希望在项目中应用RwF的研究者和工程师以下是从论文中提炼的关键实现建议路由层配置在ViT-B/16架构中前3个Transformer块插入HopfieldPooling层设置路由提示维度m30逆温度β1/√dd为特征维度保持关键投影矩阵WK和WV固定不变防止路由相似空间漂移训练技巧使用Adam优化器初始学习率根据任务复杂度调整批量大小建议设置为64平衡训练稳定性和计算效率在线学习场景中避免使用学习率调度保持持续适应能力架构调整对于高分辨率输入可适当增加路由层数k5-7在计算资源受限时可减少路由提示数量m20以降低开销对于特别长的token序列考虑分块路由以提高效率重要提示虽然保持WK和WV固定能获得稳定路由但这限制了模型适应新任务相似性空间的能力。在实践中可尝试部分微调这些投影但需密切监控路由稳定性。RwF的成功实践标志着持续学习研究的重要转折——从存储范式知识编码在静态参数中转向路由范式动态重组内部表示流。这种基于能量的路由机制为在线学习场景提供了一种结构合理、参数高效的解决方案在不依赖任务标识或重放缓冲区的情况下实现了稳定的知识积累。随着Transformer架构在各领域的普及这种路由思想有望在更广泛的持续学习场景中产生深远影响。
