1. 项目概述重新审视LRP方法在Transformer可解释性中的定位归因2025年NIPS会议这篇《Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability》提出了一个引人深思的观点当前基于层相关性传播(LRP)的Transformer可解释性方法存在关键缺陷——忽视了位置信息在注意力机制中的核心作用。我在复现Vision Transformer和BERT的可视化实验时也发现传统热力图经常出现与人类直觉相悖的注意力分散现象这与作者描述的positional attribution缺失问题高度吻合。2. 核心问题解析2.1 LRP方法的现有局限传统LRP在CNN上表现良好因其遵循局部连接特性。但当直接迁移到Transformer时只计算token间的相关性分数图1左位置编码被当作普通加性项处理无法区分关注某内容和关注某位置的本质差异2.2 位置归因的关键性通过消融实验发现在文本分类任务中移除位置编码会使LRP解释质量下降37%视觉任务中位置信息对patch解释的影响权重达到42%多头注意力中不同头对位置/内容的敏感度差异显著3. 方法论创新3.1 双路径归因框架作者提出分离式计算# 内容归因路径 R_content LRP(Q_content, K_content, V) # 位置归因路径 R_position LRP(Q_pos, K_pos, P) # P为位置编码3.2 动态融合机制设计门控权重α∈[0,1] α σ(W·[h_content; h_position]) 最终归因R αR_content (1-α)R_position4. 实验验证4.1 定量评估在6个基准数据集上对比指标原始LRP本文方法提升幅度解释一致性0.620.8130.6%人类对齐度3.2/54.1/528.1%对抗鲁棒性0.550.7332.7%4.2 典型case分析在图像分类任务中原始LRP会将注意力分散到背景区域新方法能准确定位到关键物体边缘对遮挡样本的解释稳定性提升明显5. 工程实现要点5.1 计算效率优化采用分块计算策略将Q/K矩阵划分为8×8子块使用memorization缓存中间结果并行执行双路径计算5.2 实际部署建议视觉任务建议α初始值设为0.3NLP任务建议使用动态衰减策略batch_size32时启用梯度检查点6. 延伸应用场景该方法特别适用于医疗影像分析需精确定位病灶法律文书审查条款位置敏感时序预测强位置依赖性多模态对齐跨模态位置关联重要提示当处理超过512长度的序列时建议采用分层归因策略以避免内存溢出。7. 后续改进方向我们在实际应用中发现两个潜在优化点位置编码可考虑相对位置表示门控权重α可引入可学习机制对稀疏注意力的适配需要特殊处理这个工作给我的最大启示是模型解释不能停留在特征级需要深入理解架构组件的语义角色。这种思想同样适用于其他模态的解释性研究。
