102、HAT 详解：混合注意力 Transformer 在超分辨率中的创新与实现从一次模型退化实验说起去年秋天调一个视频超分项目，用SwinIR做baseline，在Urban100上PSNR死活卡在26.8dB上不去。我盯着tensorboard上的loss曲线，发现模型对高频纹理的恢复能力明显不足——尤其是那些带有周期性重复图案的区域，比如百叶窗、砖墙纹理，模型要么糊成一团，要么产生伪影。当时团队里有个实习生开玩笑说：“这模型是不是近视眼，只看得清低频，高频全靠猜。”后来翻到CVPR2022的HAT论文，发现作者也遇到了类似问题。他们指出SwinIR虽然用window attention降低了计算量，但每个窗口内的自注意力只能看到局部信息，跨窗口的信息交互依赖shift操作，这种“间接通信”对高频细节的恢复效率很低。HAT的解决方案很直接：在Transformer里同时塞进通道注意力和空间注意力，让模型既能关注“哪里需要增强”，又能关注“增强什么内容”。这个思路听起来不复杂，但实现细节里全是坑。混合注意力模块：两个分支打架怎么办HAT的核心是Hybrid Attention Block，它把通道注意力和空间注意力做成并联结构。通道注意力分支用全局平均池化压缩空间维度，然后接两个全连接层生成通道权重；空间注意力分支则用1x1卷积降维后接sigmoid生成空间权重。两个分支的输出做element-wise乘法融合。这里有个容易翻车的地方：两个分支的初始化。我一开始按默
