论文: Deep Fourier-embedded Network for Bi-modal Salient Object Detection作者: Pengfei Lyu, Xiaosheng Yu, Chengdong Wu, Jagath C. Rajapakse发表: IEEE TCSVT 2025论文链接: https://arxiv.org/abs/2411.18409代码链接: https://github.com/JoshuaLPF/FreqSal一、引言双模态显著目标检测（Bi-modal Salient Object Detection, BSOD）结合RGB和热红外（Thermal）图像，旨在复杂环境下准确检测显著目标。RGB图像提供丰富的纹理和外观信息，而热红外图像通过捕捉物体红外辐射，在光照不足或恶劣天气下仍能有效表征目标。然而，现有的Transformer-based模型存在两个突出问题：一是自注意力的二次复杂度导致高分辨率双模态特征融合时内存消耗巨大；二是即使模型收敛，预测结果与真实标签之间仍存在频率域差距（frequency gap）。为此，本文提出了一种纯傅里叶变换（FFT）框架——DFENet，其中核心的模态协调感知注意力（Modal-coordinated Perception Attention, MPA）模块通过频域操作高效实现了RGB与热红外模态的深度融合，且计算复杂度仅为线性级别。二、核心动机RGB和热红外模态由于成像原理不同，其信息分布存在巨大差异：空间维度：同一显著目标在两模态中呈现出不同程度的显著性通道维度：两模态刻画显著区域的通道特征各不相同传统Transformer中的多头自注意力（MHSA）虽然能捕捉全局依赖，但计算复杂度过高，难以应用于所有层的特征融合。而FFT具有天然的全局感知能力和对数线性复杂度，每个频域元素都包含全局信息的表征。关键洞察：在频域中，幅度（Amplitude）和相位（Phase）分别编码了不同的信息——幅度主要包含风格和内容信息，而相位包含丰富的边缘细节。通过将通道维度的FFT嵌入到空间傅里叶分量中，可以实现跨模态的深度多维表征增强。图1：DFENet整体框架。包含：(a) 双流编码器；(b) MPA 模态协调感知注意力；(c) 边缘引导频率金字塔解码器（EFPD）与FRCAB；(d) 频率分解边缘感知模块（FEM）与EFEB。三、方法3.1 模块整体设计MPA的整体结构如图2所示，采用Transformer风格的架构，主要包括三个核心部分：模态协调感知滤波器（MPF）——基于FFT实现频域跨模态融合CBS操作——1 × 1 1\times11×1卷积 + BN + StarReLU深度可分离卷积FFN（DWConv-based FFN）前向过程可表达为：f i ′ = M P F ( C B S ( r i ) , C B S ( t i ) , r i + t i ) , i = 1 , 2 , 3 , 4 f_i' = MPF(CBS(r_i), CBS(t_i), r_i + t_i), \quad i=1,2,3,4fi′=MPF(CBS(ri),CBS(ti),ri+ti),i=1,2,3,4f i = D W C o n v ( B N ( f i ′ + r i + t i ) ) + ( f i ′ + r i + t i ) f_i = DWConv(BN(f_i' + r_i + t_i)) + (f_i' + r_i + t_i)fi=DWConv(BN(fi′+ri+ti))+(fi′+ri+ti)其中r i , t i ∈ R C × H × W r_i, t_i \in \mathbb{R}^{C \times H \times W}ri,ti∈RC×H×W分别为RGB和热红外模态第i ii层的特征。图2：(a) MPA的整体架构；(b) MPF（模态协调感知滤波器）的详细结构。3.2 核心算法：频域双流融合机制MPF的核心思想是先进行空间维度的FFT提取全局信息，再对幅度分量进行通道维度的FFT（CFFT）以实现表征增强，具体分为三步：Step 1：空间傅里叶变换首先对CBS处理后的双流特征分别进行空间维度的FFT：f i r s = F F T ( C B S ( r i ) ) , f i t s = F F T ( C B S ( t i ) ) f_i^{rs} = FFT(CBS(r_i)), \quad f_i^{ts} = FFT(CBS(t_i))firs=FFT(CBS(ri)),fits=FFT(CBS(ti))提取幅度和相位分量：a i r s = A m p ( f i r s ) , p i r s = P h a ( f i r s ) a_i^{rs} = Amp(f_i^{rs}), \quad p_i^{rs} = Pha(f_i^{rs})airs=Amp(firs),pirs=Pha(firs)a i t s = A m p ( f i t s ) , p i t s = P h a ( f i t s ) a_i^{ts} = Amp(f_i^{ts}), \quad p_i^{ts} = Pha(f_i^{ts})aits=Amp(fits),pits=Pha(fits)Step 2：通道傅里叶变换与增强对幅度分量在通道维度进行二次FFT（CFFT），实现深层表征增强：f i r c = C F F T ( a i r s ) , f i t c = C F F T ( a i t s ) f_i^{rc} = CFFT(a_i^{rs}), \quad f_i^{tc} = CFFT(a_i^{ts})f
)
