前言VMamba成功将选择性状态空间模型扩展到二维视觉任务。通过创新的2D Selective Scan (SS2D) 机制模型以四向扫描方式建立全局依赖并将复杂度从自注意力的二次降低为线性水平无需额外位置编码即可实现高效上下文建模。在结构设计与实现层面VMamba进一步通过高效算子替换和架构简化显著提升推理速度与吞吐性能同时保持较强的表达能力和输入分辨率可扩展性。论文地址VMamba: Visual State Space Model代码仓库MzeroMiko/VMamba: VMamba: Visual State Space ModelsVMamba网络结构如下图所示VMamba采用分层的方式通过多个阶段Stage逐渐减少特征图的分辨率对比下面的Swin其结构相似就是将原本的Swin Transformer Block换成了VSS Block可以发现Swin中的位置信息编码也被去掉了这是因为在VSS Block有这样的处理。Swin结构图VSS Block如下所示左侧为原本的Mamba Block中间消除了整个乘法分支(图中红色框)因为门控机制的效果是通过SS2D的选择性实现的。因此得到的 VSS 模块 (如图(d)所示) 由带有两个残差模块的单个网络分支组成结构上与Transformer模块的结构相似。2D-Selective-Scan for Vision Data (SS2D)虽然 S6 中的扫描操作的顺序性质与涉及时间数据的 NLP 任务很好地一致但在视觉任务当中图像数据是非顺序性的且包含有空间信息例如全局结构、局部细节等。VMamba提出了2D 选择性扫描SS2D模块首先给定输入数据后沿着四个不同的路径将patch展开为序列再使用S6 blocks并行地处理每个 patch 序列并随后对所得到的序列进行整形和合并以形成输出图。通过采用互补的1D遍历路径SS2D 使得图像中的每个像素能够有效地整合来自不同方向上的所有其他像素的信息从而有助于在2D空间中建立全局感受野。实验结果在ImageNet-1K数据集上对各种模型的准确性进行比较。使用UperNet对ADE20K数据集进行语义分割的结果。我们使用UperNe评估ADE20K数据集上的语义分割性能。FLOPs根据裁剪尺寸基于输入尺寸512×2048或640×2560进行计算。“SS”和“MS”分别表示单尺度和多尺度测试。有效感受野ERF被可视化用于ResNet50、ConvNeXt-T、Swin-T、DeiT-SViT以及所提出的VMamba-T。更广泛的有效感受野通过更广泛分布的深色区域表示。仅DeiT和所提出的VMamba展现出全局有效感受野。对使用224×224输入进行训练的主流模型的输入缩放评估比较。我们评估了在不同输入尺寸从64×64到1024×1024下使用224×224输入训练的各种主流模型的性能a和FLOPsb。
