SegNeXt

定义

SegNeXt是一种面向语义分割任务的简单卷积网络架构，其全称取自Segmentation与Next的组合^[1]。它在设计上采用编码器-解码器结构，编码器由堆叠的多尺度卷积注意力（Multi-Scale Convolutional Attention，MSCA）模块组成，解码器则借助轻量的Hamburger模块聚合高层语义信息^[2]。

该架构的提出动机是检验一个问题：在语义分割中，卷积注意力能否比Transformer的自注意力更高效地编码上下文。研究者的结论是肯定的，即在编码空间信息这一环节，基于多尺度卷积特征的注意力机制所需计算量更少，且在目标细节处理上表现更好^[3]。

原理

SegNeXt沿用主流的金字塔编码器设计，但把编码器模块中的自注意力替换为MSCA。该模块分为三个部分：一个深度卷积用于聚合局部信息，多个并行的深度条形卷积分支用于捕获多尺度上下文，一个1×1卷积用于建模不同通道之间的关系。1×1卷积的输出被直接当作注意力权重，对模块的输入做重加权^[4]。

各分支使用两个深度条形卷积来近似大核深度卷积，核大小分别设为7、11和21。这样处理有两个原因：条形卷积比同尺寸的标准卷积更轻量，例如用一对7×1和1×7的条形卷积即可替代7×7的标准二维卷积；同时在实际场景中存在行人、电线杆等条状目标，条形卷积可以作为常规网格卷积的补充^[4]。

MSCA的计算可以概括为 $Att = \mathrm{Conv}_{1\times1}\left(\sum_{i=0}^{3}\mathrm{Scale}_i(\mathrm{DWConv}(F))\right)$，$Out = Att \otimes F$，其中 $F$ 为输入特征，$\mathrm{Scale}_i$ 表示第 $i$ 个分支，$\otimes$ 为逐元素相乘^[4]。

在解码端，SegNeXt不采用SegFormer那类纯MLP解码头，而是仅聚合编码器后三个阶段输出的特征，再通过分解式Hamburger模块进行全局上下文建模。之所以丢弃第一阶段特征，是因为卷积编码器在该阶段保留的低层信息过多，参与融合反而会干扰学习并增加计算开销^[5]。

发展历程

SegNeXt由郭孟浩、陆承泽、侯启彬、刘正宁、程明明、胡石敏等人提出，论文于2022年9月18日发布在预印本平台arXiv上^[3]。论文题目为《SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation》^[6]。

该工作在2022年发表于第36届神经信息处理系统大会（NeurIPS 2022），并进入会议海报展示环节^[7]。此后，SegNeXt被集成到开源语义分割工具箱MMSegmentation中，研究者同时提供了PyTorch与Jittor两种实现^[8]。

作者团队针对不同硬件条件设计了T、S、B、L四种规模的层次化网络，参数量分别约为4.3M、13.9M、27.6M和48.9M^[5]。

应用

SegNeXt主要用于语义分割，在ADE20K、Cityscapes、COCO-Stuff、Pascal VOC、Pascal Context和iSAID等常用基准上均有评测^[6]。在Pascal VOC 2012测试集上，该模型以约EfficientNet-L2配合NAS-FPN十分之一的参数量取得了90.6%的mIoU；在ADE20K上，其相比同期最优方法平均提升约2.0%的mIoU，而计算量持平或更少^[1]。

除通用场景分割外，SegNeXt也被用于遥感影像分析等具体任务。有研究以SegNeXt为基础构建建筑提取框架，与UPerNet、UNet、ConvNeXt、Mask2Former、BEiT等模型对比，发现其在建筑物边缘规整度和边界保持上表现更好^[9]。另有研究把多尺度卷积注意力模块用于道路分割，通过引入其他注意力机制与知识蒸馏来改善遮挡场景下的细节恢复^[10]。

由于其模块具备较强的上下文建模能力，MSCA也被迁移到目标检测等领域，例如被引入YOLO系列模型的改进方案中以增强对上下文的关注^[4]。

局限

SegNeXt的编码器以卷积为主体，多尺度卷积注意力偏重借助大核卷积进行全局特征建模，对局部细节的刻画相对有限，因此在树木遮挡等复杂场景中的分割精度会受到约束，需要借助额外机制弥补^[10]。

在工程实现层面，MMSegmentation的集成说明指出，该模型对随机种子较为敏感。以SegNeXt Large为例，不同随机种子下在ADE20K上的结果在49.60至51.0之间波动，原因是解码器中的非负矩阵分解会被随机初始化，测试时需固定随机种子才能复现结果^[8]。

消融实验还表明，采用卷积式编码器时，使用具有全局感受野的Hamburger解码头优于直接使用MSCA作为解码头，这说明该编码器对解码器的全局建模能力有依赖^[11]。

参见

• 语义分割 —— SegNeXt所解决的核心计算机视觉任务。

• 多尺度卷积注意力 —— SegNeXt编码器的基本构件MSCA。

• SegFormer —— 同期采用Transformer编码器的分割模型，常被用作对比对象。

• MMSegmentation —— 集成了SegNeXt实现的开源语义分割工具箱。

• Transformer —— SegNeXt在上下文编码环节试图取代的自注意力架构。