语义分割注意力网络全解析：六种上下文建模机制对比与选型指南

做语义分割这几年，给我冲击最大的不是某条网络把指标刷到多高，而是一张图里的像素开始学会“隔空社交”。PSANet、DANet、OCNet、CCNet、EMANet、SANet这批基于注意力的语义分割工作，殊途同归地做了一件传统卷积很难做到的事情：让一个像素在计算特征时，能直接参考全图范围内与它语义相关的其他区域。这不再是单纯把网络加深或加宽的问题，而是重新设计了信息流动的方式。

这篇文章想把这六个网络放在同一条演进线里讲清楚：它们共同面对什么难题，各自给出了什么解法，复现时有哪些坑，以及最后到底该怎么选型。内容会涉及一些公式和训练细节，但尽量说人话，目标是让刚入门语义分割的读者也能跟着思路走一遍。

1. 语义分割缺的不只是深度，而是跨距离的上下文关系

1.1 全卷积网络在复杂图像上的上下文短板

语义分割的任务很直接：给输入图像上的每一个像素都打上类别标签。全卷积网络（FCN）第一次把分类网络改成端到端的分割结构，让网络可以接受任意尺寸输入，并通过上采样恢复空间分辨率，这在当时是非常大的进步。

但全卷积网络有一个绕不开的毛病：卷积核天然只看局部邻域。一个3×3的卷积，输出特征上的每个点只能感知输入图上对应的3×3区域；就算叠加几十层，信息也要一层一层地“传递”才能到达远方，而且每经过一次采样或池化，中间位置的信息都会被压缩、混合、稀释。

在图像分类任务里，这个问题不致命，因为分类只需要得到一个全局语义；但分割任务要求对每个像素做精细判断。比如一个行人被树干挡住，身体断成两截，模型要认出“这两截属于同一个行人”，就需要跨越树干这个障碍，把远处像素的信息拉过来。再比如机翼下的地面像素，需要参考整片跑道的结构才能正确分类，但这些上下文区域在空间上离它很远。

有人会说：把网络加深，感受野不就大了吗？理论上是的，但实践上很尴尬。深层网络的感受野确实在扩大，可中间每一层都在做局部混合，远处信息传到目标位置时已经经过了太多非线性变换，位置细节和原始语义都被磨掉了。空洞卷积和金字塔池化能扩大采样范围，但空洞卷积是固定间隔网格采样，碰到形状复杂的物体容易漏;金字塔池化把全图压缩成几个尺度的统计特征，空间关系丢失严重。真正的问题不是“看不看得远”，而是“怎么从远处精准地找到与当前像素语义相关的那些区域”。

1.2 “注意力”到底在语义分割里做了什么

注意力机制在视觉里其实没有多玄乎。它做的事情可以概括成一句话：给特征图中的每一个位置，计算一组权重，然后用这组权重去加权汇总其他位置的信息。

更具体地看，通常会把特征变成三份：query（查询）、key（索引）、value（内容）。当前位置的query和全图每个位置的key做相似度计算，经过softmax得到权重，再拿这些权重对全图的value做加权求和。结果就是当前位置的输出，不再只是卷积窗口内特征的叠加，而是全图范围内“与它语义相似、对它分类有用”的区域特征的加权组合。

用一个生活化的类比：卷积像是你走在小区里，只能听见旁边几户人家的声音；注意力像是你直接接入全城广播，但系统会按你当下的需求，把相关内容的音量调大、无关内容的音量调小。这不是简单的“看得更远”，而是“知道该听谁的”。

在Non-local结构出现之后，这种跨距离建模方式很快成为视觉领域的主流工具之一。但“该听谁的”这件事，不同论文的理解完全不同，于是才有了标题里这一串基于注意力的语义分割网络。

1.3 六篇论文的定位速览：同一目标，不同路线

如果把“上下文建模”当成目标，这六个网络在三条路线上展开：

• 全图矩阵路线：PSANet和DANet。它们坚持算全图任意两个位置之间的相关性，力求不遗漏任何一处上下文。代价是计算量很大，O(N²)级别的复杂度，N是像素数。

• 目标区域路线：OCNet和CCNet。OCNet认为上下文里只有“和当前像素属于同一物体的区域”才值得参考，CCNet则把计算范围先限制在十字线上，再用循环补全全局。

• 低秩/分解路线：EMANet和SANet。EMANet用EM迭代把特征压缩到一组基向量上，SANet把二维空间注意力拆成水平、垂直两个一维方向，都是为了大幅降低复杂度，让注意力机制能落地到高分辨率场景。

理解它们之间的差异，比单独背任何一个网络的细节都更重要。下面逐个拆开讲。

2. PSANet与DANet：先把全图相似度矩阵做到极致

2.1 PSANet的逐点空间注意力：每个像素有自己的信息路由

PSANet（Point-wise Spatial Attention Network）看到的痛点是：早期全局注意力方法虽然能让每个位置看到全图，但全图所有位置用的几乎是同一套query-key映射。也就是说，不管这个像素是天空、路面还是行人，它获取上下文的方式都是同一套模板。

这显然不合理。天空中的像素应该更关注远处同属天空的区域，路面像素应该更关注延伸出去的车道结构。不同语义角色需要的“社交对象”不同，就应该拥有不同的信息路由。

PSANet的解法是为每一个空间位置单独生成一张attention map，实现信息双向流动。如果用sigmoid表示收集权重，当前位置从其他位置聚合信息时用σ，那么把自身信息传播给其他位置时就用1-σ。两者互补，正好构成一个双向广播机制：既能从全图“吸取”对自己有用的上下文，又能把自己携带的信息“派发”到全图需要它的地方。

这个设计在概念上非常优雅，但代价也很直接：每个像素都要有一张覆盖全图的权重图，复杂度是O(N²)。以一张512×512的特征图为例，像素数N等于26万，attention map的规模约有688亿个数值，直接算会非常夸张。实际实现通常会把特征下采样到原图的1/8甚至1/16，在低分辨率上计算attention weight，再上采样回原分辨率，和原始特征融合。这也是复现PSANet时最需要注意的工程细节。

2.2 DANet的空间注意力+通道注意力双通道设计

DANet（Dual Attention Network）的出发点更工程化：既然分割任务对空间位置敏感，也对通道语义敏感，那就把空间和通道两个维度各自做一个注意力模块，最后融合在一起。

位置注意力模块的原理是：把特征图记为X，先做矩阵变换，计算任意两个空间位置之间的特征相似度，得到一个N×N的关联矩阵，然后softmax归一化。这个矩阵里第(i, j)个值，就是位置i对位置j的依赖权重。用这个矩阵去乘原特征，就完成了“每个位置的信息被全图所有位置按相关度加权汇总”的步骤。

通道注意力模块的逻辑稍微绕一点：它把特征从N×C reshape成C×N，然后计算C×C的通道相关性矩阵。这里的含义是：某个通道的响应，可以由其他所有通道按相关性加权后共同决定。和SENet那种“全局平均池化+全连接”的方式不同，DANet的通道注意力是在空间分布上两两计算相关性的，能保留更多空间结构信息，而不是把整张图压成一个统计值。

两个模块分别计算完，各自经过一层1×1卷积做通道对齐，之后直接相加，再和原始输入做一次残差连接。这样网络既拿到了“空间上哪些位置和当前像素相关”的信息，也拿到了“语义上哪些通道和当前类别相关”的信息。两个维度互补，实验里也比单独使用任何一个模块要稳。

2.3 全局注意力矩阵的算力代价与应对

PSANet和DANet在精度上的上限很高，但它们的算力代价不能忽视。全图相似度矩阵有两个短板：

• 显存占用大。N×N的权重矩阵要保存在显存里，batch稍微大一点就容易爆内存。以特征图64×64为例，N=4096，矩阵规模是1600万左右个浮点数；特征图再大一点，显存直接告急。

• 计算量增长快。输入分辨率翻倍，N变四倍，O(N²)的矩阵运算量变成十六倍。这对训练和推理都是巨大的压力。

工程上常用的应对方法有几个。第一，把特征图下采样到小尺度再计算attention，算完上采样回原尺寸；第二，用可分离的策略，把N×N矩阵拆成若干小块分批计算；第三，如果框架支持，用梯度检查点（gradient checkpointing）换显存。这些手段实战中都验证过，能做到精度几乎不掉，显存下降一大截。

但务必记住：这类全图矩阵方法的高精度，是在中低分辨率输入、足够显存的条件下成立的。一旦输入尺寸变得很大，延迟增长会非常明显，这也是后来很多落地项目转投CCNet和EMANet的直接原因。

3. 从全图到目标区域：OCNet与CCNet的上下文改造

3.1 OCNet的object context：和同类像素对话，而不是和所有像素对话

OCNet（Object Context Network）提出了一个非常关键的问题：上下文上下文，到底什么才算“相关上下文”？一个位于马路中央的车辆像素，它真正需要参考的信息，是同一物体区域的其他车辆像素，而不是远处一栋楼的窗户。但全图相似度矩阵把所有像素都当成候选，权重再低也会产生计算浪费，而且可能引入噪声。

OCNet的做法可以理解为：不要预定义固定的候选范围，而是让网络自己学会“哪些区域和当前像素属于同一物体”。具体实现依然走相似度计算的路线：对当前像素，计算它与全图所有位置的相似度，但这次把相似度解释成一个软性的物体掩码——也就是object context map（OCC）。这张掩码里，值高的位置大概率属于同一物体的区域，值低的位置则不是。

有了掩码之后，对全图特征做加权求和，得到的就是“同一个物体范围内的上下文特征”，而不是“全图范围内所有东西的混杂特征”。

这里最好和空洞卷积系列做个对比。ASPP这类方法用不同膨胀率的卷积核均匀采样，相当于固定网格采样。无论当前像素处在什么语义环境里，采样位置都是一套几何模式。OCNet是动态的：每个位置的采样权重由语义相关性决定。一个简单的例子：在“车”和“路”紧挨着的场景里，ASPP可能同时采到车和路，OCNet则能更集中地聚焦在同类区域。换句话说，OCNet把上下文建模从“几何邻居”扩展到了“语义邻居”。

3.2 CCNet的十字交叉注意力：用两次传播换取全局视野

CCNet（Criss-Cross Attention Network）选择了另一条路：不追求第一次就拿到全局上下文，而是先算局部的十字线，再用循环把信息扩散到全图。

交叉注意力的计算方式很巧妙。对特征图上的每个位置，它只计算这一行和这一列上的注意力权重。也就是说，每个位置的候选范围从“全图所有像素”缩减为“同一行的所有像素+同一列的所有像素”。在这个十字范围内做相似度计算和softmax，一次性覆盖的位置数量从N变成大约2√N，计算量立刻降了一个数量级。

但一次性十字显然不是全局。这里的关键是循环结构：第一次做完十字注意力之后，每个位置已经吸收了同行同列的信息。把输出再送入第二个交叉注意力模块时，当前像素所在的行列邻居，已经携带了从更远位置传来的信息。第二次十字交互，本质上把第一次扩散出去的信息又接了回来。两步循环之后，每个位置理论上都能汇聚到全图信息。

可以这么理解：第一个人先问左右邻居“你们知道什么”，邻居只回答了自己附近的消息；第二次再问时，邻居已经把更远处打听到的消息告诉了第一个人。两步就能让消息传遍全村，不需要每个人直接认识全村所有人。复杂度从O(N²)降到大约O(N^1.5)，在常规分辨率下省掉一个量级以上的运算。

3.3 上下文的“候选范围”到底该怎么选

把OCNet和CCNet放在一起，你会发现它们优化的不是同一个环节：

• OCNet优化的是“候选集合的语义有效性”，回答的是“参考哪些像素更好”；
• CCNet优化的是“候选集合的计算代价”，回答的是“如何用更少的计算拿到全局视野”。

两种思路各有适用场景。物体大、边界复杂、类别之间视觉差异小的数据集，OCNet类方法更容易发挥优势，因为“同类物体区域”这个约束本身就是很强的先验。实时性要求高、输入分辨率又大的项目，CCNet类方法则明显更友好，计算量可控，调参难度也低。

实践里的折中方案也有：把OCNet的object context思想和CCNet的十字稀疏化结合，甚至把两者的模块并联，分别提取语义相关上下文与空间扩散上下文，再融合。很多后续工作都在这条路上做过尝试，效果往往比单独使用一种更好。

4. EMANet与SANet：为了落地而生的低复杂度注意力

4.1 EMANet：用期望最大化思想把特征压缩进基向量空间

EMANet（Expectation-Maximization Attention Network）是我个人觉得这批方法里数学味道最浓的一个，但它的核心思想并不难。

前面讲的方法，不管全图还是十字，本质上都在“像素和像素”之间做交互。EMANet换了一个思路：先选出几个“基向量”作为场景中主要的语义模式，然后每个像素不再直接和其他像素对话，而是先和基向量对话，再用几个基向量的加权组合来表示自己。

整个过程用EM算法迭代完成：

• E步：固定当前基向量，计算每个像素与每个基向量的相似度，得到权重系数；
• M步：固定权重系数，用全图特征按权重加权平均，重新估计基向量。

迭代若干次后，基向量会逐渐稳定到一组能代表场景语义模式的向量。输出阶段，用最终得到的系数与基向量线性组合，生成每个像素的新特征。

类比一下：基向量就像一幅画里用到的几种主色调，每个像素按“它更像天空还是更像地面”的比例，把这几种主色调混合，得到自己的最终颜色。R个基向量相当于最多能表示的语义原型数量，通常R=32就够用。K是迭代次数，一般取3次，再多边际收益很小。

复杂度从O(N²)降到了O(N·R·K)。举个例子，特征图256×256时N=65536，R=32，K=3，一次EM注意力的运算量约630万级别；而全图相似度矩阵是43亿级别，差距接近上千倍。这让EMANet在高分辨率语义分割里的落地价值非常明显。

4.2 SANet：将二维空间注意力拆解为横向纵向两个子空间

说到SANet，这里要先提醒一句：视觉论文里“SANet”这个缩写其实被复用多次，读文献时很容易搞混。在语义分割上下文里，它通常指以空间非对称注意力（Spatial Asymmetric Attention）为核心模块的网络，早期有一些用空间注意力做掩码的老版本，不能混为一谈。

空间非对称注意力的核心想法是：既然完整二维注意力矩阵计算量太大，那就把它在空间维度上拆开。对每个位置，先做水平方向的一维注意力，再做垂直方向的一维注意力，两个方向的信息融合后，再和原始特征组合。

这样做有两个好处：第一，水平方向和垂直方向各自独立计算，复杂度从O(N²)降到约两个O(N^1.5)，高分辨率下提速明显；第二，相比全局平均池化把所有空间信息压扁，非对称注意力保留了行、列方向上的精确位置信息，空间定位不至于丢得太厉害。通俗点说，完整二维注意力像是在全体像素里两两配对投票，非对称注意力更像是先横向看一遍整行，再纵向看一遍整列，两次视野叠加起来基本能覆盖全局。

SANet类网络通常还会做一些附加设计，比如跨层的特征重建、多尺度特征融合，让注意力模块在不同阶段都能发挥作用。代价是二维平面里“对角线方向”的联合表征能力会下降，这也是它在一些边界精细场景里精度略逊于全图矩阵方法的原因。

4.3 低复杂度注意力的收益与表达力损失

没有免费的午餐。EMANet和SANet换来的速度和显存优势，都是用一定表达力换来的：

• 收益很直观：训练时batch size可以开更大，推理速度更快，移动端和实时视频流场景变得可行。很多工程团队拿它们做在线分割的前置网络，效果比其他全局方法更稳。

• 损失也很明确：EMANet用聚类的方式近似全局相似度，等价于把像素-像素关系降维到像素-原型关系；SANet则靠横竖两个方向近似二维空间关系。在物体形状特别复杂、类别边界特别不规则的数据集上，这两类方法通常比PSANet/DANet低0.5到1.5个点的mIoU，但推理速度快3到5倍。

选择的时候想清楚任务场景就行。离线榜单追求最高精度，可以上全图矩阵；在线实时系统要稳定PPS，就别让一个O(N²)模块拖垮整个pipeline。在我实际测试过的项目里，EMANet在无人机航拍分割这种大分辨率场景中表现非常出色，SANet则在移动端道路分割上性价比极高。

5. 复现这类注意力分割网络时最值得注意的四处细节

5.1 从训练稳定性到分辨率下采样

复现注意力分割网络，第一步不是调模型结构，而是把训练环境理顺。这类网络对batch size非常敏感，因为注意力模块里的softmax需要统计全局分布信息，batch太小，BN（Batch Normalization）的均值和方差震荡会非常大，导致训练不稳定。

如果只有单张卡，显存又有限，最直接的办法是减小输入分辨率，而不是强行调小batch。实测下来，街景类分割任务常用768×768左右的裁块，通用密集标注数据集常用512×512裁块，再配合大一点的batch，比如8以上，效果会比“大分辨率小batch”稳定得多。多卡训练时，必须用同步BN（SyncBN），否则每张卡各自统计，模型看到的数据分布完全不一致。

输入尺寸的选择也直接影响注意力模块的行为。分辨率先下采样到1/8再算注意力，和下采样到1/16再算，效果差异很大。1/16分辨率下注意力矩阵的计算量小，但空间细节丢失多，对小目标分割尤其不友好。我一般倾向在1/8特征图上算注意力，如果显存不够，可以再在该特征图上做一次最大池化，计算完attention weight后上采样回1/8，再和原特征融合。

5.2 注意力的初始化与学习率控制

注意力分支比普通卷积层更难训练，这是复现这类网络最容易被忽视的一点。原因是：attention weight经过softmax或sigmoid之后，梯度传播路径更长，对初始参数非常敏感。如果初始化值不合适，训练第一步loss就可能飞到几万上，或者出现某些通道权重全部为零的“死亡注意力”现象。

实践中我有两个经验：

• 注意力模块里的卷积层，不要用方差很大的初始化方式。用常规kaiming初始化通常没问题，但要让BN层在开始时尽量接近恒等映射，避免一开始就把注意力权重推到极端分布。

• 学习率要单独控制。主干backbone、注意力模块、辅助分割头，三个部分的初始学习率可以不一致。一般注意力模块比主干低一点会稳很多，poly策略下初始学习率调到基准的0.1到0.5倍，再配合2000步左右的warmup，能有效避免attention矩阵在早期震荡。

如果训练曲线出现“loss骤降但mIoU不涨”的诡异情况，大概率是attention没有学到有用信息，而是退化成了固定的空间先验。可以试着把softmax前的logits缩放因子调小，或者去掉温度参数，让权重分布更平滑，让early training阶段有更多探索空间。

5.3 辅助监督与深监督在注意力训练中的作用

注意力模块参数量大，训练初期主梯度很容易被噪声淹没。给backbone末端加一个辅助分割头，做深监督，是这类模型能稳定收敛的关键技巧之一。

辅助loss的放置位置有讲究。通常放在backbone的最后一层之后、注意力模块之前，让浅层信息也获得直接监督。权重一般在0.4左右，训练到一半时可以考虑关闭或调低，让主注意力模块在后期自由发挥。实测下来，没有辅助监督的注意力分割网络在100个epoch里很难收敛到最好效果，加了辅助监督后普遍能提升1到2个点，而且训练曲线平滑很多。

另一种有效的做法是“渐进式训练”：先用较小分辨率训练几十个epoch，等注意力模块学到稳定的上下文权重后，再切到大分辨率微调。这种策略对PSANet这种高计算量模型特别有用，能避免大分辨率下显存不足和训练不稳定同时爆发。

5.4 显存受限时的工程处理：先算小尺度再上采样

很多读者在复现DANet、PSANet时会发现，代码很简单，但一跑训练显存就爆。这里推荐一个我反复使用的工程策略：在进入注意力模块之前，先把特征图做一个适配的通道压缩和空间下采样，注意力计算放在小尺度特征上，算完再上采样回原尺度，并和残差分支融合。

通道上，一般把输入注意力模块的通道数压到128或256，已经足够表达上下文关系；空间上，从1/8下采样到1/16，对最终精度的影响很小。做过一次对比实验：同样的模型和数据，压缩通道和空间后，显存占用下降了约50%，mIoU只掉了0.3个点。对于显存捉襟见肘的复现环境，这个交换非常划算。

如果还有余力，可以把注意力矩阵的计算改成半精度FP16，或者用torch.utils.checkpoint把矩阵乘法包起来，在forward时重新计算中间结果，以时间换显存。这些都不是纸面技巧，是真正能让你把代码跑起来的救命操作。

6. 六种注意力机制横向对比与选型思路

6.1 核心机制对比表

先把六个网络的关键差异用一张表摆清楚：

这六个网络没有一个在所有维度上都赢。它们的选择本质上是在“全局性”“语义有效性”“计算效率”三个指标之间权衡。

6.2 不同资源条件下的选择建议

如果你是刚入门，想快速跑通一个注意力分割模型作为baseline，首选CCNet。它计算量适中，结构直观，训练稳定，对硬件要求不高，能在多数分割数据集上取得不错的精度。从CCNet开始理解注意力机制在分割里的作用，再回头看其他网络，会容易很多。

如果你在做学术实验或者竞赛想冲高精度，DANet和OCNet是两条成熟路线。DANet的双路结构清晰，扩展性强；OCNet的object context思想影响深远，后续很多工作都沿用了这个方向。这两类方法需要相对宽裕的显存和训练时间，但收益也直接。

如果你的场景是自动驾驶、无人机巡检这类高分辨率实时任务，EMANet几乎是为这类场景量身定做的。计算量低，显存友好，方便后期加TTA和模型集成。SANet则更适合有移动端部署需求的项目，参数和计算量都能压得比较低。

至于PSANet，理论价值大于工程价值。它的双向信息流设计很优雅，但真正落地时往往要把分辨率下采样得很厉害，精度损失不好控制。如果要做研究，值得细读；如果要上线，我建议优先考虑其他方法。

6.3 从这些注意力设计里延伸出的通用经验

看多了这套工作会形成一个判断框架：上下文建模本质上就是三个选择——候选范围怎么定、候选权重怎么算、权重结果怎么聚合。PSANet和DANet选的是全图候选+相似度权重；OCNet选的是语义聚类候选+相似度权重；CCNet选的是十字候选+空间相似度权重；EMANet选的是基向量候选+EM系数；SANet选的是横纵分解候选。

这套框架对理解后续的mask类分割工作同样适用。后来那些基于可学习查询的分割思路，其实也在回答这三个问题，只是把候选从“像素”换成了“可学习的掩码空间”。学这六篇网络最大的收获，不是记住某个模块结构，而是养成“上下文问题去拆候选、权重、聚合”的思考习惯。

我个人在实际操作中的体会是：注意力分割模型的价格永远在“表达力”和“计算代价”之间平衡。第一次复现不要贪图惊艳的效果，先跑通CCNet，再往DANet、OCNet方向加码，最后根据数据特性决定是否需要EMANet那种低秩方案。多跑几组对比，你会明显感觉到，这些网络在各自设计哲学上有多大的差异，而选型最终还是要回到你的硬件条件和场景需求上。最后分享一个小技巧：训练这类模型时，把attention weight可视化出来看一次，胜过调一整天参——你也会直观地发现，它到底是在“看”远处的同类物体，还是学到了奇怪的位置偏好。