跨模态行人重识别CNN特征提取：从骨干网络到模态对齐的实战总结

1. 跨模态ReID与CNN特征提取的核心定位

跨模态行人重识别（Cross-Modal Person Re-Identification）要解决的问题很具体：同一目标人物在可见光相机和红外相机下外观差异极大，算法需要判断两张不同模态的图像是否属于同一个人。这个任务在安防监控、夜间巡检、多摄像头轨迹关联等场景里是刚需，因为红外相机能在低照度下工作，而可见光相机在白天能提供更丰富的纹理和颜色信息，两者天然互补。

我整理这一系列论文笔记的出发点很简单：跨模态ReID领域从2017年前后开始密集出成果，到2020年之后基于CNN的方案已经非常成熟，但很多刚入门的同学面对大量论文容易迷失。尤其是CNN特征提取这条线，从骨干网络选型、模态对齐策略、损失函数设计到训练技巧，每个环节都有大量细节值得拆解。这篇总结聚焦CNN路线，把我在读论文和复现过程中积累的理解系统性地梳理出来。

适合谁看？如果你正在做跨模态ReID的课题，或者需要在工程项目中落地一个可用的跨模态检索模块，又或者你只是想搞清楚CNN在这类任务中到底怎么提取和融合特征，这篇内容应该能帮你省下不少翻论文和踩坑的时间。我会尽量把每篇论文的核心设计动机、关键模块、实验结论讲透，同时补充一些论文里不会写的实操经验。

2. 跨模态ReID的问题定义与技术挑战

2.1 跨模态ReID到底难在哪里

先把问题定义说清楚。给定一张查询图像（可能来自可见光或红外模态），系统需要从候选库中找出同一身份的所有图像，这些候选图像可能来自另一模态。这和单模态ReID最大的区别在于：模态间的外观差异往往比身份间的差异还大。

举个例子，同一件衣服在可见光下是深蓝色，在红外图像里可能呈现为浅灰色甚至接近白色，因为红外成像反映的是热辐射分布而非颜色反射。这意味着传统ReID中依赖颜色直方图、纹理描述子的方法在跨模态场景下几乎失效。更麻烦的是，不同人的体温分布差异远小于不同衣服的颜色差异，所以红外模态下的类间区分度本身就低。

具体来说，跨模态ReID面临几个核心挑战：

• 模态鸿沟（Modality Gap）：可见光和红外图像的特征分布差异巨大，直接在同一特征空间比较效果很差。
• 类内差异大：同一个人在不同模态、不同角度、不同姿态下的外观变化剧烈。
• 类间差异小：红外模态下不同人的外观可能非常相似，尤其是穿着相似的情况下。
• 数据标注成本高：跨模态配对数据需要同一人在两种模态下都被采集到，采集和标注成本远高于单模态。

2.2 CNN方案为什么成为主流

在Transformer大规模进入ReID之前，CNN是绝对主力。原因很直接：CNN在局部特征提取上有天然优势，而ReID任务恰恰需要关注衣服纹理、身体部件、鞋子款式等局部细节。ResNet、DenseNet这类骨干网络在ImageNet上预训练后，迁移到ReID任务上能快速收敛，而且推理速度可控，适合实际部署。

CNN路线的核心思路可以概括为：用共享或部分共享的骨干网络提取两种模态的特征，然后通过模态对齐模块把特征映射到公共空间，最后用度量学习损失拉近同身份跨模态样本的距离、推远不同身份样本的距离。这个框架看起来简单，但每个环节都有大量设计选择，后面我会逐一拆解。

3. CNN特征提取论文的核心技术路线拆解

3.1 双流共享骨干网络：最经典的基线方案

早期跨模态ReID论文大多采用双流网络结构，即两个分支分别处理可见光和红外图像，但共享部分或全部卷积层参数。共享参数的理由很直观：虽然两种模态的输入分布不同，但底层卷积学到的边缘、角点等低级特征具有通用性，共享参数可以减少参数量并促进模态间的特征对齐。

以某篇经典工作为例，它采用ResNet-50作为骨干，前三个阶段共享参数，第四个阶段分开，然后在特征层面做融合。这种部分共享的策略比完全共享或完全不共享效果都好，原因是浅层特征通用性强，深层特征模态特异性强，分开处理更合理。

实操中需要注意：共享层的初始化很关键。如果直接用ImageNet预训练权重初始化两个分支，然后强行共享参数，训练初期梯度冲突会比较严重。我试过的一种做法是先用单模态数据分别预训练两个分支，再加载到共享结构中微调，收敛更稳定。

3.2 模态对齐模块：把两种特征拉到同一空间

模态对齐是跨模态ReID的核心。常见做法有几类：

第一类是特征级对齐，通过一个共享的特征变换网络（比如全连接层或1x1卷积）把两种模态的特征映射到同一维度，然后用对抗损失或MMD损失约束两个分布接近。这类方法实现简单，但对齐效果依赖损失权重调参。

第二类是像素级对齐，用生成模型把红外图像转换成可见光风格，或者反过来，然后在同一模态下做ReID。这类方法能缓解模态差异，但生成质量直接影响最终效果，而且引入额外计算开销。

第三类是度量级对齐，不显式对齐特征分布，而是直接设计跨模态度量损失，让同身份跨模态样本在特征空间中靠近。这类方法在近年论文中越来越主流，因为它避免了生成模型的不稳定性。

我个人的经验是，特征级对齐加度量级对齐的组合最实用。纯像素级对齐在数据量不足时容易过拟合，而且生成图像的伪影会引入噪声。

3.3 损失函数设计：度量学习的核心战场

跨模态ReID的损失函数通常由三部分组成：

• 身份分类损失：标准的交叉熵损失，把ReID当作分类任务，每个身份一个类别。这能保证特征具有身份判别性。
• 三元组损失：拉近正样本对、推远负样本对。跨模态场景下，正样本对通常指同一身份不同模态的图像，负样本对指不同身份的图像。
• 模态对齐损失：约束两种模态特征分布的距离，比如MMD、对抗损失或中心损失。

这里有个关键细节：三元组损失的采样策略对结果影响极大。随机采样容易选到“简单”三元组，损失很快降为零但模型没学到东西。实践中常用难样本挖掘，即在一个batch内选择最难的正样本和最难的负样本。但难样本挖掘也有风险，训练初期如果全是难样本，模型容易崩溃。我通常采用渐进式策略：前几十个epoch用随机采样，之后逐步增加难样本比例。

另一个经验是损失权重的设置。身份损失和三元组损失的权重比通常在1:1到1:3之间，模态对齐损失的权重需要根据具体方法调整，一般不超过主损失的0.5倍，否则会干扰身份判别性的学习。

4. 关键论文的模块设计与实现细节

4.1 基于双流ResNet的基线复现要点

假设我们要复现一个经典的双流基线，骨干用ResNet-50，输入图像统一缩放到256x128。具体实现时，有几个细节容易出错：

第一，输入归一化。可见光图像用ImageNet的均值和方差归一化没问题，但红外图像是单通道，需要复制成三通道后再归一化。如果直接用单通道输入，预训练权重无法加载。复制通道后，归一化参数建议用红外数据集自身的统计量重新计算，而不是照搬ImageNet的。

第二，批归一化层的处理。共享骨干中的BN层在两种模态间共享统计量，这可能导致统计量偏向某一模态。一种改进是使用模态特定的BN层，即每个模态有自己的BN参数，但卷积核共享。这个改动很小，但实测能带来1-2个百分点的提升。

第三，数据增强。跨模态ReID的数据增强需要谨慎。随机擦除、随机裁剪对可见光有效，但对红外图像可能破坏热辐射分布的连续性。我通常对红外图像只做水平翻转和轻微的颜色抖动（针对伪彩色红外），不做强增强。

4.2 模态特定BN与共享卷积的组合策略

这个策略值得单独展开。核心思想是：卷积核负责提取通用特征，BN层负责处理模态特定的分布差异。实现上，每个BN层维护两套均值和方差，前向传播时根据输入模态选择对应的统计量。

代码层面的改动大概是这样：

class ModalBN(nn.Module): def __init__(self, num_features, num_modals=2): super().__init__() self.bns = nn.ModuleList([ nn.BatchNorm2d(num_features) for _ in range(num_modals) ]) def forward(self, x, modal_id): return self.bns[modal_id](x)

这个改动带来的参数量增加很小，但效果提升明显。原因在于，红外和可见光图像的激活分布差异很大，共享BN会强制用同一套统计量归一化，导致某一模态的特征被“拉偏”。分开统计后，每个模态的归一化更准确，后续卷积层接收到的输入分布更一致。

需要注意的是，模态特定BN在训练时需要确保每个batch内两种模态的样本数量均衡。如果一个batch全是可见光样本，红外BN的统计量更新会不充分。实践中常用交替采样或按比例采样来保证。

4.3 特征融合与注意力机制的引入

单纯的全局平均池化会丢失空间信息，而ReID任务中身体不同部位的判别性不同。注意力机制可以让网络关注更有判别力的区域。

常见做法是在骨干网络后面加一个空间注意力模块，对特征图的不同位置加权。跨模态场景下，注意力模块也需要考虑模态差异。一种有效设计是：注意力模块的权重生成部分模态共享，但输入特征分别来自两个模态，这样注意力能学习到跨模态通用的判别区域。

我复现过的一个方案是在ResNet的stage4后面加一个轻量级的通道注意力模块，参数量不到0.1M，但mAP提升了约2个百分点。注意力模块的位置很关键，放在太浅层效果不明显，放在太深层计算量又大。stage3和stage4之间是比较平衡的选择。

5. 训练策略与调参经验实录

5.1 学习率与优化器的选择

跨模态ReID的训练通常用SGD或Adam。我的经验是：如果骨干是预训练的ResNet，SGD配合动量0.9和权重衰减5e-4更稳定，初始学习率设在0.01到0.05之间，用余弦退火或阶梯下降。Adam收敛更快但最终精度有时略低，适合快速实验。

有个细节：共享层和模态特定层的学习率可以不同。共享层加载预训练权重后，学习率设小一些（比如基础学习率的0.1倍），模态特定层从头训练，学习率设大一些。这种分层学习率策略能防止预训练权重被过快破坏。

5.2 Batch Size与采样策略的平衡

跨模态ReID的batch构成很讲究。标准做法是每个batch包含P个身份，每个身份K张图像，其中可见光和红外各占一定比例。比如P=8，K=4，每个身份2张可见光加2张红外，总batch size为32。

如果显存允许，batch size尽量大一些，因为三元组损失需要足够的负样本才能有效挖掘。我试过batch size从32降到16，mAP掉了将近3个百分点。如果显存不够，可以用梯度累积来模拟大batch。

采样策略上，要保证每个batch内两种模态的样本数量大致均衡。如果某一模态样本过少，可以适当重复采样，但要注意不要过度重复导致过拟合。

5.3 训练轮次与早停策略

跨模态ReID通常在SYSU-MM01或RegDB数据集上训练。SYSU-MM01数据量大一些，通常训练60-80个epoch；RegDB小一些，30-50个epoch就能收敛。

早停策略看验证集上的mAP或Rank-1。但要注意，跨模态ReID的验证集评估需要构造跨模态检索对，评估协议和单模态不同。我见过有人直接用单模态评估方式，结果指标虚高但实际效果很差。一定要按照标准协议来，比如SYSU-MM01的全搜索模式或室内搜索模式。

6. 常见问题与排查技巧实录

6.1 训练损失不下降或震荡严重

这是最常见的问题。排查顺序如下：

第一，检查数据加载是否正确。跨模态ReID的数据集通常有复杂的目录结构，可见光和红外图像需要正确配对。我踩过的坑是标签映射错误，导致同一个人被当成不同类别，损失自然降不下去。

第二，检查学习率是否过大。共享骨干加载预训练权重后，如果学习率设得和从头训练一样大，梯度会破坏预训练特征。先把共享层学习率调小一个数量级试试。

第三，检查损失权重。如果模态对齐损失权重过大，模型会过度关注模态对齐而忽略身份判别，表现为分类损失下降但检索指标不升。

6.2 跨模态检索指标远低于单模态

如果单模态ReID指标正常但跨模态指标很差，说明模态鸿沟没有被有效弥合。排查方向：

• 模态对齐模块是否生效？可以可视化两种模态特征的t-SNE分布，如果两个分布明显分离，说明对齐没做好。
• 模态特定BN是否配置正确？如果误用了共享BN，模态差异会被放大。
• 数据增强是否过度？红外图像被强增强后可能丢失判别信息。

6.3 模型过拟合

跨模态ReID的数据集规模通常不大，过拟合很常见。表现是训练集指标很高但测试集指标停滞甚至下降。应对措施：

• 增加Dropout或DropBlock，尤其是在全连接层前。
• 使用标签平滑，把硬标签换成软标签，减少模型对训练样本的过度自信。
• 引入随机擦除增强，但注意红外模态要谨慎使用。
• 减小模型容量，比如把ResNet-50换成ResNet-34，或者减少特征维度。

6.4 推理速度优化

实际部署时，推理速度往往比精度更重要。CNN路线的优势在这里体现明显。优化手段包括：

• 把骨干网络换成MobileNet或ShuffleNet，精度损失通常在2-3个百分点，但速度提升3-5倍。
• 用TensorRT或ONNX Runtime做推理加速，FP16量化后速度能再提升一倍左右。
• 特征维度从2048降到512甚至256，检索时的距离计算量大幅减少，精度损失很小。

下面这张表整理了我遇到过的典型问题和对应解法：

7. 数据集与评估协议的实操要点

7.1 常用数据集的特点与使用建议

跨模态ReID最常用的两个数据集是SYSU-MM01和RegDB。SYSU-MM01包含491个身份，由4个可见光相机和2个红外相机采集，图像数量约30万张。RegDB包含412个身份，每个身份有10张可见光和10张红外图像，规模小很多。

使用建议：SYSU-MM01适合验证方法的泛化能力，因为相机数量多、视角变化大。RegDB适合快速实验，因为数据量小、训练快。但RegDB上容易过拟合，报告结果时最好给出多次随机划分的平均值。

7.2 评估协议中的坑

SYSU-MM01有两种评估模式：全搜索模式和室内搜索模式。全搜索模式用所有可见光图像作为候选库，室内搜索模式只用室内相机图像。两种模式的指标差异很大，论文里必须明确说明用的是哪种。

另一个坑是单模态查询和跨模态查询的区分。跨模态ReID的标准评估是：用红外图像查询可见光库，或者反过来。如果评估时混入了同模态查询，指标会虚高。我见过一些复现工作因为评估协议搞错，报告的结果比原论文高很多，实际是评估方式不对。

8. 从CNN到后续方案的过渡思考

CNN路线在跨模态ReID上已经非常成熟，但2021年之后Transformer方案开始崛起。纯CNN方案的优势在于推理效率高、训练稳定、对小数据集友好。如果项目对实时性要求高，或者训练数据有限，CNN仍然是首选。

不过CNN方案也有天花板。全局平均池化会丢失空间细节，注意力机制虽然能缓解但增加复杂度。后续很多工作开始引入局部特征、姿态估计、人体解析等辅助信息，这些方向本质上是在弥补CNN全局特征的不足。

我在实际项目中的体会是：如果数据量在几万张级别，CNN方案加模态特定BN加难样本挖掘，基本能拿到接近SOTA的结果，而且训练和部署都省心。如果数据量上到几十万张，可以考虑引入Transformer骨干或者CNN-Transformer混合结构，但调参成本会明显上升。

最后分享一个小技巧：跨模态ReID的模型集成很有效。训练3-5个不同随机种子的模型，推理时把特征拼接或平均，mAP通常能提升2-4个百分点，而且实现成本很低。如果单个模型已经调不动了，试试集成，往往有惊喜。