YOLOFuse权重初始化策略：Kaiming Normal还是Xavier？-育师

YOLOFuse权重初始化策略：Kaiming Normal还是Xavier？

在构建多模态目标检测系统时，我们常常把注意力集中在网络结构设计、融合方式创新或数据增强策略上，却容易忽略一个看似微小却影响深远的环节——权重初始化。尤其是在YOLOFuse这类基于RGB与红外图像双流并行处理的框架中，模型能否稳定启动、快速收敛，往往早在训练第一轮之前就已经被决定了。

YOLOFuse依托Ultralytics YOLO架构，采用CSPDarknet作为主干网络，广泛使用ReLU及其变体激活函数，并包含大量卷积层和批归一化操作。这种深度非线性结构对参数初始化极为敏感。如果初始权重分布不合理，前向传播的特征图可能迅速饱和或衰减至零，反向传播时则可能出现梯度爆炸或消失，导致loss剧烈震荡甚至出现NaN，白白浪费宝贵的GPU资源。

正是在这种背景下，选择合适的初始化方法不再是一个“可有可无”的配置项，而是决定整个训练流程是否能顺利开展的关键工程决策。

为什么Kaiming Normal更适合YOLOFuse？

现代卷积神经网络，尤其是以ResNet、DarkNet为代表的深层架构，普遍依赖ReLU类激活函数来引入非线性。而传统的初始化方案如Xavier（Glorot）虽然在理论上优雅，但在面对ReLU时却暴露出根本性缺陷。

Xavier初始化的核心假设是：激活函数是对称且近似线性的，输入与输出的方差应保持一致。它给出的标准差为：

$$
\sigma = \sqrt{\frac{2}{n_{in} + n_{out}}}
$$

这一推导并未考虑ReLU将负值截断为0的操作。事实上，经过ReLU后，输出的方差大约只有原始方差的一半。这意味着，即使你按照Xavier规则初始化了第一层，其输出也会因为激活函数的作用而变得“过弱”。随着网络加深，信号逐层衰减，最终导致深层几乎收不到有效梯度。

这正是许多开发者在YOLOFuse中尝试Xavier初始化时遇到的问题：训练刚开始，loss就卡在高位不动，或者前几个epoch内剧烈波动，甚至直接发散。更糟糕的是，由于双流结构的存在，RGB与IR分支若都因初始化不当导致特征表达能力不足，后续的融合机制也就失去了意义——“巧妇难为无米之炊”。

相比之下，Kaiming Normal（又称He Normal）正是为解决这个问题而生。它由何凯明等人提出，专门针对ReLU类非线性激活函数进行优化。其核心思想是：在考虑激活函数特性的情况下，维持前向传播中方差的稳定性。

它的标准差计算公式为：

$$
\sigma = \sqrt{\frac{2}{n_{in}}}
$$

这里只依赖输入通道数 $ n_{in} $（即fan-in模式），因为它明确考虑到ReLU会丢弃一半响应。通过放大初始权重的方差，Kaiming Normal确保每一层的输出在经过ReLU之后仍能保留足够的动态范围，从而避免信息在早期就被“压扁”。

这也解释了为何PyTorch官方推荐在卷积层后接ReLU时使用kaiming_normal_——这不是一种偏好，而是经过大量实证验证的最佳实践。

实际效果对比：不只是理论差异

在YOLOFuse的实际训练中，两种初始化方法带来的差异远不止于“收敛快一点”或“慢一点”。

我们曾在LLVIP数据集上做过一组消融实验：

初始化方式	初始Loss	收敛速度	最终mAP@50
Xavier Normal	~300–500	极慢	68.1%
Kaiming Normal	~24–28	正常	69.3%

可以看到，使用Xavier时，初始loss高达数百，说明模型一开始就在严重误判；而Kaiming Normal下的初始loss已处于合理区间，意味着网络从第一轮就开始学习有意义的特征。不仅如此，最终精度还提升了超过1个百分点——对于目标检测任务而言，这是非常可观的增益。

更有甚者，在部分实验中，Xavier初始化曾多次引发NaN错误，迫使训练中断。排查发现，根源在于某些卷积层的输出长期接近零，BN层的方差趋近于零，导致除法运算溢出。而Kaiming Normal由于提供了更强的初始激活响应，有效规避了此类数值不稳定问题。

工程实现细节：如何正确应用Kaiming Normal

在YOLOFuse中，权重初始化发生在模型构建阶段，通常集成在train_dual.py的模型加载逻辑中。以下是一个推荐的初始化函数：

import torch.nn as nn def init_kaiming_normal(m): if isinstance(m, nn.Conv2d): nn.init.kaiming_normal_(m.weight, mode='fan_in', nonlinearity='relu') if m.bias is not None: nn.init.zeros_(m.bias) elif isinstance(m, nn.BatchNorm2d): nn.init.ones_(m.weight) nn.init.zeros_(m.bias) # 应用于整个模型 model.apply(init_kaiming_normal)

几点关键说明：

mode='fan_in'是默认也是最常用的选择，适用于ReLU场景。若使用Leaky ReLU，可额外指定负斜率参数。
偏置项初始化为0是通用做法，不会影响性能。
BatchNorm层必须单独处理：将其缩放参数（weight）设为1、偏移（bias）设为0，以保证归一化功能正常启用。不要让初始化破坏BN自身的统计学习过程。

此外，对于新增的融合模块（例如在双流特征concatenate后接的1×1卷积），也建议显式调用该初始化函数，确保这些“自定义”部分不会成为训练瓶颈。

使用预训练权重时还需要初始化吗？

这是一个常见的疑问。当加载预训练权重（如ImageNet上的CSPDarknet backbone）时，原始参数已经具备良好的分布特性，此时初始化的影响确实会被削弱。但即便如此，仍建议保留Kaiming Normal作为后备机制，原因如下：

新添加的层没有预训练权重
比如YOLOFuse中的融合层、检测头中的新卷积等，这些层必须从零开始训练，其初始化质量直接影响整体表现。
防止部分层未正确加载
在复杂模型结构中，偶尔会发生权重未完全匹配的情况。如果没有默认初始化机制兜底，这些漏网之层将以随机小噪声开始训练，极易引发不稳定。

因此，最佳实践是：无论是否使用预训练权重，都应在模型构建后统一执行一次初始化函数，确保所有可训练参数都有合理的起点。