基于CNN的红外图像非均匀性校正：条纹消除实战指南

简介：基于Python与卷积神经网络的红外图像非均匀性校正毕业设计，聚焦红外图像中的非均匀性噪声问题，提出一种命名为RNUC的残差学习校正网络，通过级联两个残差块并配合合并式特征提取单元，实现端到端的校正处理。资源面向需要完成毕设项目、课程设计或工程实训的计算机视觉学习者，亦适合对图像质量增强与深度学习结合方向感兴趣的小白或进阶使用者。压缩包共收录8个文件，包括3个Python脚本（分别对应模型定义、主流程与工具函数）、1份模型结构导出图、1份模型摘要文本，以及配套的说明文档，整体压缩包大小仅374KB，结构紧凑，便于快速阅读和二次开发。目前已有165人学习或下载，初步验证了该方案的可用性。通过该资源，使用者可获得完整的RNUC网络实现代码、模型结构可视化及训练日志样例，既能作为毕业设计的基础框架直接复用，也能在此基础上扩展不同残差结构或损失函数，深入探索红外图像校正算法。

1. 卷积神经网络做红外图像非均匀性校正：毕设题目不是玄学，是条纹消除战

答辩前一周，我盯着屏幕上一幅红外图像发愁：画面里人物的轮廓都在，但整幅图像像蒙了一层疏密不均的竖直条纹，测温读数也跟着跳。这就是红外焦平面阵列的非均匀性，具体表现为固定图案噪声。这个课题的全称是“基于Python 卷积神经网络的红外图像非均匀性校正的研究”，拆开看就是把传统的标定校正算法换成卷积神经网络去估计条纹本底，再从原图中减掉。适合做图像处理、信号与信息处理方向毕业设计的同学，也适合刚接手红外成像项目的算法工程师——想快速知道CNN方案值不值得投入、能不能在你的数据上复现。

2. 非均匀性从哪来：用CNN替代传统校正的选型理由

2.1 两种固定图案噪声叠加：偏置不均匀与增益不均匀

红外探测器的每个像元并不是理想一致的。制造工艺决定了每个像元的响应率存在差异，同时读出电路和暗电流又给每个像元叠加了不同的偏置。如果把某个像元的输入辐射量记为x，输出灰度记为y，可以用一个线性模型近似：

y = G_i * x + O_i

其中G_i是第i个像元的增益，O_i是第i个像元的偏置。实际图像中，这两项都不均匀，于是画面就出现了与场景内容无关的固定图案噪声。对于大多数非制冷探测器而言，读出过程是按行扫描的，同一行像元共用一条读出通道，所以这种不均匀通常表现为横向条纹：行与行之间的灰度跳变明显，同一行内反而比较均匀。

这里有一个快速验证方法，用Python统计每一行的均值并画曲线。如果行均值曲线出现明显的台阶或周期起伏，就能确认是固定图案噪声，而不是场景本身的高频纹理。

import numpy as np import cv2 # 读取一幅红外灰度图，16bit 或 8bit 均可 img = cv2.imread("ir_raw.png", cv2.IMREAD_UNCHANGED).astype(np.float32) row_mean = img.mean(axis=1) # 每一行求均值，得到长度为 H 的向量 # 查看行均值的波动范围：条纹越明显，这个波动越大 print("row_mean std:", row_mean.std()) print("row_mean min/max:", row_mean.min(), row_mean.max())

这段代码的思路很简单：把图像看成H行W列的矩阵，每一行所有像素求平均，得到的就是该行的亮度基线。如果各行基线参差不齐，说明存在行间偏置不一致。实际项目中，你可以把这个标准差作为非均匀性强弱的粗估指标，在后续的校正实验里用来对比效果。值得注意的是，行均值法只能体现偏置型条纹，增益型不均匀需要结合不同辐射强度下的多帧图像才能分离。

2.2 传统两点校正为何在变温场景失效

经典的非均匀性校正是两点校正。做法是让探测器分别面对高温黑体和低温黑体，采集两幅均匀辐射图像，用这两幅图逐像元计算增益和偏置的校正系数。公式并不复杂，把y = G_i * x + O_i反解出真实辐射x即可。两点校正的优点是计算量小、原理清晰，在恒温、固定积分时间的条件下效果很好。

问题出在探测器不是理想线性的。环境温度变化、探测器自身发热、积分时间切换，都会使响应曲线发生漂移。原本标定好的G_i和O_i不再适用，条纹又重新冒出来。更麻烦的是，部分像元还存在闪烁噪声和坏点，这些随机成分无法靠两点校正参数消除。因此在实际红外系统中，每隔一段时间就要重新做一次定标校正，或者插入快门挡片进行单点更新。

两点校正的另一个局限是它无法处理空间相关的噪声。它逐像元独立处理，等价于在空间维度上做一组独立的映射，不利用邻域信息。而条纹往往在相邻行之间具有相关性，单独逐点映射容易在边缘处产生额外的灰度台阶。这给CNN方案留下了切入空间：卷积网络天然拥有局部感受野，可以利用邻域结构区分“真实边缘”和“条纹跳变”。

2.3 CNN做校正的定位：残差学习而非端到端重映射

在校正任务里，卷积神经网络到底学什么，值得先想清楚。如果直接让网络学习“从退化图到干净图”的全图映射，网络既要去条纹又要保留细节，两类目标叠加在一起，训练很容易走偏。常见做法是让网络学习“条纹本底”B(x,y)，也就是固定图案噪声的估计值，然后用原图减去这个本底。

J(x,y) = I(x,y) - B(x,y)

这就是残差学习的思路。与普通图像去噪不同的是，这里的B(x,y)在空间上并不是纯随机噪声，而是具有方向一致性的低频成分。卷积神经网络通过多层卷积核，可以学习一个自适应的高通滤波器，但比传统高通滤波更聪明的地方在于，它能根据局部纹理结构调整抑制强度：在平坦区域全力去条纹，在强边缘区域减小幅度，避免产生过冲。

这也解释了为什么选用“卷积神经网络”而不是普通线性滤波。红外图像中目标边缘与条纹在频域上并没有完全分离，简单高通滤波会把边缘当成噪声一起滤掉。CNN可以通过训练数据学习到边缘与条纹的外观差异，所以这个方向在原理上站得住。把网络设计成残差估计结构，既减少了模型需要学习的映射复杂度，也让训练更容易收敛。

3. 数据准备与仿真：搭建带条纹的退化图像和干净标签

3.1 干净底图哪里来：采集、插值和公开数据集的取舍

做监督学习，首先要有成对的“干净图”和“退化图”。真实红外图像几乎不可能直接拿到干净版本，所以毕业设计常规做法是构造仿真数据：用一幅相对干净的红外底图，人为叠加非均匀性分量，生成退化图。底图质量直接决定训练结果，不能随便找一张可见光照片凑数。

我一般会选择公开的红外数据集，比如FLIR ADAS等车载红外数据集，从里面挑选纹理适中、无明显条纹的帧作为干净底图。选图时注意三个标准：场景不要过于平坦，纯天空或纯墙壁会让网络学不到边缘保护能力；对比度不要过高，否则合成条纹可能被场景信息淹没；分辨率尽可能接近你打算训练的分辨率，避免缩放插值引入额外伪影。

如果手里只有带条纹的真实红外视频，也可以用一维校准的思路构造近似干净底图：对每列做中值滤波或对整幅图做低通滤波，把条纹视为高频分量去除。这个做法的缺点是会牺牲细节，但作为毕设的初步实验足够了。需要注意，底图和退化图都必须是单通道灰度图，不要加载成三通道再训练。

3.2 用Python合成非均匀性退化对：偏置条纹与增益噪声

有了干净底图后，下一步是构造退化算子。退化模型沿用前面的线性模型，再加上坏点噪声。

import numpy as np def synthesize_nuc(clean_img, streak_period=9, streak_amp=12.0, gain_std=0.03, bad_pixel_ratio=0.002, seed=0): """ 在干净红外图像上合成非均匀性退化。 clean_img: HxW float32，范围建议归一化到 [0, 1] streak_period: 条纹周期，单位像素 streak_amp: 偏置条纹最大灰度偏移 gain_std: 增益不均匀的标准差 bad_pixel_ratio: 坏点占像素比例 """ rng = np.random.default_rng(seed) h, w = clean_img.shape # 行间偏置条纹：先构造一个低频周期信号，再叠加随机漂移 x = np.arange(h) / streak_period row_offset = streak_amp * np.sin(2 * np.pi * x) row_offset += rng.normal(0, streak_amp * 0.2, h) # 广播为整幅图的偏置分量 bias_map = np.tile(row_offset[:, None], (1, w)) # 增益不均匀：逐像元随机增益，符合高斯分布 gain_map = 1.0 + rng.normal(0, gain_std, (h, w)) # 坏点：随机位置置为极端值 bad_mask = rng.random((h, w)) < bad_pixel_ratio bad_value = rng.uniform(0.0, 0.05, (h, w)) * bad_mask # 合成退化图 degraded = clean_img * gain_map + bias_map + bad_value degraded = np.clip(degraded, 0.0, 1.0) return degraded.astype(np.float32), { "bias_map": bias_map, "gain_map": gain_map, "bad_mask": bad_mask.astype(np.float32), }

这段代码的核心是把非均匀性分解成三个独立分量。row_offset用正弦信号加随机漂移模拟行间偏置的周期性变化，gain_map是逐像元的乘性噪声，bad_value负责模拟坏点。实际使用时，streak_period不要固定死，可以在7到11像素之间随机取值，否则网络会把周期当作先验特征，换到不同周期的真实图像时效果打折扣。streak_amp建议按底图像素范围的比例设置，比如归一化到0~1后取0.01到0.05，取值太小条纹不明显，取值太大则完全盖住场景。

3.3 数据集划分与归一化：训练集不能混入验证明细

数据准备好以后，要按场景划分而不是按图像裁剪位置随机划分。假设有20帧干净底图，每帧切出若干128×128或256×256的patch，如果随机把同帧patch分到训练集和验证集，网络等于在变相记住底图内容，验证集指标会虚高。我一般会先按帧分出一部分作为验证图，再对训练帧做裁剪增广。

归一化方面，红外原始图像常常是14bit或16bit，直接用int16喂给网络会有两个问题：数值范围过大导致梯度震荡；不同相机的灰度范围不一致导致模型迁移困难。常规做法是先把每个patch按统计量归一化：

patch = (patch - patch.mean()) / (patch.std() + 1e-6)

这里用mean和std归一化，而不是简单除以65535。原因是红外图像中目标占比较小，全局最大值容易被单点噪声带偏，用统计量归一化更稳定。训练时，合成退化图的均值会随退化参数漂移，如果使用固定除以65535的方式，模型会学到“输入灰度整体偏移”的错误映射，换到真实图像时直接翻车。

对于增益型不均匀，单纯的空间域合成已经足够起步。如果迭代有余量，还可以对不同帧使用不同强度的增益和条纹，让网络看到更多退化强度分布，提升鲁棒性。数据合成的原则是宁可不完美但要多样：条纹方向、周期、强度、坏点比例都要随机化，这样才能覆盖真实系统的变化范围。

4. 在Python里搭建CNN校正模型：网络结构、损失函数与训练参数

4.1 网络骨架选U-Net还是浅层CNN

很多毕设一上来就用完整版U-Net，实际上对于条纹抑制任务有点小题大做。条纹本底在空间上是低频主导的分量，网络需要的是足够的感受野和一定的非线性拟合能力，并不需要极深的编码结构。完整U-Net的参数规模大，训练时间翻倍，在小规模仿真数据集上反而容易过拟合。

我一般推荐使用一个浅层U-Net变体：输入单通道，编码器只有两层下采样，通道数分别为32和64，解码器两层上采样，并保留跳跃连接。跳跃连接在这里非常重要，因为它能把原始输入的高频细节直接送到输出端，让网络专注于学习条纹补偿量。对于128×128输入，这个模型参数量不到50万，单张显卡几分钟就能训练一个epoch，足够毕设迭代。

4.2 一个可跑的最小模型定义（PyTorch代码）

import torch import torch.nn as nn class NUCNet(nn.Module): def __init__(self, in_ch=1, base_ch=32): super().__init__() # 编码器：下采样两次 self.enc1 = nn.Sequential( nn.Conv2d(in_ch, base_ch, 3, padding=1), nn.ReLU(inplace=True), nn.Conv2d(base_ch, base_ch, 3, padding=1), nn.ReLU(inplace=True) ) self.pool1 = nn.MaxPool2d(2) self.enc2 = nn.Sequential( nn.Conv2d(base_ch, base_ch * 2, 3, padding=1), nn.ReLU(inplace=True), nn.Conv2d(base_ch * 2, base_ch * 2, 3, padding=1), nn.ReLU(inplace=True) ) # 解码器：上采样两次 self.up1 = nn.ConvTranspose2d(base_ch * 2, base_ch, 2, stride=2) self.dec1 = nn.Sequential( nn.Conv2d(base_ch * 2, base_ch, 3, padding=1), nn.ReLU(inplace=True) ) self.up2 = nn.ConvTranspose2d(base_ch, in_ch, 2, stride=2) self.dec2 = nn.Sequential( nn.Conv2d(in_ch + in_ch, in_ch, 3, padding=1) ) def forward(self, x): # 编码 e1 = self.enc1(x) e2 = self.enc2(self.pool1(e1)) # 解码 d1 = self.up1(e2) d1 = torch.cat([d1, e1], dim=1) # 跳跃连接拼接编码器特征 d1 = self.dec1(d1) d2 = self.up2(d1) d2 = torch.cat([d2, x], dim=1) # 再拼接原始输入 residual = self.dec2(d2) # 输出为条纹本底，校正图 = 输入 - 本底 return residual

模型输出是residual，也就是网络预测的条纹本底图。forward里最后不做激活，因为本底值可能为正也可能为负，用线性输出更合理。相比让网络直接输出清晰图，残差结构的优势在于恒等映射由跳跃连接天然保证，网络只需要拟合退化与干净的差值，学习难度小很多。训练完成后推理时，使用corrected = degraded - model(degraded)得到校正结果。

4.3 MSE、SSIM与边缘保持：损失函数怎么配比

如果只用MSE损失，模型会把所有像素的误差平均对待。红外图像中平坦背景占比很大，边缘和纹理占比小，MSE会引导网络优先把背景压平，缝隙和轮廓细节被牺牲掉。

我常用的损失函数是MSE加上一个边缘损失项。边缘损失用Sobel算子计算四个方向的梯度差，约束校正图与干净图在高频部分的相似度：

def sobel_grad(img): # 输入为 NxCxHxW kernel_x = torch.tensor([[-1, 0, 1], [-2, 0, 2], [-1, 0, 1]], dtype=img.dtype, device=img.device) kernel_x = kernel_x.view(1, 1, 3, 3) kernel_y = kernel_x.transpose(2, 3) gx = torch.nn.functional.conv2d(img, kernel_x, padding=1) gy = torch.nn.functional.conv2d(img, kernel_y, padding=1) return torch.sqrt(gx ** 2 + gy ** 2 + 1e-8) def nucloss(pred_res, clean, degraded): corrected = degraded - pred_res mse = torch.mean((corrected - clean) ** 2) edge_penalty = torch.mean((sobel_grad(corrected) - sobel_grad(clean)) ** 2) return mse + 0.3 * edge_penalty

edge_penalty的权重0.3是经验值。权重过大会让网络在平坦区域也去锐化，反而引入新的伪纹理。如果你的目标更看重细节保留，可以提高到0.5；如果更看重条纹抑制的平滑度，可以降到0.1。SSIM损失也可以加入，但训练速度会变慢，毕设阶段建议先用MSE加边缘损失把模型跑通。

4.4 训练超参数：批次大小、学习率与epoch的经验范围

训练环境方面，Python环境用VSCode配置好PyTorch即可，不需要特别高端的GPU。显存不够时优先减小输入尺寸而不是减小batch size，因为batch过小会让BN统计量不稳定，损失曲线上下跳。把batch从16减到4，同样的模型收敛速度会明显变慢，甚至不收敛。

5. 常见避坑与排查：训练loss掉不下去、条纹残留与过拟合的根源

5.1 现象：loss一直在降，条纹却还在

这是最折磨人的情况。训练曲线很漂亮，MSE稳步下降，但把校正图放大一看，条纹依然隐约存在，只是对比度稍微弱了一点。我最初遇到时怀疑是网络容量不够，换成更深的结构后依旧如此。

原因在于MSE损失对条纹的惩罚权重不够。条纹在整幅图像中占比不大，MSE按像素平均后，背景平坦区域的误差占主导，网络学到了“把整体图像调平滑更省loss”，而不是“专门把条纹揪出来”。解决方法是把条纹能量作为显式约束加入损失函数。具体做法是对校正图按行求均值，计算行均值曲线的标准差，让这个标准差趋近于零：

row_std = corrected.mean(dim=3).std(dim=2) # N x H streak_loss = row_std.mean()

把这个streak_loss以较小权重加入总损失，网络就会被迫把行间亮度差压平。权重从0.1开始调，有些场景下0.05就足够。这招对偏置型条纹特别有效。

5.2 现象：验证集PSNR高，过平滑把细节抹掉

换到新数据上一看，条纹没了，但图像整体变得肉肉的，边缘锐度下降，细小的目标轮廓模糊了。PSNR指标反而很高，因为评价指标没有区分细节，只关心像素级误差。

原因在于网络选择了最安全的路径：把所有高频成分都当成噪声滤掉，反正平坦区域占比大。解决方法是监控指标不要只用PSNR，要并排看边缘保持指数（EPI），或者直接用Sobel梯度差异做对比。我在训练时会在验证集上同时打印PSNR和EPI两个指标，如果PSNR升但EPI降，说明模型在走滑坡路。此时把边缘损失权重从0.3提高到0.5，通常能拉回来一部分细节。

5.3 现象：仿真数据几乎完美，换到真实红外数据直接翻车

这是仿真方案最典型的坑。合成数据里条纹是完美周期性的正弦叠加，而真实探测器的条纹更复杂，还掺杂了1/f噪声、坏点闪烁和时间漂移。网络学会了拾取正弦周期的残差特征，遇到真实条纹就不知所措。

解决思路不是放弃仿真，而是增加仿真覆盖度。我给合成流程动了三处手术：条纹周期改为随机区间采样；偏置漂移项加入低频随机游走；坏点比例从0.1%提升到1%。另外，从真实红外视频里手动截取几帧条纹明显的图像，作为测试集单独考察，不要混进训练集。

5.4 现象：batch太小导致BN训练不稳

显存不够，把batch从16调到4，结果训练loss曲线震荡，甚至出现NaN。BN层在训练时使用当前batch的均值和方差，batch太小时统计量噪声大，梯度更新方向混乱。

解决方法是把BN替换为InstanceNorm，或者严格固定batch大小后重新设计网络。对单通道红外图像而言，InstanceNorm在很多情况下效果更好，因为它不考虑跨样本统计，专注单张图像的特征分布。

self.enc1[0] = nn.InstanceNorm2d(base_ch, affine=True)

替换BN为InstanceNorm的副作用是训练收敛速度可能会变慢，但稳定性好很多。另外还有一个更简单的方案，先训练128×128小图，把网络结构和超参调顺了，再在更大分辨率上微调，显存压力不会同时叠加在batch和分辨率两个维度上。

5.5 现象：同一视频不同帧的条纹会漂移，模型跟不上

用静态模型处理连续视频帧时，前100帧效果不错，后面条纹位置慢慢变化，边缘处出现“鬼影”。这是探测器的时变漂移，本质上两点校正也会遇到同样问题。

静态CNN模型只能学到当前状态下的条纹分布，无法适应长时间漂移。对此至少要在毕业论文里明确这个局限，并说明可行方向：一是序列输入的时空网络，把连续三帧作为输入，让网络捕捉漂移趋势；二是推理阶段用极小的学习率对当前帧在线更新BN统计量。毕业设计阶段做到能复现离线校正，并把在线更新的思路写进展望，已经够深度。

6. 验证与进阶：用条纹能量指标和边缘保持指数判断模型好坏

6.1 量化指标怎么设计：条纹能量、粗糙度与EPI

PSNR和SSIM不够，因为它们不衡量“条纹是否被专门抑制”。我自己验证时会额外算两个指标。第一个是行均值方差，把校正图每一行的均值取出来，算标准差，这个值越低，说明行间偏置型条纹越弱。第二个是粗糙度指数，定义为图像与低通滤波版本之间的差异能量比，能反映固定图案噪声的残留水平。

边缘保持指数EPI更适合单独评估细节损失。它把图像分成若干小窗口，比较每个窗口内相邻像素的梯度变化在校正前后的保留比例，数值越接近1说明边缘保持越好。

def epi(clean, corrected): # 计算图像的 Sobel 梯度幅值 g_clean = sobel_grad(clean) g_corr = sobel_grad(corrected) # 计算边缘保持指数 eps = 1e-8 numerator = torch.sum(torch.abs(g_corr - g_clean)) denominator = torch.sum(torch.abs(g_clean)) return 1.0 - numerator / (denominator + eps)

这个EPI值在0~1之间，越接近1表示校正过程越没有破坏边缘。判断校正效果时，我不会单看一个指标，而是把行均值方差和EPI放在一起看：前者下降说明条纹抑制有效，后者不明显下降说明边缘没有过度牺牲。两条曲线同时满足，才算模型真正学明白了。

6.2 用正确方式看结果：裁剪对比与残差热力图

一张全局校正图和原图并排看，人眼很难判断出细节差异。我一般会做两个可视化：选择一个包含目标边缘的小块区域放大对比，用线性对比度拉伸把条纹显示出来；另一个是画出网络预测的残差本底热力图，观察它是否符合预期——条纹方向一致、强度平滑，而不是把目标轮廓也画进去。

如果残差热力图上出现清晰的目标边缘轮廓，说明网络把场景细节当成了条纹的一部分，校正后会削掉目标边缘。这个现象提示你需要增强训练数据中目标边缘的多样性，或者降低条纹合成强度。

6.3 一个从“能跑通”到“能答辩”的验证流程

最后建议按三步走一遍：先在合成测试集上计算行均值方差、EPI和PSNR三个指标，确认训练过程没有bug；再用几组不同缺陷参数的真实红外单帧做推理，肉眼检查条纹抑制和细节保留的平衡；最后截取一个连续视频片段做时序测试，观察是否有稳定性问题。

我踩过最大的坑就是在仿真数据上调优太久，把网络结构换来换去，最后才发现问题出在数据多样性不足。如果重做一次，我会把六成时间花在构造贴近真实缺陷的退化模型上，两成时间训练，两成时间做验证分析。希望这个思路帮你在同样方向上少走一段弯路，也让你在答辩时能清楚说出每一行代码在解决什么问题。

本文还有配套的精品资源，点击获取