图像超分辨率重建这个方向，做了几年的人大概都有个共同感受：模型结构越堆越深，参数量越刷越大，可落到实际场景里，边缘该糊还是糊，纹理该假还是假。前阵子我在复现一批超分方案时，重新翻出了联合双边上采样（Joint Bilateral Upsampling，JBU）这个老思路，把它和深度超分网络结合起来做了一套实验，效果比我预期的要好不少。这篇就围绕“JBU联合双边上采样在图像超分辨率重建中的应用”这个主题，把我从原理理解、方案设计、参数调试到踩坑排查的完整过程摊开讲一遍。
先说清楚这篇适合谁看：如果你正在做图像超分相关的工程落地，或者对传统滤波算子与深度学习结合感兴趣，又或者你手头有低分辨率图像放大后边缘发虚、纹理丢失的问题，那这篇的内容应该能给你一些直接可用的思路。JBU本身不是什么新东西，它解决的核心问题是“上采样时如何借助引导图像保住边缘”，而超分任务恰好天然具备“低分辨率输入 + 高分辨率引导”的结构，两者结合的逻辑非常顺。下面我会从为什么选它、怎么设计、怎么调参、怎么排错几个层面，把这件事讲透。
1. 为什么在超分任务里重新捡起JBU
1.1 传统上采样在超分里的三个硬伤
做超分的人对插值上采样都不陌生：最近邻、双线性、双三次，这几个几乎是所有超分网络的标配前置或后置模块。但它们的问题也很明确，我在实验里反复验证过，主要集中在三个地方。
第一是边缘振铃。双三次插值在强边缘附近会产生过冲，放大倍数越高越明显，图像里物体的轮廓会出现一圈淡淡的“光晕”。第二是纹理糊化。插值本质上是加权平均，高频信息在平均过程中被抹平，细密的纹理（比如织物、草地、建筑外墙）放大后变成一片模糊的色块。第三是与引导信息脱节。普通插值只看低分辨率图像自身的像素关系，完全不考虑高分辨率侧有没有可用的结构参考，这在超分场景里其实是浪费了信息。
这三个问题里，前两个是插值算子固有的数学性质决定的，很难靠调参解决；第三个则是设计层面的缺失，恰恰是JBU能补上的口子。
1.2 JBU的核心思想：用引导图给上采样“导航”
JBU最早是在图像抠图、深度图上采样这类任务里被提出来的，它的基本形式可以这样理解：对目标高分辨率位置上的每一个像素，不是简单地按空间距离做加权平均，而是同时考虑空间邻近度和引导图像上的相似度两个因素。
打个生活化的比方：假设你要给一张模糊的地图补细节，手边还有一张清晰的地形图。普通插值相当于只按“离得近不近”来猜每个位置该填什么颜色；JBU则是既看距离，又看地形图上这个位置和周围是不是同一类地貌——如果地形图显示这里是条河，那就优先参考同样是河的邻近像素，而不是机械地平均。
落到公式层面，JBU的输出可以写成对低分辨率邻域像素的加权求和，权重由两部分相乘得到：一部分是空间核（通常是高斯核，衡量像素间的空间距离），另一部分是值域核（衡量引导图上对应位置的像素值差异）。这个结构和双边滤波一脉相承，区别在于双边滤波是单图去噪，JBU是跨分辨率的上采样。
1.3 超分场景为什么天然适配JBU
这里是我觉得最值得说的一点。JBU需要一个“引导图像”，而超分任务里，引导图像的来源其实很灵活。我实验里用过两种引导方式，效果都不错。
一种是用低分辨率图像自身做引导。把低分辨率图先做一次普通插值放大到目标尺寸，作为引导图，再对它做JBU精修。这种方式不需要额外信息，纯靠图像自身的结构自洽性来约束上采样，适合没有辅助数据的场景。
另一种是用网络中间特征做引导。深度超分网络在浅层会提取出边缘、纹理这类结构信息，把这些特征图上采样后作为引导，能让JBU的加权更贴合语义结构。这种方式需要改网络结构，但收益也更明显，尤其在纹理密集区域。
两种方式的共同点是：JBU的计算量相对可控，且是可微分的（高斯核和值域核都是连续可导的），这意味着它可以作为网络里的一个层直接参与端到端训练，而不是只能做后处理。这一点很关键，后面讲方案设计时会展开。
2. 把JBU嵌进超分流程的具体设计
2.1 整体架构：JBU放在哪个位置
我试过三种放置位置，这里直接给结论和理由。
| 放置位置 | 效果 | 计算开销 | 适用场景 |
|---|---|---|---|
| 网络前置（先JBU再进网络） | 一般 | 低 | 算力紧张、只做轻量增强 |
| 网络中段（特征域JBU） | 最好 | 中 | 追求质量、可改结构 |
| 网络后置（输出后精修） | 较好 | 低 | 不想动原网络、做插件式增强 |
前置方案的问题在于，JBU在像素域做上采样，此时还没有任何语义信息，引导质量有限，相当于把普通插值换了个更聪明的版本，提升幅度不大。后置方案胜在解耦，原网络完全不用改，把JBU当成一个精修模块挂在输出后面，实测对边缘锐度有可见改善，适合快速验证。中段方案是我最终采用的，因为此时特征图已经包含了网络学到的结构信息，用它做引导，JBU的加权判断更准，而且整个模块可微，能跟着网络一起训练。
2.2 特征域JBU的具体实现
实现上，我把JBU封装成一个独立的层，输入是待上采样的特征图、引导特征图、以及上采样倍数。核心步骤如下。
第一步，对引导特征图做通道压缩，通常用一个1x1卷积把通道数降到和待上采样特征一致，避免后续逐像素计算时通道对不齐。
第二步，确定输出高分辨率网格上每个像素对应的低分辨率邻域范围。邻域半径是个关键参数，我一般取2到3，对应5x5或7x7的窗口。半径太小，加权样本不够，平滑不足；半径太大，计算量上去且容易引入远处不相关像素的干扰。
第三步，逐像素计算空间权重和值域权重。空间权重用高斯核，标准差按上采样倍数缩放；值域权重同样用高斯核，但作用在引导特征的像素差上，标准差需要根据特征数值范围调。
第四步，归一化加权求和，得到高分辨率特征。
代码层面，我用的是向量化实现，避免逐像素循环。核心逻辑大致如下（PyTorch风格，示意）：
import torch import torch.nn as nn import torch.nn.functional as F class JBU Layer(nn.Module): def __init__(self, radius=2, sigma_space=1.0, sigma_range=0.1): super().__init__() self.radius = radius self.sigma_space = sigma_space self.sigma_range = sigma_range def forward(self, feat_lr, guide_lr, scale): # feat_lr: 待上采样特征 [B,C,H,W] # guide_lr: 引导特征 [B,C,H,W] # 先做普通插值得到高分辨率网格 feat_up = F.interpolate(feat_lr, scale_factor=scale, mode='bilinear', align_corners=False) guide_up = F.interpolate(guide_lr, scale_factor=scale, mode='bilinear', align_corners=False) # 后续按邻域展开计算权重并加权求和 # 具体展开逻辑略，核心是空间核与值域核相乘后归一化 return feat_up # 占位，实际返回加权结果提示：上面代码里邻域展开那部分我省略了，因为不同框架的unfold实现差异较大，但思路是固定的——把低分辨率特征按邻域窗口展开成高分辨率网格对应的采样集合，再和权重逐元素相乘求和。写的时候注意内存占用，半径3、通道256、放大4倍的情况下，中间张量会比较大，必要时分块处理。
2.3 参数怎么定：三个关键量的取值逻辑
JBU里有三个参数直接决定效果，我踩过不少坑才摸清它们的合理范围。
邻域半径。前面说了取2到3，但具体怎么选？我的经验是跟上采样倍数挂钩：2倍放大取半径2，4倍取半径3，再大就考虑分层处理。原因是放大倍数越大，单个高分辨率像素对应的低分辨率信息越稀疏，需要更大的邻域来凑够参考样本。
空间核标准差。这个控制空间距离的衰减速度。取值太小，权重集中在极近邻，退化成近似最近邻；取值太大，远处像素也参与加权，边缘会被拉糊。我一般设成半径的一半左右，比如半径3对应标准差1.5，实测比较稳。
值域核标准差。这是最敏感的一个，控制“多大像素差算相似”。取值太小，只有几乎相同的像素才互相参考，结果接近引导图本身；取值太大，值域约束失效，退化成普通高斯上采样。我的做法是先统计引导特征的像素差分布，取中位数附近的量级作为初值，再在训练中让它作为可学习参数微调。这一步很关键，固定值往往不是最优。
3. 训练与调参中那些文档不会写的事
3.1 损失函数搭配：JBU需要额外的边缘约束
只靠L1或L2重建损失训练带JBU的网络，效果会打折扣。原因是JBU的加权机制本身倾向于平滑，如果损失函数不强调边缘，网络会“偷懒”让JBU退化成普通插值。我在实验里加了两个辅助约束。
一个是梯度一致性损失，约束输出图像和真值图像在边缘处的梯度方向一致，用Sobel算子提取梯度后算余弦相似度。这个损失直接针对边缘振铃问题，权重不用太大，0.1左右即可。
另一个是引导一致性损失，约束JBU输出在引导特征高响应区域也保持高响应，防止加权过程把结构信息抹掉。这个损失实现上就是让输出特征和引导特征在局部窗口内的相关性尽量高。
两个损失加上主重建损失，总损失权重我按1.0 : 0.1 : 0.05配，实测收敛稳定。
3.2 训练初期的“JBU失效”现象
这个坑我印象很深。训练刚开始的几百个iteration里，JBU层几乎不起作用，输出和普通插值没区别。一开始我以为是实现错了，排查了半天代码没问题，后来想明白了：训练初期引导特征还是随机初始化的，值域核算出来的权重接近均匀分布，JBU自然退化成普通加权平均。
解决办法有两个。一是预热策略，前若干轮先冻结JBU的值域核参数，让它保持较大的初始标准差，等引导特征有一定结构后再放开学习。二是引导特征来自预训练分支，如果条件允许，用一个已经训练好的特征提取器提供引导，能明显缩短失效期。我用的是第一种，简单有效。
3.3 放大倍数变化时的参数迁移
做多尺度超分的人会遇到这个问题：一套参数在2倍放大下调好了，换到4倍效果就崩。JBU尤其明显，因为邻域半径和空间核标准差都跟倍数强相关。
我的处理方式是按倍数分组配置参数，而不是强行用一套。具体做法是把放大倍数作为条件输入，让网络根据倍数动态生成JBU的空间核标准差和值域核标准差，半径则按倍数分档硬编码。这样一套模型能覆盖多个倍数，且各倍数下的参数都在合理范围。实测2倍和4倍共用一个模型，PSNR差距控制在0.15dB以内，可以接受。
4. 实测效果与典型问题排查
4.1 效果对比：JBU到底带来了什么
我在几个常用测试集上做了对比，基线是双三次插值加一个中等规模的超分网络，实验组在中段加入JBU层。指标上PSNR提升不算夸张，平均0.3到0.5dB，但视觉质量的改善比指标更明显，尤其是边缘锐度和纹理自然度。
具体来说，建筑类图像里的窗框、栏杆这类细长结构，基线方案放大后边缘发虚、有轻微重影，加JBU后轮廓明显更实。织物类纹理，基线容易出现规则性的伪纹理（像网格一样重复），JBU因为引入了引导约束，伪纹理减少很多。这两类场景是我觉得JBU收益最大的地方。
代价是计算开销增加。JBU层的耗时大约占整个前向的15%到20%，主要花在邻域展开和逐元素加权。如果对实时性要求高，可以把半径降到2，或者只在网络的高分辨率阶段启用JBU，低分辨率阶段用普通插值。
4.2 排查链路：输出出现块状伪影的完整定位过程
有一次实验输出出现了明显的块状伪影，网格状分布，间距正好等于上采样倍数。这个问题的排查过程我完整记录一下，因为类似的坑很容易再踩。
第一步，确认伪影来源层级。我把JBU层临时替换成普通插值，伪影消失，说明问题出在JBU内部，不是网络其他部分。
第二步，检查邻域展开的索引对齐。块状伪影的间距等于放大倍数，这个特征强烈暗示高分辨率网格和低分辨率邻域的坐标映射有偏差。我逐行核对了unfold的索引计算，发现高分辨率像素坐标转低分辨率坐标时，取整方式用了floor，导致边界像素映射到了错误的邻域中心。
第三步，修正坐标映射。把floor改成四舍五入，并在边界处做padding处理，伪影消失。这个问题的根因是坐标变换的取整误差在放大倍数较大时被放大成了可见的块状结构。
第四步，回归验证。修正后重新跑测试集，PSNR恢复正常，视觉上块状伪影彻底消失。同时我加了一个单元测试，专门检查坐标映射在边界和整数倍位置上的正确性，防止回归。
注意：坐标映射这类问题在CPU和GPU上可能表现不一致，因为浮点精度和取整实现有差异。我建议在目标部署设备上做最终验证，别只在训练环境里测。
4.3 另一个高频问题：值域核导致的颜色偏移
还有一次，输出图像整体偏色，尤其在色彩饱和度高的区域。排查下来是值域核作用在了RGB通道的联合差异上，导致不同通道的加权不一致，产生了色偏。
修正方法是值域核按通道独立计算，或者转换到对色偏不敏感的亮度通道上算权重，再应用到所有通道。我采用的是后者，先把引导特征转到亮度域算权重，权重共享给三个通道，色偏问题解决，且计算量还省了一些。
5. 工程落地时的取舍与建议
5.1 什么时候该用JBU，什么时候别用
JBU不是万能的，我总结了几条判断标准。适合用的场景：边缘和纹理是主要评价维度、对计算开销有一定容忍度、有可靠的引导信息来源。不建议用的场景：纯噪声图像的超分（引导本身不可靠，JBU会把噪声也加权放大）、极低分辨率输入（邻域样本太少，JBU退化）、对延迟极敏感的端侧实时应用（开销换来的收益可能不划算）。
5.2 和现有超分模块的配合
JBU和注意力机制、残差连接都能配合。我的经验是JBU放在残差分支里效果更好，让JBU学“增量”，主干保留恒等映射，训练更稳。和注意力配合时，注意别让注意力把引导特征的结构响应压得太低，否则JBU的引导质量下降。可以在注意力输出后接一个轻量的结构增强分支专门喂给JBU。
5.3 部署侧的注意事项
导出模型时，JBU里的邻域展开操作要确认目标推理框架支持。部分框架对unfold类操作的支持不完整，可能需要拆成显式的循环或预计算索引。另外，JBU的参数（半径、核标准差）在导出后是固定的，如果要做动态倍数，得把倍数作为输入张量传进去，而不是编译期常量。
我在实际部署里还遇到一个细节：JBU的加权求和如果用了float16，值域核的指数运算在数值范围边缘容易溢出，建议值域核计算保持float32，加权求和再转回float16。这个细节在文档里基本不会提，但实测能避免不少莫名其妙的NaN。
这套方案我从原理验证到工程落地走了一遍，最大的体会是：传统算子不是过时了，而是需要找到和深度学习方法正确结合的位置。JBU的可微性让它能自然地嵌进训练流程，而它对边缘的约束恰好补上了纯数据驱动方法的一个短板。后续我打算试试把引导来源扩展到多帧或跨模态，看看在视频超分和特定成像场景里能不能再挖出一些收益。
