前言:
论文题目:Blueprint Separable Residual Network for Efficient Image Super-Resolution
论文地址:Blueprint Separable Residual Network for Efficient Image Super-Resolution
论文源码:https://github.com/xiaom233/BSRN
关键字:BSRN–蓝图可分离残差网络

BSRN 是由 Zheyuan Li 等人提出的一种新的深度学习模型,专为图像超分辨率设计。该模型在 2022年计算机视觉与模式识别会议(CVPR)工作坊 上发表,并已作为开源项目发布。它引入了蓝图可分离残差块,旨在以较小的计算成本实现高质量的图像重建。

本文提出一种新的轻量化超分辨率网络 ——蓝图可分离残差网络(BSRN),从优化卷积操作和引入高效注意力模块两个角度提升网络效率。首先,顾名思义,BSRN 通过蓝图可分离卷积(BSConv) 构建基本网络模块,减少计算冗余。BSConv 是原始深度可分离卷积(DSConv)的改进变体,能更好地利用卷积核内相关性实现高效的卷积分离 ,本文的研究验证了 BSConv 对高效超分辨率任务的有效性。其次,已有研究表明,合适的注意力模块能提升高效超分辨率网络的性能,受此启发,本文引入增强空间注意力(ESA)和对比度感知通道注意力(CCA)两种高效注意力模块,进一步增强模型能力。

主要贡献如下:

  1. 将 BSConv 引入超分辨率网络并构建基础模块,验证了其在超分辨率任务中的有效性;
  2. 引入两种计算开销极低的高效注意力模块,显著增强了模型的特征表达能力;
  3. 融合 BSConv 和高效注意力模块的 BSRN网络,在高效超分辨率任务中展现出远超现有方法的性能。

本文提出的 BSRN 和 BSRN-S 在参数量远低于其他对比模型的前提下,实现了更高的 PSNR,即兼顾了低计算复杂度和高重建质量,是图中综合表现最优的模型。
本文提出的 BSRN 和 BSRN-S 在参数量远低于其他对比模型的前提下,实现了更高的 PSNR,即兼顾了低计算复杂度高重建质量,是图中综合表现最优的模型。

在这里插入图片描述
图 2:蓝图可分离残差网络(BSRN)的整体架构图

输入层:低分辨率(LR)图像经复制拼接后输入网络;
浅层特征提取:通过 BSConv 将 LR 图像映射为高维浅层特征F0​;
深层特征提取:堆叠多个 ESDB 模块,对浅层特征进行逐步细化,生成多深度的深层特征;
多层特征融合:将各 ESDB 输出的特征拼接,经 1×1 卷积、GELU 激活和 BSConv 细化后得到融合特征;
残差连接:将融合特征与浅层特征F0​逐元素相加,利用残差学习缓解深层网络的梯度消失问题;
图像重建:通过 3×3 卷积和像素重排操作,将融合后的特征映射为高分辨率(SR)图像;
核心模块:整个网络以 BSConv 和 ESDB 为核心,兼顾效率和特征表达能力。

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/ee5b1b51350244a6b1b9dff75b646b32.pn
本图展示了 BSRN 中核心模块与 RFDN 中对应模块的结构差异,以及 BSConv、ESA、CCA 的具体结构,各子图说明如下:
(a) RFDB:RFDN 中的残差特征蒸馏模块,是 ESDB 的设计基础;
(b) ESDB:本文提出的高效可分离蒸馏模块,在 RFDB 基础上将标准卷积替换为 BSConv,加入 ESA+CCA 注意力模块,效率更高;
© SRB:RFDB 中的浅层残差模块,以标准卷积为核心;
(d) BSRB:本文提出的蓝图浅层残差模块,以 BSConv 为核心,替换了 SRB 中的标准卷积,是 ESDB 的基础单元;
(e) ESA 模块:增强空间注意力模块,轻量化设计,从空间维度增强特征,本文将其中的标准卷积替换为 BSConv 以提升效率;
(f) CCA 模块:对比度感知通道注意力模块,从通道维度增强特征,利用对比度信息计算权重,性能优于传统通道注意力;
(g) BSConv:蓝图可分离卷积,由 1×1 逐点卷积 + 深度卷积构成,是深度可分离卷积的逆变体,能更好地利用卷积核内相关性,减少计算冗余。

BSRN网络整体框架主要有四个阶段:浅层特征提取、深度特征提取、多层特征融合、图像重建。上图b为高效可分离蒸馏模块ESDB,ESDB 主要由三个阶段构成:特征蒸馏、特征浓缩和特征增强。ESA和CCA分别从空间维度和**分别对特征进行增强,且计算开销极低。

4.1.1 数据集与评价指标
训练集:Flickr2K [36] 的 2650 张图像 + DIV2K [1] 的 800 张图像;
测试集:五个标准超分辨率基准数据集 ——Set5 [3]、Set14 [55]、B100 [41]、Urban100 [20]、Manga109 [42];
评价指标:采用 Y 通道(亮度通道)的平均峰值信噪比(PSNR)和结构相似性(SSIM) 作为评价指标,符合超分辨率任务的通用评价标准。

4.1.2 BSRN 的实现细节

  • 网络包含 8 个 ESDB 模块,通道数设置为 64;

  • 所有深度卷积的核尺寸均为 3×3;

  • 数据增强:随机旋转90°/180°/270°、水平翻转;

  • 训练批次大小(batch size)=64,低分辨率输入图像块尺寸 = 48×48;

  • 优化器:Adam [26],β1​=0.9,β2​=0.999;

  • 学习率:初始学习率1×10−3,采用余弦学习率衰减策略;

  • 损失函数:L1​损失,训练迭代次数1×106;

  • 实验平台:PyTorch 框架,2 块 GeForce RTX 3090GPU,训练耗时约 30 小时

在这里插入图片描述
图 4:×4 倍上采样下 BSRN 与当前最优方法在 Urban100 数据集上的视觉效果对比

  1. 实验设置:选取 Urban100 数据集中的 img062、img092、img092 三张典型的复杂纹理图像,对比 BSRN与双三次插值(Bicubic)、FSRCNN、VDSR、IMDN、LapSRN、PAN、CARN、RFDN等方法的超分辨率重建视觉效果,并标注各方法重建结果的PSNR/SSIM值;
  2. 视觉评价标准:Urban100数据集以建筑、城市景观为主,包含大量高频纹理、边缘和细节,是超分辨率任务的难例数据集,重建结果的细节还原度、边缘清晰度是核心评价指标;
  3. 核心结论:
    1)本文提出的 BSRN 在三张图像上均实现了最高的 PSNR/SSIM 值,远超其他对比方法;
    2)视觉效果上,BSRN 重建的图像边缘更锐利、纹理更清晰、细节还原更完整,而其他方法存在不同程度的模糊、伪影或细节丢失(如双三次插值的严重模糊、VDSR 的边缘伪影);
    3)验证了 BSRN 在复杂纹理图像上的超分辨率重建优势,兼顾了定量指标和视觉效果。

结论
本文提出了一种用于单幅图像超分辨率的轻量化网络 ——蓝图可分离残差网络(BSRN),该网络的设计灵感来源于残差特征蒸馏网络(RFDN)和蓝图可分离卷积(BSConv)。

BSRN 继承了 RFDN 的网络整体架构,但通过将 RFDN 中浅层残差模块(SRB)的标准卷积替换为 BSConv,设计了更高效的蓝图浅层残差模块(BSRB);同时,引入 ** 增强空间注意力(ESA)和对比度感知通道注意力(CCA)** 两种高效注意力模块,在几乎不增加计算成本的前提下,显著增强了模型的特征表达能力。

大量的实验结果表明,与现有的高效超分辨率方法相比,BSRN 在参数量和乘加运算量更少的情况下,实现了更优的重建性能(更高的 PSNR/SSIM 和更好的视觉效果)。此外,本文提出的轻量化变体 BSRN-S 在2022 年 NTIRE 高效超分辨率挑战赛的模型复杂度赛道中斩获第一名,充分验证了所提方法的有效性和实用性。

项目技术分析
BSRN 的核心在于其 蓝图可分离残差结构。这种结构将传统的卷积层分解为分组卷积和深度卷积,大大降低了参数数量和计算复杂度。同时,通过引入残差学习机制,BSRN 能够更有效地优化网络并避免梯度消失问题,从而提高了训练效率和预测精度。

此外,BSRN 集成了 PyTorch 框架,并利用了 BasicSR,这是一个强大的图像超分辨率工具包,提供了一系列预处理和后处理功能,以及全面的训练和测试支持。

项目及技术应用场景
BSRN 可广泛应用于多个领域:
视频流媒体服务,提高低分辨率视频的质量。
移动设备上的图像增强,改善手机摄影体验。
医学成像,提升诊断图像的细节清晰度。
安防监控,增强低光照环境下的画面细节。

Logo

开源鸿蒙跨平台开发社区汇聚开发者与厂商,共建“一次开发,多端部署”的开源生态,致力于降低跨端开发门槛,推动万物智联创新。

更多推荐