ESRGCNN：西工大&CityU&中南大学&NTHU&哈工大&CUHK联合提出一种增强组卷积神经网络的图像超分辨方法

关注公众号，发现CV技术之美

本文分享论文『Image Super-resolution with An Enhanced Group Convolutional Neural Network』，由西工大&CityU&中南大学&NTHU&哈工大&CUHK联合提出一种增强组卷积神经网络的图像超分辨方法。

• 作者：田春伟，袁奕萱，张师超，林嘉文，左旺孟，张大鹏
• 单位：西北工业大学、空天地海一体化大数据应用技术国家工程实验室、香港城市大学、中南大学、台湾国立清华大学、哈尔滨工业大学、鹏城实验室和香港中文大学
• 论文链接：https://arxiv.org/abs/2205.14548
• 项目链接：https://github.com/hellloxiaotian/ESRGCNN

01

摘要

具有强学习能力的卷积神经网络（Convolutional Neural Networks, CNNs）已广泛用于解决超分辨率问题。然而，CNNs依靠更深层次的网络结构来提高图像超分辨率的性能，这会增加计算成本。因此，本文提出了一种具有浅层结构的一种增强组卷积神经网络的图像超分辨方法（Enhanced Super-resolution Group Convolutional Neural Network, ESRGCNN）。

该方法根据不同通道的相关性，融合深度和宽度通道特征，提取更准确的低频信息，提高图像超分辨性能。一个信号增强操作用来继承长距离的上下文信息，解决深度网络的长期依赖难题。一个自适应的上采样操作被集成到CNN中，获得具有应对变换缩放因子能力的图像超分辨模型。大量实验表明，提出的ESRGCNN在SISR性能、复杂度、执行速度、图像质量评估和SISR视觉效果方面均具有竞争力的。论文代码能在https://github.com/hellloxiaotian/ESRGCNN处获取。

主要贡献：

1. 提出的40层ESRGCNN使用组卷积和残差运算来增强不同信道在深度和广度上的相关性，实现一个高效的SR网络。
2. 采用一个自适应上采样机制来实现一个灵活的SR模型，这非常适用于真实的数字设备。
3. 浅层ESRGCNN仅使用了134层RDN的5.6%和384层CSFM的9.6%的参数量，获得好的视觉效果。同时，恢复1024x2014大小的高分辨率图像的时间仅占RDN和CSFM方法的3%。

02

方法

网络结构如图1所示，上采样操作技术如图2和图3所示：

图1 ESRGCNN的网络结构图

图2 用于训练盲超分辨模型的并行上采样操作图

图3 用于测试盲超分辨模型的上采样操作图

03

实验结果

本文提出的方法在Set5，Set14，B100，U100这四个基准数据上超过了很多流行的方法，如：A+、SelfEx、SRCNN和CARN-M等。更多的结构如表1到表4：

表 1 不同SR方法在Set5数据集上对于三种不同放大倍数（×2、×3和×4）的PSNR/SSIM结果

表 2 不同SR方法在Set14数据集上对于三种不同放大倍数（×2、×3和×4）的PSNR/SSIM结果

表 3 不同SR方法在B100数据集上对于三种不同放大倍数（×2、×3和×4）的PSNR/SSIM结果

表 4 不同SR方法在U100数据集上对于三种不同放大倍数（×2、×3和×4）的PSNR/SSIM结果

通过在鹦鹉和蝴蝶图像上，评估提出的ESRGCNN在恢复单幅低分辨率图像的结果，具体结果如表5和表6所示：

表5 不同方法在鹦鹉图像上恢复3倍高质量图像的超分辨结果

表5 不同方法在蝴蝶图像上恢复2倍高质量图像的超分辨结果

本文还比较不同方法的恢复图像的速度、参数量和特征相似性（Feature Similarity, FSIM）值。具体结果如下表7至表9所示：

表7不同SR方法恢复256×256、512×512和1024×1024大小的2倍高分辨率图像的运行时间（秒）

表8 不同SR方法恢复2倍高分辨率图像的复杂度

表9 不同SR方法恢复2倍高分辨率图像的特征相似性指

此外，本文也制作了2组可视化结果来验证本文提出的方法的有效性，如图4和图5所示：

图4 不同SR方法在U100上复原3倍图像的可视化效果图。（a） 双三次插值（26.19dB/0.7295），（b）CARN-M（28.90dB/0.8176），（c）LESRCNN（29.06dB/0.8199）和（d）ESRGCNN（29.58dB/0.8303）

图5 不同SR方法在B100上复原2倍图像的可视化效果图。（a）双三次插值27.63dB/0.8220），（b）CARN-M（30.60dB/0.8968），（c）LESRCNN（30.94dB/0.8987）和（d）ESRGCNN（该文结果）（31.56dB/0.9085）

04

结论

本文提出了一种增强组卷积神经网络的图像超分辨方法（ESRGCNN）。ESRGCNN利用不同通道的关联性来增强深度通道和宽度通道作用，提取更准确的低频特征，恢复图像质量。考虑到深度网络的长期依赖问题，一个信号增强操作用来集成长距离的上下文信息。

为了应对不同尺寸的低分辨率图像，一个自适应的上采样操作用到ESRGCNN中。通过比较不同方法在多个基准的数据集上的超分辨效果可知，ESRGCNN在PSRN、SSIM、恢复高质量图像的速度、复杂度、图像质量评估和视觉可视化效果上均获得有效的效果。作者指出在将来的工作中将通过信号处理、数字理论和深度学习理论来设计轻量级的网络，解决图像盲超分辨问题。

END