2021-Deep Learning for Image Super-resolution:A Survey

基本信息

作者: Zhihao Wang, Jian Chen, Steven C.H. Hoi, Fellow, IEEE
期刊: IEEE Trans Pattern Anal Mach Intell(16.389)
引用: 156(热点论文)
摘要: 本文旨在对深度学习方法在图像超分辨率研究中的最新进展进行综述。本文将SR技术分为3类:监督SR、非监督SR和特定领域的SR。本文还总结了公开可用的基准数据集和性能评估指标,总结了几个未来的方向和有待社会各界进一步解决的问题。

主要内容

目前的SR的主要区别:

  1. 网络结构
  2. 损失函数
  3. 学习原则和策略

本文贡献:

  1. 对基于深度学习的图像超分辨率技术进行了全面的综述,包括问题设置、基准数据集、性能指标、一类支持深度学习的超分辨率方法、特定领域的超分辨率应用等。
  2. 系统地综述了基于深度学习的SR技术的最新进展,总结了每个组件对于有效的SR解决方案的优点和局限性。
  3. 我们讨论了挑战和有待解决的问题,确定了新的趋势和未来的方向,为社会提供了有洞察力的指导。

全文层次结构
基于深度学习的图像超分辨率——综述

SR定义、数据集与指标

1. SR问题的定义
该部分介绍了SR的退化模型,重建模型以及SR目标函数

2. 数据集
有的数据集提供HR个LR,有的只提供HR,而LR通常需要用matlab的bicubic获得,常见的数据集如下:
其他专用数据集用于SR:ImageNet,MS-COCO,VOC2012,CelebA……
组合数据集用于SR:T91和BSDS300;DIV2K和Flickr2K……
基于深度学习的图像超分辨率——综述

3. SR图像指标(IQA)
指标主要包括主观指标和客观指标,但目前多用后者,两者可能会有差异(有矛盾)
客观指标的类型:使用参考图像执行评估的全参考方法、基于提取特征的比较的减少参考方法、没有任何参考图像的无参考方法

4. 操作通道
前期多用YCbCr的Y通道评估,后期多用RGB通道,色彩空间不同,结果会有差异

5. 超分辨比赛

监督SR

1. 上采样位置

以下为采样位置的图示

基于深度学习的图像超分辨率——综述

立方体大小代表输出大小。灰色的表示预定义的上采样,而绿色、黄色和蓝色的分别表示可学习的上采样、下采样和卷积层。虚线框包围的块代表可堆叠模块。

2. 上采样方法

插值只是根据自己的信号提高分辨率,没有更多信息,还会引入噪声放大、计算复杂度、结果模糊等问题,现在多用可学习上采样代替

3. 网络设计

4. 学习策略

5. 其他改进

6. 先进模型的总结

基于深度学习的图像超分辨率——综述

基于深度学习的图像超分辨率——综述

非监督SR

监督SR的缺点: 由于难以收集相同场景但具有不同分辨率的图像,SR数据集中的LR图像通常是通过对HR图像进行预定义的退化来获得的。因此,经过训练的SR模型实际上学习了预定义退化的逆过程。
监督SR优点: 不引入人工退化先验的情况下学习真实世界的LR-HR映射,只提供未配对的LR-HR图像进行训练,这样得到的模型更有可能以应对现实世界场景中的SR问题。

1. Zero-shot SR

2. 弱监督SR

3. 深度图像先验

特定领域的应用

1. 深度图超分辨

2. 人脸图像超分辨

3. 高光谱图像超分辨

4. 真实世界图像超分辨率

5. 视频超分辨

6. 其他应用
小物体超分辨解决小物体检测问题
在特征空间超分辨小尺寸图像得到高分辨特征,用于图像检测
……
总之,超分辨率技术可以在各种应用中发挥重要作用,特别是当我们可以很好地处理大对象,但不能处理小对象。

结论及未来的方向

1. 网络设计

用于深度学习的神经架构搜索(NAS)与SR领域上述内容相结合可能会有很大的潜力。

2. 学习策略

3. 评估指标

4. 无监督超分辨率
通常很难收集同一场景的不同分辨率的图像,所以双三次插值被广泛用于构建SR数据集。然而,在这些数据集上训练的SR模型可能只学习了预定义退化的逆过程。如何进行无监督的超级分辨率(即在没有成对的LR-HR图像的数据集上训练)是未来发展的一个有希望的方向。

5. 真实世界的场景

参考文献:[1] WANG Z, CHEN J, HOI S C H. Deep Learning for Image Super-Resolution: A Survey [J]. IEEE Trans Pattern Anal Mach Intell, 2021, 43(10): 3365-87.

发表回复