- 文献综述(或调研报告):
超分辨率(SR)[1][2][3]指的是从同一场景的一个或多个低分辨率观测中恢复高分辨率图像的任务。 根据输入的数量 LR图像,SR可以分为单图像超分辨率(SISR)和多图像超分辨率(MISR)。 与MISR相比,SISR更受欢迎,因为它的高效率。 由于HR图像具有高质量,有更多有价值的细节,它在许多人中广泛使用医学成像,卫星成像和安全等领域成像。 众所周知,SISR是一个多样化的问题,因为一个LR输入可能对应很多可能的HR解决方案 。
截至目前,主流算法SISR主要分为三类:基于插值的方法,基于重建的方法和基于学习的方法。基于插值的SISR方法,如双三次插值和Lanczos重采样,非常快速和简单,但缺乏准确性。 基于重建的SR方法,通常采用复杂的先验知识来限制可能的解空间, 具有产生灵活和锐利细节的优点。基于学习的SISR方法,也称为基于实例的方法,因为其计算速度快、性能突出而备受关注。 这些方法通常利用机器学习算法来分析LR与其相应HR之间的统计关系。 最近,基于深度学习的SISR算法对比基于重建的方法和其他方法基于学习的方法表现出巨大的优势。
与传统任务特定的学习算法不同,选择某个专业领域的有用的特征,深度学习算法旨在自动学习信息层次表示然后利用它们来实现最终目标,整个学习过程可以看作是一个 整体。
由于人工神经网络(ANN)具有很大的逼近能力和层次特性,大多数是现代的深度学习模型基于人工神经网络。
基于深度学习的开山鼻祖是SRCNN[8],如图1。SRCNN首先将LR图像通过双三次插值放大成需要的大小。然后再通过一个三层的CNN,其中每层的滤波器尺寸是64times;1times;9times;9, 32times;64times;5times;5和1times;32times;5times;5,第一层不添加激励函数,第二层使用ReLu作为激励函数,第三层同样使用ReLu,每一层使用的padding都是same_padding,保持每层的特征图都和HR图像大小相同。这三种非线性变换的功能是图片块提取, 非线性映射和重建,优化SRCNN的损失函数是均方误差法(MSE)。
图1.SRCNN结构图
由于SRCNN存在一系列问题,比如双三次插值的计算复杂度太高,训练层数不够,双三次插值可能会影响训练效果等问题。FSRCNN(如图2)使用了反卷积层降低了计算复杂度,不再使用双三次插值,将SRCNN第一步双三次变换更换成邻值填充或零填充,然后用反卷积使特征图转换到目标大小。
图2.FSRCNN预处理示意图
