基于GAN的媒体超分辨率研究

论文总字数：38006字

摘 要

随着深度卷积神经网络的发展，目前单幅图像超分辨率在准确性和速度上已经取得了卓越的效果。但仍有一个问题尚未解决：超分辨率图像的细小纹理细节不能够被很好地被恢复。先前的工作主要使用最小化均方重构误差来优化模型。尽管得到的超分辨率图片在峰值信噪比等评估标准上有着较高的结果，但往往缺乏高频细节和感官满意度，无法达到超分辨率的预期逼真度。

本文提出一种基于通道拆分的感知损失最小化方法，利用生成对抗网生成细粒度超分辨率结果。本文提出使用感知损失函数代替基于单像素的损失函数（如MSE）从而解决数据偏差和不一致性。内容损失使得我们的图像与真实图像在感知上更加相似，对抗损失用一个判别网络将我们的方案推向自然图像多样化。

本文提出一种数据分布一致化的通道拆分方法。为使我们的模型更具有普适性，我们对输入图像进行灰度预处理，使用灰度图进行超分变率，并将结果恢复色彩得到相应的超分辨率图像。除了在传统基准（PSNR/SSIM）上，我们的网络有着良好的超分辨率性能。我们还采用主观评估——平均意见得分（MOS）测试来衡量我们的网络模型在感官满意度上的效果。

本文实现提出的算法，在ImageNet数据集上进行验证和主观实验。实验显示，我们的结果比其他先进方法在视觉质量上有着显著的提升。

关键词：超分辨率，生成对抗网络，感知损失函数，通道拆分

Abstract

With the development of deep convolutional neural networks, single image super resolution has achieved excellent results in accuracy and speed. However, there is still a problem that has not been solved: the fine texture details of super-resolution images cannot be well restored. Previous work has mainly used the minimization of the mean square reconstruction error to optimize the model. Although the resulting super-resolution pictures have higher results in terms of evaluation criteria such as peak signal-to-noise ratio, they often lack high-frequency details and sensory satisfaction and cannot achieve the expected fidelity of super-resolution.

In this paper, we propose a method of minimizing perceptual loss based on channel splitting, using the generative adversarial network to generate fine-grained super-resolution results. We use a perceptual loss function instead of a per-pixel loss function (such as MSE) to address data bias and inconsistency. Content loss makes our images more similar to real images, and adversarial loss uses a discriminator network to diversify our solutions to natural images.

We also propose a channel splitting method with uniform data distribution. In order to make our model more universal, we perform grayscale preprocessing on the input image, use the grayscale image to perform the super resolution, and restore the color to the corresponding super-resolution image. In addition to the traditional benchmark (PSNR/SSIM), our network has a good super-resolution performance. We also use a subjective assessment - the Mean Opinion Score (MOS) test, to measure the effect of our network model on sensory satisfaction.

This paper implements of the proposed algorithm perform verification and subjective experiments on the ImageNet dataset. Experiments show that our results have a significant improvement in visual quality over other advanced methods.

KEY WORDS: super-resolution, generative adversarial network, perceptual loss function, channel splitting

目录

摘要 I

Abstract II

第一章 引言 1

1.1 研究背景 1

1.2 目前面临的主要挑战 1

1.3本文的主要贡献 3

第二章 研究现状与相关工作 5

2.1 图像超分辨率 5

2.1.1单幅图像超分辨率 5

2.1.2多幅图像超分辨率 6

2.2视频超分辨率 7

2.3损失函数的选取 8

第三章 面向细节表达的生成对抗超分辨方法 9

3.1生成对抗网络结构 9

3.2感知损失函数设计 11

3.2.1 内容损失 11

3.2.2对抗损失 12

第四章 基于数据分布一致性的通道拆分策略 13

4.1目前SRGAN存在的不足 13

4.2图像通道拆分相关方法 17

4.2.1灰度化方法及通道拆分 18

4.2.2灰度图着色方法及通道融合 20

第五章 系统实现与验证 24

5.1训练细节与参数设置 24

5.2数据集与性能测量 24

5.3内容损失函数研究 27

5.4通道拆分方法相关测试 29

5.5最终系统性能评估 30

第六章 总结与展望 32

6.1研究工作总结 32

6.2研究工作展望 32

致谢 34

参考文献 35

第一章 引言

1.1 研究背景

在保持视觉质量的同时，增加图像或视频的分辨率是计算机视觉中最具挑战性和根本性问题之一。 超分辨率的主要目标是从其低分辨率（LR）副本中恢复高分辨率（HR）图像或视频的细节。随着设备配有高分辨率显示器的趋势，视频超分辨率已经引起了越来越多的关注。特别地，视频超分辨率旨在生成给定LR帧的HR视频帧的序列。 由于视频帧在帧之间共享大量信息，因此有必要利用时间冗余来设计高效的算法。

图像超分辨率（SR）是从一个或多个低分辨率图像（LR）观测获得一个或多个高分辨率（HR）图像的过程。它已被用于许多不同的应用，如卫星和航空成像，医学图像处理，超声成像，线拟合，自动镶嵌，红外成像，面部图像改进，文本图像改进，压缩图像和视频增强，符号和数字板读取，虹膜识别，指纹图像增强，数字全息和高动态范围成像等。

剩余内容已隐藏，请支付后下载全文，论文总字数：38006字