论文总字数：26496字

摘 要

本文研究改进了一种基于深度卷积神经网络的去雨算法，用于检测和清除雨天视频图像中的雨线。使用深度卷积神经网络，直接从训练样本中学习雨景图像和清洁图像细节层之间的映射关系。由于无法获得与现实世界中雨景图像相对应的自然清洁图像，本文使用清洁图像与不同强度和大小的雨水来合成雨图像作为训练样本，并采取图像块的方式来增加样本数量。与其他增加网络深度或宽度的常用策略相比，本文使用图像处理领域知识来修改目标函数，首先使用引导滤波算法对雨图像和相对应的清洁图像进行滤波，得到细节层和基层，将细节层作为网络的输入，而不是直接在原始图像域上进行训练，清洁图像的细节层作为训练的目标。细节层相比于原图像更加稀疏，且大部分像素值较低，在细节层上进行训练能够取得更好的效果。测试发现该算法不仅在合成图像上有良好的性能，对真实世界雨景图像也能够实现有效的去雨，使用一定的图像增强策略后，能够有效改善视觉效果。

关键词：去除雨水，卷积神经网络，引导滤波，图像增强

Abstract

An algorithm based on deep convolution neural network is researched in this paper, which is used to detect and remove rain streaks from an image and video. On the basis of deep convolution neural network, the paper directly studies the mapping relationship between rainy and clean image detail layers from training samples. Because we do not have the natural clean images corresponding to real-world rainy images, we use clean images and rain to synthesis rainy images for training, and take the way of image block to increase the number of samples. In contrast to other common strategies that increase depth or breadth of the network, we use image processing domain knowledge to modify the objective function. Firstly, we get detail layer and base layer by guided filter, and we train on the detail layer rather than directly in the image domain. The detail layer is sparser than the original image and we can achieve better results in training. The experiment result shows that this algorithm not only performed well in the composite image, but can also remove the rain of real-world rainy images. Moreover, we take some image enhancement strategies to improve the visual results.

KEY WORDS: Rain removal, convolutional neural networks, guided filter, image enhancement

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 研究背景和意义 1

1.2 国内外研究现状 2

1.3 论文的主要工作 3

1.4 论文的内容安排 4

第二章 雨景图像的引导滤波 5

2.1 雨景图像特点 5

2.1.1 雨的大小与形状 5

2.1.2 雨的光学特性 5

2.2 引导滤波 6

2.2.1 基本滤波 6

2.2.2 引导滤波 7

2.3 本章小结 9

第三章 深度卷积神经网络的去雨算法 10

3.1 卷积神经网络 10

3.1.1 卷积 11

3.1.2 池化 12

3.2 深度卷积神经网络的去雨算法 13

3.2.1 图像滤波 13

3.2.2 卷积神经网络结构 16

3.3 卷积神经网络的训练 18

3.3.1 训练样本的准备 18

3.3.2 参数的选择 20

3.3.3 学习过程 20

3.4 图像增强 24

3.5 本章小结 25

第四章 实验结果与分析 27

4.1 静态图像的去雨结果 27

4.2 视频图像的去雨结果 33

4.3 本章小结 35

第五章 总结与展望 36

5.1 总结 36

5.2 展望 36

致 谢 37

参考文献 38

绪论

研究背景和意义

通过视觉获取外界信息是人类感知外界的重要途径之一，而图像以及视频信息是其中最主要的组成部分。信息传递主要有三种媒介：图像、文字和声音 ，其中图像能够更加直观和明确的呈现事物，同时具有强烈的视觉冲击，能够表达不同的情绪与信息，大众可以高效直接的理解其想表达的内容。因此，在信息的传播过程中，图像传播扮演着十分重要的角色。随着数字信息时代的不断发展，图像和视频成为信息的主流传播媒介，其快捷、纪实的特点更适应于信息化时代的信息传递。相比于声音或文字，人类更倾向于使用图像来与外界进行沟通，所以对于图像质量的要求就会提高，需要其能够清晰和准确的传递信息，充分体现了数字图像处理技术的重要性。

随着互联网、数字通信和多媒体等行业技术的不断发展，人类生活的很多方面都会运用到数字图像处理技术。生物医学上使用医用显微镜对观察到的图像进行医学诊断；人脸识别、指纹识别和交通监控等技术中都使用到图像处理技术。总之，图像处理技术应用领域十分广泛，在下至国民的日常生活，上至整个国家的经济发展中都扮演着越来越重要的角色。

图像的重要性不言而喻，然而由于成像设备、传播媒介、接受系统的差别，数字图像在其形成、传播和接收的过程中会受到很多不同因素的干扰和影响，使得图像上被噪声污染、关键信息被遮挡以及信息缺失等情况。由此图像的质量大大降低，想要传递的信息被破坏，导致在实际应用中无法准确获取信息，对目标的检测和识别造成困难。在各方面干扰因素中，恶劣的天气因素相比于其他因素来说难以控制与改变，常见的恶劣天气有雾、雪、雨等，这些因素会使得图像的对比度和清晰度下降，颜色失真以及关键信息被遮挡等，导致图像质量严重下降，影响视觉效果。图像的应用价值降低，增加了对于图像中的目标检测识别、特征提取、建模等应用的难度，对一些实际应用造成了很大的干扰。如交通系统中高速公路监控，在恶劣天气情况下获取的实时路况退化，对于车辆信息的识别和交通状况的监控能力大幅下降；汽车导航系统中，后视倒车影像被天气情况干扰，会导致车主无法正常判断路况信息，则可能会导致交通事故的发生；公安监控系统中，受损的图像将导致无法准确识别其中的信息，从而阻碍目标的追踪，甚至造成不可挽回的后果。因此，为保证视觉系统的可靠性，去除恶劣天气造成的视觉影响是十分有必要的。

根据构成不同天气粒子的大小以及对图像的影响效果，可以将恶劣天气分为两类：一类是由微小的粒子构成的静态恶劣天气，如烟、雾和沙尘等；另一类则是由较大的粒子构成的动态恶劣天气，如雨、雪等。在去除这两类不同天气因素带来的影响时，使用的方法策略也有所不同。对于静态天气，图像修复已有一些较为成熟的方法，如去雾的问题模型，已经取得了比较好的效果，沙尘同属于静态天气，参考去雾的方法并进行一些颜色校正，能够实现沙尘的清除。

剩余内容已隐藏，请支付后下载全文，论文总字数：26496字