摘 要

21世纪以来，信息科技的快速发展和人类需求的日益增长，非制冷热成像和可见光成像的融合也成为近年来研究的热门方向，非制冷热成像即红外热成像，它与可见光成像的方式不同，其对光照感知不是特别敏感，而对于温度却有着较强的感知能力，其特征信息主要是通过轮廓特征的提取。而可见光成像受光源照射、外部环境等各种因素的影响，夜间的成像效果并不好，但是由于其成像的机制能够抓取更多的细节特征。通过使可见光成像和红外图像两者相结合的方式，提取各自图像中的特征抓捕优势部分，从而得到一个具有丰富特征的综合性图像，使人们在观察的过程中更加深入了解图像所表达的信息场景。

本文主要是针对非制冷热成像和可见光图像融合算法的研究，不同于目前所提出的图像融合的方法，融合后信息量过大，融合的图像无法能够快速有效的提取出里面的特征信息。为了解决这一问题，从而提出不同的可见光图像和红外图像融合的算法。本算法的主要思想，利用一种基于密集块的深度学习网络模型架构，对可见光和红外图像进行深层特征提取，并且将提取到的红外图像特征和可见光图像特征进行对应融合，得到融合的图像。并将其融合质量与现有的图像融合方式进行分析比较，从多个方面评价基于深度学习算法的优劣性。

关键词：可见光图像 红外图像 图像融合 深度学习 CNN 密集块

Research on Uncooled Thermal Imaging and Visible Image Fusion Algorithm

Abstract

Since the 21st century, the rapid development of information technology and the increasing demand of human beings, the fusion of uncooled thermal imaging and visible light imaging has become a hot trend in recent years. Uncooled thermal imaging is infrared thermal imaging, which is different from visible light imaging. It is not particularly sensitive to illumination perception, but has a strong perception of temperature, and its feature information is mainly through the extraction of contour features. While visible light imaging is affected by various factors such as light source illumination and external environment, the imaging effect at night is not good, but its imaging mechanism can capture more detailed features. By combining the visible light imaging and the infrared image, the feature capture features in the respective images are extracted, and a comprehensive image with rich features is obtained, which enables people to better understand the expression of the image during the observation process. Information scene.

This paper is mainly aimed at the research of uncooled thermal imaging and visible image fusion algorithm. Different from the current image fusion method, the amount of information after fusion is too large, and the fused image cannot extract the feature information quickly and effectively. In order to solve this problem, different algorithms for the fusion of visible light images and infrared images are proposed. The main idea of ​​the algorithm is to use a deep block-based deep learning network model architecture to extract deep features of visible light and infrared images, and to combine the extracted infrared image features with visible light image features to obtain a fused image. The fusion quality is compared with the existing image fusion method, and the advantages and disadvantages of the deep learning algorithm are evaluated from various aspects.

Key Words: Visible image; Infrared image; Image fusion; Deep learning; CNN; Dense block

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 课题研究背景以及相关意义 1

1.2 图像融合技术的发展进程 2

1.2.1 图像融合技术的发展现状 2

1.2.2 红外传感器的原理及应用 3

1.2.3 可见光传感器的原理及应用 4

1.3 本文的章节内容及安排 5

第二章 非制冷热成像和可见光图像基本理论研究 7

2.1 图像融合的总体框架描述 7

2.2 图像预处理的方法 7

2.2.1 图像去噪 8

2.2.2 图像增强 9

2.2.3 图像配准 10

2.3 图像融合质量的评价方法 10

2.3.1 主观评价 11

2.3.2 客观评价 11

第三章 现有可见光图像融合算法介绍 13

3.1 基于空间域的图像融合算法 13

3.2 基于变换域的图像融合 14

3.2.1 拉普拉斯金字塔图像融合 15

3.2.2 基于小波变换的图像融合 17

3.2.3 基于Contourlet变换的融合 17

3.2.4 基于神经网络的图像融合 18

第四章 开发工具的使用简介 20

4.1 Python语言简介 20

4.2 Python中的编码方式 21

4.3 Python支持的第三方库简介 22

4.3.1 OpenCV简介 22

4.3.2 Tenserflow简介 22

4.3.3 Numpy、Scipy、Matplot简介 23

第五章 基于深度学习的图像融合算法介绍 24

5.1 算法背景及基本原理的介绍 24

5.2 模型训练策略 25

5.2.1 训练模型分析 27

5.3 融合层的策略 29

5.3.1 加法策略 29

5.3.2 l1范数策略 30

5.4 融合验证设置 32

5.5 彩色图像融合设置 36

5.6 图像融合质量评价 37

5.6.1信息熵比较 39

5.6.2 结构相似性比较 40

5.6.3 图像梯度进行轮廓提取 40

第六章 总结与展望 43

6.1 本论文的总结 43

6.2 对当前技术及未来的展望 44

参考文献 45

致谢 47

绪论

1.1 课题研究背景以及相关意义

21世纪以及来，随着互联网产业的繁荣，以及光电技术产业的蓬勃发展。为了满足社会发展需要，和人们的应用需求，电子设备市场和传感器市场出现了各式各样的图像传感设备，并且在各个领域中都有被部署和使用，在人们的日常生活和社会生产中起到了很大的作用。这些电子传感设备凭借着独有的特性，对其所针对的场景进行捕捉数据并且分析处理，最终以图像的形式传输到设备终端，从而实现对场景特征的捕捉。然而随着人们的需求日益增长，普通的成像传感器逐渐不再能够满足各个场景的高品质需求。各种图像成像的传感器的原理机制不太一样，导致成像后所捕捉到的特征信息也具有很大的差别。为了提高图像中信息的有效性和全面性，并且取出图像中存在的噪声部分，多图像传感器成像融合处理方法应运而生，图像融合处理的方法也成为了整个行业内的追逐研究热点和应用热门。

图像融合的技术，就是通过图像传感器在某一时刻，某一场景采集到的图像信息，在不同层次、不同方面的处理，从而最终获得比较可靠、精确、丰富的信息。根据应用场景的不同，图像融合技术可以被分成多个类别，例如医学图像、多聚焦图像、遥感图像以及红外和可见光图像之间的融合等等，本文主要研究的可见光图像和红外图像的融合^[1]。因其在安防监控、军事应用等领域具有较好的应用场景，该研究方向长期以来一直被重点关注，是非常热门的研究方面。

相关图片展示：