论文总字数：24058字

摘 要

人脸识别是计算机视觉领域最流行的方向之一。经过多年的发展，基于二维图片的人脸识别在理论和应用两方面已经趋向成熟，并广泛应用于手机解锁，身份匹配，安全验证等领域。然而，由于二维图片存在易受光照影响、只包含纹理信息、缺乏几何形状信息等缺陷，很难充分利用人脸信息，并且在环境变化很大的情况下难以进行准确识别。因此，三维数据可以描述人脸的几何信息，并且不易受环境影响，在本质上有一定优势。

深度学习在许多图像识别领域的卓越表现已经证明其有效性，对于如何利用深度学习对三维人脸进行识别，对提高识别精度十分重要。目前已经有算法能够对三维数据进行处理，但基本都是基于深度图，即将三维数据投影到二维平面，但这些方法依赖于对齐等与处理算法的准确度，另外没有真正利用三维数据的优势，即没有从本质上解决问题。

本文结合深度学习在三维物体识别的最新研究PointNet系列，选择适当的三维人脸数据集进行预处理，并加入了多任务级联卷积网络（MTCNN）提取人脸特征点。之后修改PointNet 的采样函数，尝试并比较多种新的采样函数，选择了混合采样的方法，最终实现了三维人脸点云数据的直接识别，识别率达到85%以上。

关键词：深度学习，人脸识别，三维点云

Abstract

Face recognition is one of the most popular directions in the field of computer vision. After years of development, face recognition based on 2D images has matured in both theory and application, and is widely used in mobile phone unlocking, identity matching, security verification and other fields. However, since the 2D image has defects such as being susceptible to illumination, including only texture information, and lack of geometric information, it is difficult to make full use of face information, and it is difficult to accurately recognize when the environment change greatly. Since the 3D data can describe the geometric information of the face, and is not easily affected by the environment, it has certain advantages in essence.

The excellent performance of deep learning algorithms in many areas of image recognition has proved its effectiveness. How to use it to identify 3D faces is very important to improve the recognition accuracy. At present, there are algorithms that can process 3D data, but they are basically based on depth maps. That is, 3D data is projected onto 2D planes. But these methods rely on the accuracy of alignment and processing algorithms, and ignore the advantages of using 3D data. That is, it does not solve the problem in essence.

This paper combines deep learning in the latest research on the 3D object recognition PointNet series, selects and preprocessing appropriate 3D face dataset, and adds the Multi-task Cascaded Convolutional Network (MTCNN) to extract the face feature points. Then it modifies the sampling function of PointNet , try and compare a variety of new sampling functions and finally select the hybrid sampling method. Finally, it realizes direct recognition of 3D face data. The recognition rate is over 85%.

KEY WORDS: deep learning, face recognition, 3D data

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 手动提取特征 1

1.2 基于深度学习的方法 1

1.2.1 直接处理点云的方法 2

1.2.2 基于voxel的方法 3

1.2.3 基于深度图的处理 3

第二章 PointNet 原理 5

2.1 PointNet网络结构 5

2.1.1 无序输入的对称函数 5

2.1.2 局部和全局信息聚合 6

2.1.3 联合对齐网络 6

2.2 PointNet 7

2.3 分层点集特征学习 7

2.3.1 采样层 8

2.3.2 分组层 8

2.3.3 PointNet层 9

2.4 密度自适应 9

2.4.1 多尺度分组 (MSG) 10

2.4.2 多分辨率分组 (MRG) 10

第三章 数据集选择与样本预处理 11

3.1 Bosphorus数据集 11

3.1.1 数据集介绍 11

3.1.2 数据集采集 11

3.2 HDF5数据格式 11

3.3 数据集处理 12

3.3.1 数据读取和写入 12

3.3.2 采样 12

3.3.3 归一化处理 13

3.3.4 数据清洗 13

3.4 多任务级联卷积网络 13

3.4.1 网络组成 13

3.4.2 训练过程 14

3.4.3 MTCNN运行结果 17

3.4.4 使用MTCNN制作样本 18

第四章 采样算法及分析 19

4.1 最远点采样算法 19

4.1.1 问题提出 19

4.1.2 算法内容 20

4.1.3 FPS结果 21

4.2 刚性区域和非刚性区域 22

4.3 新的采样方式 22

4.3.1 加权采样 23

4.3.2 基于特征点距离的均匀分布采样 24

4.3.3 混合采样 24

4.4 GPU编程——CUDA 25

4.4.1 CUDA软件架构 25

4.4.2 CUDA线程结构 26

4.4.3 CUDA程序编写 27

第五章 实验结果与分析 29

5.1 训练结果 29

5.2 采样方法比较 29

第六章 总结与展望 31

6.1 本文总结 31

6.2 展望 31

6.2.1 降低识别错误率 31

6.2.2 降低三维数据获取成本 31

6.2.3 尝试直接从三维数据获取5个特征点 32

6.2.4 面对遮挡，侧脸时具有更强的鲁棒性 32

参考文献 33

致谢 34

绪论

在二维图像上的人脸识别已经发展到了一个较为成熟的水准，但是二维图像易受光照和环境因素的影响；而三维数据不仅含有更高维的几何信息，受光照和环境因素的影响也很小，因此使用三维数据进行人脸识别，上限远远高于基于二维图像的人脸识别。而三维数据本身存在信息获取难，数据量巨大，排列不规则等特点，因此对三维数据进行处理，是一项既令人兴奋，又富有挑战性的工作，是一个新兴的研究方向。目前针对三维数据的研究，主要集中在三维点云物体的识别。​按照特征提取方式分类，三维点云识别方法可以分为属于经典计算机视觉的手动提取特征的方法和新兴的深度学习的方法。其中，手动提取特征的方法经过多年的发展已经达到了一定的水平，在某些领域已经可以投入简单的应用。而深度学习的方法是近年来的研究热点，在很多数据集上获得了令人印象深刻的成绩。

手动提取特征

传统的特征提取方法从三维点云的几何属性、形状属性、结构属性等方面提取三维空间特征，统计关键点局部邻域的空间分布信息，计算空间分布直方图，得到特征向量等描述子，使用机器学习的方法，如SVM，Adaboost等分类器进行分类，从而得到最终的分类结果。

根据提取特征的区域还可以分为基于局部特征和基于全局特征。其中，基于局部特征的方法主要提取物体直观的点，线，面等信息，或者法向量、梯度等信息。基于全局特征的方法需要将待观察目标通过一些算法单独分离出来，再计算其法向量等几何信息来构建特征向量。此外，还有基于图的方法，主要将点云数据分解成基本形状，使用抽象点进行表示，再构造拓扑图表示形状之间的关系，使用图匹配的方法进行识别。

剩余内容已隐藏，请支付后下载全文，论文总字数：24058字