论文总字数：35540字

摘 要

近些年来，深度学习越来越受到人们的追捧，在各个领域都得到了不错的应用。深度学习网络模型较多，其中以卷积神经网络最为出名，该模型通过卷积和池化两个层，从原始数据中逐步提取高阶的特征信息，从而训练出比传统方法更加高效的网络。本文基于深度学习技术，提出了两种人脸表情识别算法。

第一种是基于传统卷积神经网络的人脸表情识别算法，本文的网络结构设有卷积层、池化层、全连接层和输出层。输入数据进来后，首先经过5层的卷积层和5层的池化层，而后进入2个全连接层，最后经过Softmax的输出层进行表情特征分类。在网络结构中采用Dropout和批标准化，避免卷积网络的过拟合问题。

第二种是基于多分辨率的人脸表情识别算法，该方法是对第一种方法的改进，设有两个不同深度的卷积网络，在深层的卷积网络中可以提取到整张图像的抽象特征，而在浅层可以提取到图像的细节特征，对两个卷积网络提取到的特征进行融合，最后通过Softmax的输出层进行表情分类。

本文在Fer2013与CK 数据集上分别进行训练与测试，两种方法都取得了不错的效果。相比传统的卷积网络结构，多分辨率的卷积网络结构具有更好的识别率，验证了本文提出的多分辨率的卷积网络算法的有效性。

关键词：深度学习；人脸表情识别；卷积神经网络；多分辨率

Research on facial expression recognition based

on deep learning

Abstract

In recent years, deep learning has become more and more popular, and has been well applied in various fields. There are many deep learning network models, most notably convolutional neural networks. This model uses convolution and pooling to gradually extract high-level feature information from the original data, thereby training a more efficient network than traditional methods. . Based on deep learning technology, this paper proposes two facial expression recognition algorithms.

The first is the facial expression recognition algorithm based on the traditional convolutional neural network. The network structure of this paper consists of the convolutional layer, pooling layer, full connection layer and output layer. After the input data comes in, it first goes through the convolution layer of 5 layers and the pooling layer of 5 layers, and then enters into 2 fully connected layers. Finally, it goes through the output layer of Softmax to conduct expression feature classification. Dropout and batch standardization are adopted in network structure to avoid the problem of over-fitting of convolutional network.

The second is a multi-resolution facial expression recognition algorithm. This method is an improvement on the first method. It has two convolutional networks of different depths. In the deep convolutional network, the entire image can be extracted. The abstract features of the image can be extracted in the shallow layer, and the extracted features of the two convolutional networks can be fused, and finally the expression classification can be performed through the output layer of Softmax.

In this paper, Fer2013 and CK data sets were trained and tested respectively, and both methods achieved good results. Compared with the traditional convolutional network structure, the multiresolution convolutional network structure has a better recognition rate, which verifies the effectiveness of put forward multiresolution convolutional network algorithm.

Key words：deep learning；Facial expression recognition；Convolutional neural network；Multiresolution

图目录

图1.1 表情识别过程图 1

图2.1 感知机结构图 5

图2.2 单层感知器结构图 6

图2.3 多层感知器结构图 7

图2.4 深度信念网络结构图 8

图2.5 受限玻尔兹曼机结构图 9

图2.6 循环神经网络结构图 10

图2.7 卷积神经网络结构图 11

图2.8 卷积运算过程示意图 11

图2.9 最大池化层示意图 12

图2.10 全连接层示意图 13

图2.11 Dropout使用对比图 14

图2.12 Sigmoid激活函数 15

图2.13 Tanh激活函数 16

图2.14 ReLU激活函数 16

图2.15 PReLU激活函数 17

图3.1 CK 人脸表情数据集 20

图3.2 Fer2013人脸表情数据集 21

图3.3 JAFFE人脸表情数据集 22

图3.4 AFEW6.0数据库处理后的实例样本 22

图3.5 图像裁剪 23

图3.6 人脸检测 24

图4.1 基于传统CNN的人脸表情识别网络结构图 25

图4.2 卷积神经网络的训练过程 26

图4.3 基于多分辨率的人脸表情识别网络结构图 28

图4.4 系统主界面 32

图4.5 表情识别系统结果检测示例图 32

图4.6 表情识别系统逻辑图 33

表目录

表3.1 CK 人脸表情数据库分布 20

表3.2 Fer2013人脸表情数据库分布 21

表4.1 模型参数表 27

表4.2 模型参数表 29

表4.3 CK 识别结果 29

表4.4 Fer2013识别结果 30

表4.5 CK 识别结果 30

表4.6 Fer2013识别结果 31

目录

摘要 I

Abstract II

图目录 III

表目录 IV

第一章 引言 1

1.1选题的背景及研究意义 1

1.2国内外研究现状 1

1.2.1 表情图像预处理 1

1.2.2 表情特征提取 2

1.2.3 表情特征分类 2

1.2.4 基于深度学习的识别方法 3

1.3本文研究内容 3

1.4本文组织结构 3

第二章 深度学习基本理论 5

2.1 人工神经网络 5

2.1.1 感知器网络 5

2.1.2 反向传播算法 7

2.2 深度信念网络 8

2.2.1受限玻尔兹曼机 9

2.2.2深度信念网络的训练 10

2.3循环神经网络 10

2.3.1循环神经网络结构 10

2.3.2循环神经网络的训练 10

2.4卷积神经网络 11

2.4.1卷积层 11

2.4.2 池化层 12

2.4.3 全连接层 13

2.4.4 批标准化 13

2.4.5 Dropout 13

2.4.6 Softmax与损失函数 14

2.5 激活函数 14

2.6 深度卷积网络的训练算法 17

2.7 本章小结 19

第三章 人脸表情数据库及其预处理 20

3.1 人脸表情数据库的简介 20

3.2 人脸表情数据库的预处理 22

3.2.1 数据集扩增处理 22

3.2.2 归一化 23

3.2.3人脸检测 24

3.3 本章小结 24

第四章 基于深度学习的人脸表情识别 25

4.1基于传统的卷积神经网络的人脸表情识别 25

4.2基于多分辨率的卷积神经网络的人脸表情识别 27

4.3实验对比与分析 29

4.4 人脸表情识别可视化系统 31

4.5 本章小结 33

第五章 总结与展望 34

5.1 论文总结 34

5.2 工作展望 34

致谢 35

参考文献 36

第一章 引言

1.1选题的背景及研究意义

人脸识别能够根据人的面部特征识别出人的年龄、性别、情绪等等，人脸蕴藏着丰富的信息，在实际人际交往中，人类的语言表达与人脸表情是互相配合的。人脸面部表情扮演着重要的角色，它是人类情感的一种重要表现形式，人类表情可以传递出情绪，人脸表情识别的研究，能够促进人类与机器的交流。人工智能的发展，使人脸表情识别成为机器学习中热门的研究方向，带动了更多人对人脸表情识别进行深入研究。但由于人脸表情的多变性，还有受关照强度的不同、头部的转动使得人脸的角度不同以及种族的不同等因素的影响，导致人脸表情识别还存在很多的难题，要使得其精准的识别出面部表情有很大的挑战难度。要完善和提高人脸表情识别技术，将要对人脸表情相关方面进行一定的深入研究，掌握它们之间存在的关系，不断提高表情识别技术。

这些年来，人工智能的快速发展，与面部相联系的科学研究成为计算机领域的热点，其中表情识别是热门的研究方向之一，各界带来的研究成果也层出不穷，展现出了人脸表情识别在现实生活中的重要性，特别是这些年来发展的更为迅速。现在，人脸表情识别在现实很多场景中得到了广泛的应用，如：情绪音乐、情感机器人等。可见，表情识别技术发展极其迅猛，也极具应用价值，是人工智能研究中的核心部分。本文主要对深度卷积网络进行人脸表情识别的研究，并在训练好的网络模型上构建一个表情识别的可视化系统。

1.2国内外研究现状

近些年，人工智能的发展，带动了许多了计算机行业的发展。计算机视觉在生活中受到了很大的关注，特别在近些年，人脸表情识别得到了较大的关注，所有国内外对人脸表情识别都有深入的研究，以提高其识别率。在传统的表情识别算法上主要的步骤包括图像预处理、表情特征提取、表情特征分类，该过程如图1.1所示。

剩余内容已隐藏，请支付后下载全文，论文总字数：35540字