论文总字数：42146字

摘 要

学生姓名：傅 雯 指导老师：赵 力、余 华

近来年，深度学习在很多领域中都受到了广泛关注，作为其重要的应用领域，人脸表情特征识别受到了深入的研究和学习。而在绝大多数情况下，其研究方向主要集中在基于实验室环境的算法识别中，缺乏现实场景应用能力，因此本文选取在无约束条件下的表情识别作为工作重心。

本文主要完成三项工作：在SFEW数据集上基于静态图像的深度卷积网络表情识别方法；在AFEW数据集上基于动态视频的深度卷积网络表情识别方法；基于眨眼检测的欺骗检测实验。对于第一项，本文提出了一种卷积神经网络架构，通过人脸识别、图像预处理步骤等图像处理提高识别能力；通过数据增强增加识别能力的鲁棒性；基于在FER-2013数据集上的预训练和权重迁移进一步提高卷积神经网络的识别性能。最后在SFEW数据集上获得52.11%的识别率，高于基线结果（35.33%）16.78%。对于第二项，在上文卷积网络结构和图像处理基础上引入对视频帧的采样，基于人脸特征点对面部图像进行人脸对齐，并借助HOG特征和卡方距离寻找峰值帧作为训练图像送入网络。此算法在AFEW数据集上获得了49.21%的识别率，超过基线结果（26.30%）22.91%。对于欺骗检测，本文选取眼动为欺骗线索进行研究并建立眨眼检测，并设计相关实验，通过测试实验对象对激励的眨眼延迟和响应延迟，通过统计分析提出两个数据的阈值：9.95%和3.85%。当被测对象的两项数据超过其正常水平的此比例上时，就可以提出被测者存在欺骗行为的猜测。

关键词：表情识别，深度学习，卷积神经网络，欺骗检测

Abstract

Student Name: Fu Wen Tutor: Zhao Li, Yu Hua

Recently, deep learning has received extensive attention in many fields. As an important application field, facial expression recognition has been deeply studied and studied. In the vast majority of cases, the research direction mainly focuses on algorithm identification based on the laboratory environment, and lacks the ability to apply real-world scenarios. Therefore, this thesis selects the expression recognition in the wild as the focus of work.

In this thesis, I mainly complete three tasks: the image based facial expression recognition method using deep convolution network on SFEW dataset; the video based facial expression recognition method using deep convolution network on AFEW dataset; deception detection based on blink detection. For the first task, I report a convolutional neural network structure, improving the recognition ability through image processing including face recognition, image preprocessing etc.; increasing the robustness of method through data enhancement; and improving the recognition performance by pre-training and weight migration based on FER-2013 database. Finally, a recognition rate of 52.11% was achieved on the SFEW dataset, 16.78% higher than the baseline result (35.33%). For the second one, based on the network structure and image processing above, the sampling of the video frame is introduced, the faces are aligned based on the face feature points, and the peak frame as the train image sent to the neural network is searched using HOG feature and the chi-square distance. This method achieved a 49.21% recognition rate on the AFEW dataset, exceeding the baseline result (26.30%) by 22.91%. For the deception detection, I selected eye movement as the deception clue, established the blink detection and designed experiments. By testing the experimental objects' blink delay and response delay of the stimulus, the threshold of two data is proposed by statistical analysis: 9.95 % and 3.85%. When the two data of the subjects exceed their normal levels, it is possible to guess that he(she) has fraudulent behavior.

KEY WORDS: Facial Expression Recognition; Deep Learning; Convolutional Neural Network; Deception Detection

目 录

摘要Ⅰ

AbstractⅡ

第一章 绪论 1

1.1 概览 1

1.2 相关工作 2

1.3 本文工作 3

第二章 基于图像的深度CNN网络 5

2.1 预处理 5

2.1.1 人脸检测 5

2.1.2 人脸预处理 8

2.2 数据增强 9

2.3 基本网络结构 11

2.4 在FER2013上的预训练 14

2.5 SFEW上微调的网络 14

2.6 本章小结 15

第三章 基于视频的深度CNN网络 16

3.1 基于视频的人脸检测 16

3.2 人脸特征点定位 16

3.3 人脸对齐 18

3.4 识别峰值帧 19

3.4.1 HOG特征提取 19

3.4.2 峰值帧检测 21

3.5 AFEW上的CNN网络 21

3.6 本章小结 22

第四章 实验内容 23

4.1 数据集的选取 23

4.2 人脸检测的实验结果 23

4.3 基于图片的实验结果 24

4.3.1 预训练结果 24

4.3.2 训练曲线 25

4.3.3 归一化混淆矩阵 27

4.3.4 相关研究结果对比 28

4.4 基于视频的测试结果 28

4.4.1 检测率 28

4.4.2 归一化混淆矩阵 29

4.4.3 相关研究结果对比 30

4.5 本章小结 30

第五章 测谎的应用 31

5.1 现有的研究 31

5.2 可行性 32

5.3 实验 34

5.4 结果 34

5.4.1 周期内眨眼时间分布 34

5.4.2 被测者反应时间 35

5.4.3 被测者眨眼延迟 35

5.4.4 结论 35

5.5 本章小结 36

第六章 总结与展望 37

6.1 对实验的总结 37

6.2 改进方向 37

参考文献 39

致 谢 43

绪论

概览

自党的第十八次全国代表大会以来，习近平总书记把创新摆在国家发展全局的核心位置，高度重视人工智能发展，多次谈及人工智能的重要性，为人工智能如何赋能新时代指明了方向。《新一代人工智能发展规划》的推进，也有效规避人工智能“鸿沟”，着力收获人工智能“红利”，对建设世界科技强国、实现“两个一百年”的奋斗目标具有重大战略意义。

表情作为人类的重要视觉情绪线索，广泛认为是面部器官及肌肉行程的状态，如惊讶、伤心等，同时也包括身体整体表达出的身体语言。可用作情感识别的有效输入源包括多种类型的信号，例如视觉信号（图像/视频），音频，文本输入和生物信号。其中，对于基于视觉的情感识别，例如人的动作、姿势等许多视觉元素都可提供有效的信息。而人的面部表情则是基于视觉信号来分析人类情感中最重要的线索。表情分类技术是在基于人脸检测技术提取到的人脸面部信号的基础上，对其进行情感识别并归类为某一或某几种具体的情绪类别的技术。作为表情识别技术的关键内容及核心部分，表情分类技术已经有了非常深入及广泛的研究，涉及通常是基于特征提取和分类器的传统机器学习(Machine Learning)方法，以及新兴的基于神经网络的深度学习(Deep Learning)的方法。

剩余内容已隐藏，请支付后下载全文，论文总字数：42146字