论文总字数：32953字

摘 要

论文设计了一种眼动追踪系统，主要运用人脸识别技术和瞳孔中心定位算法来追踪人眼瞳孔及其眼动轨迹，根据眼动轨迹预测其是否说谎。人脸识别技术在比较测试了多个算法后，使用近几年热门的SeetaFace人脸检测框架，瞳孔中心的定位使用了一种基于图像梯度的算法，先检测人脸再定位瞳孔中心获得眼动轨迹及其参数，然后使用机器学习的方法，运用SVM支持向量机对自行采集的视频数据集进行模型训练，最终使用训练好的模型来预测被测者是否说谎。

开发过程通过研究多个算法论文，测试不同的开源框架和算法，逐步确定了论文所用的方案，其中论文对瞳孔中心定位算法所需要的人脸ROI区域部分进行了改进，把原瞳孔中心定位算法中使用OpenCV框架提取的人脸区域，替换为使用SeetaFace人脸检测模块提取到的人脸区域，经测试验证该改进提高了其原算法的运算速度和准确率。最后完成了一套眼动追踪系统软件，该软件可以追踪一段视频中的眼动轨迹并判断视频中的人是否说谎，也可以动态追踪摄像头中的眼动轨迹并判断是否说谎。

受制于每个人说谎特征的差异性，使用眼动轨迹作为测谎参考指标，眼动追踪系统测谎的平均准确率为61%，该方法单独应用于测谎效果不佳，需要加入选择预测模型的策略并提升瞳孔中心定位的精度，从而达到更高的预测准确率。如果同时将被测者语音特征、微表情特征作为测谎参考指标，可能可以用于被测者心理状态的分析和判断其是否说谎。

关键词：人脸检测，瞳孔中心定位，眼动追踪，眼动特征测谎

Abstract

This paper designs a new type of eye tracking system, which mainly uses face recognition technology and pupil center positioning algorithm to track the pupil of the human eye and its eye movement trajectory, and predict whether it lies according to the eye movement trajectory. After comparing and testing multiple algorithms, the face recognition technology uses the popular SeetaFace face detection engine in recent years, and uses the image gradient-based pupil center localization algorithm to detect the face and then locate the pupil to obtain the eye movement trajectory. Parameters, and then using the machine learning method, using the SVM support vector machine to model the self-collected video dataset, and finally use the trained model to predict whether the subject is lying.

Through the research of multiple algorithm papers and testing different open source frameworks and algorithms, the development process gradually determines the scheme used in the paper. The paper improves the face ROI region required by the pupil center localization algorithm, and the original pupil center localization algorithm. The face area extracted by the OpenCV framework is replaced with the face area extracted by the SeetaFace face detection module. It is verified by the test that the improvement improves the operation speed and accuracy of the original algorithm. Finally, an eye tracking system software was accomplished. The software can track the eye movement trajectory in a video and determine whether the person in the video lie. It can also dynamically track the eye movement trajectory in the camera and determine whether to lie.

Constrained by the difference in the characteristics of each person's lying, using the eye track as the reference indicator for lie detection, the average accuracy of the eye tracking system for lie detection is 61%. This method is applied to the lie detection effect alone, and needs to be added to the selection prediction model. The strategy and the accuracy of the pupil center positioning to achieve higher prediction accuracy. If the phonetic features and micro-expression features of the testee are used as reference indicators for lie detection, it may be used to analyze the psychological state of the testee and determine whether it lies.

KEY WORDS: Face Detection, Pupillary Centralization, Eye Tracking，Eye Movement Polygraph

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 引言 1

1.2 研究现状 1

1.2.1 眼动追踪技术的发展 1

1.2.2 眼动追踪系统的分类 2

1.2.3 眼动追踪技术的应用 2

1.3 论文研究工作 3

1.4 论文结构 3

第二章 眼动追踪系统综述 5

2.1 人眼运动方式 5

2.2 眼动追踪算法的研究现状 5

2.3 眼动追踪系统总体设计 7

2.3.1 整体框架 7

2.3.2 系统软硬件 7

2.3.3 系统结构图 8

2.3.4 系统逻辑图 9

2.3.5 GazeLiar眼动追踪系统 9

2.4 本章小结 10

第三章 人脸检测 11

3.1 人脸检测技术的研究现状 11

3.1.1 发展历程 11

3.1.2 主要技术方法分类 11

3.1.3 国内外主要公共人脸数据库 12

3.1.4 MTCNN与libfacedetection 12

3.2 SeetaFace人脸检测引擎 13

3.2.1 简介 13

3.2.2 FaceDetection 13

3.2.3 FaceAlignment 15

3.2.4 FaceIdentification 15

3.3 基于macOS系统的SeetaFace 16

3.3.1 开源框架 16

3.3.2 生成dylib动态链接库 17

3.3.3 配置Xcode环境 18

3.3.4 结果展示 19

3.4 本章小结 20

第四章 瞳孔检测与眼动轨迹 21

4.1 瞳孔定位算法的研究现状 21

4.2 Eyelike瞳孔检测 22

4.2.1 基本原理 22

4.2.2 算法改进点 23

4.3 基于macOS系统的Eyelike 23

4.4 眼动轨迹参数计算 25

4.5 数据处理与误差分析 26

4.5.1 数据处理 26

4.5.2 误差分析 28

4.6 本章小结 29

第五章 眼动追踪系统的应用—视线测谎 30

5.1 视线测谎的研究现状 30

5.2 视线测谎方案 30

5.2.1 测谎问题的设计 30

5.2.2 数据集的采集与标注 31

5.3 SVM支持向量机 31

5.3.1 介绍 31

5.3.2 训练 31

5.4 预测验证 33

5.4.1 自行采集视频样本 34

5.4.2 网络视频样本 34

5.5 分析改进 35

5.6 本章小结 35

第六章 总结与展望 36

6.1 总结 36

6.2 展望 36

参考文献 37

致 谢 39

绪论

引言

眼动追踪技术在各种感知系统中作为重要的组成部分，其在认知科学、心理学、人机交互、医学研究等多个领域都有着广泛的应用。目前，已经有许多公司自主研发出了眼动仪，例如Tobii眼动仪，其适用于虚拟现实、游戏、人机交互、工业监测、虚拟导购、科学研究等多个领域，在虚拟人机交互中使用眼睛就可控制鼠标移动点击，许多游戏公司也开发出了通过眼动仪进行游玩的游戏；在某些需要精密操作的工业场合、航天航空驾驶场合中使用眼动仪可以通过视线完成精密的控制动作，既减轻了作业人员的工作负担又提升了控制的精准度；在医疗领域已经有应用眼球追踪技术将激光精准定位到切割点，快速安全的完成眼球手术，帮助医生和患者治疗眼部疾病；在辅助安全驾驶系统中，通过对驾驶员眼动轨迹等视觉信息的分析，监测驾驶员的注意力，在疲劳状态下发出警报，一定程度上避免了疲劳驾驶所带来的交通危险。

剩余内容已隐藏，请支付后下载全文，论文总字数：32953字