论文总字数：29580字

摘 要

常规的测谎仪主要采用肌电、脑电等接触式设备，虽然较为准确，但是专业设备庞大贵重。随着人工智能技术的兴起，通过应用深度学习算法，表情识别、语音情感识别、人脸识别等技术的准确性已经达到与人类相当的程度。本项目主要是研究并初步实现一个基于三种模态融合的无接触式心理测试系统。主要任务是集成表情识别、语言情感和眼动追踪的测谎算法，实现多模态融合测谎。主要研究内容是眼动追踪、语音情感和表情识别模块的数据输出协议和软件集成接口，以及前台的网页设计和数据的形象化展示。本项目的成果是成功集成眼动追踪、语音情感和表情的识别算法，实现了基于支持向量机的多模态融合技术。软件的输入是视频，可以通过视频采集模块的多种接口去获取视频。软件的输出是子模块识别的特征和测谎的结果，并在前台以丰富的形式展示。

关键词：非接触式测谎仪，Spring Boot,B/S

Abstract

Conventional lie detector mainly uses electromyography, electroencephalography and other contact devices, although relatively accurate, but professional equipment is huge and expensive.With the rise of artificial intelligence technology, the accuracy of facial expression recognition, voice emotion recognition, face recognition and other technologies has reached the same level as that of human beings through the application of deep learning algorithm.This project is mainly to study and initially implement a non-contact psychological testing system based on the fusion of three modes.The main task is to integrate facial expression recognition, language emotion, and eye tracking lie detection algorithm to achieve multimodal fusion lie detection.The main research content is the data output protocol and software integration interface of eye movement tracking, voice emotion and facial expression recognition module, as well as web design and visualization of data in the foreground.The achievement of this project is the successful integration of eye tracking, speech emotion and facial expression recognition algorithm, and the realization of multi-mode fusion technology based on support vector machine.The input of the software is video, and video can be obtained through various interfaces of video acquisition module.The output of the software is the result of identifying features and polygraph detection of submodules, which are displayed in the foreground in rich forms.

KEY WORDS: non-contact psychological testing system , Spring Boot, B/S

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 课题研究的背景 1

1.1.1 测谎的定义 1

1.1.2 接触式测谎的发展历史 1

1.1.3 非接触式测谎的介绍 1

1.2 课题研究的目的和意义 2

1.3 国内外发展现状 2

1.4 本论文的研究内容 3

1.5 本论文的组织结构 3

第二章 相关技术简介 5

2.1 开发环境搭建 5

2.2 Spring Boot框架 5

2.2.1 Spring Boot的发展历史 5

2.2.2 JAVAWEB框架介绍 6

2.3 前台技术 7

2.4 WebRTC 7

2.5 本章小结 8

第三章 需求分析与方案设计 9

3.1 系统需求分析 9

3.2 软件方案设计 9

3.2.1 软件总体框架 9

3.2.2 视频采集模块 11

3.2.3 视频处理模块 13

3.2.4 结果展示模块 14

3.3 本章小结 15

第四章 软件详细实现 16

4.1 网站的初步搭建 16

4.2 视频采集模块的具体实现 18

4.2.1 上传视频的展示和说明 18

4.2.2 上传视频的具体实现 19

4.2.3 视频通话的展示与说明 20

4.2.4 视频通话的具体实现 21

4.2.5 虚拟人物的展示与说明 23

4.2.6 虚拟人物的具体实现 23

4.3 视频处理模块的具体实现 24

4.3.1 集成眼动追踪子模块 24

4.3.2 集成语音情感子模块 28

4.3.3 集成表情识别子模块 29

4.3.4 多线程调用子模块 29

4.3.5 多模态融合测谎算法实现 30

4.4 结果展示模块的具体实现 32

4.4.1 页面的整体设计 32

4.4.2 数据传递 33

4.4.3 数据的多样化显示 35

4.5 本章小结 37

第五章 总结和拓展 38

5.1 完成的任务 38

5.2 软件的不足和可拓展之处 38

5.3 学到的知识和经验 38

5.3.1 代码复用 38

5.3.2 调试心得 39

5.3.3 学习新知识的方法 39

5.4 本章小结 40

参考文献 41

致 谢 43

绪论

课题研究的背景

测谎的定义

测谎技术是通过一定物理技术的辅助，测试被测对象是否有撒谎现象的方法。测谎仪又称为“多参量心理测试仪”，是一种心理测试仪器，工作原理是人在说谎时会不由自主地产生一定的心理压力，而这种心理压力又会引起一系列的生理反应，如心跳加快、血压升高、手掌出汗、体温微升、肌肉微颤、呼吸速度和容量略见异常等，由于这些生理反应是受人体植物神经系统控制的，所以人的主观意志很难改变。测谎技术就是指根据实际案情，用事先编好的题目向被测试人提问，使其形成心理刺激，再由仪器记录被测试人的有关生理反应，通过对其生理反应峰值数据的分析，了解被测试人对所提问题“是与否”的对应关系。

接触式测谎的发展历史

1895年，西萨重·隆布索发明了尝试用脉搏和血压两个参数来测谎的水力脉搏记录仪。

剩余内容已隐藏，请支付后下载全文，论文总字数：29580字