多模态情感数据采集与分析平台构建

论文总字数：19274字

摘 要

情感计算的目的是赋予计算机识别、理解、表达和适应人的情感的能力,来实现高效、亲切的人机交互。情感识别的研究，需要建立在拥有多模态情感数据的基础上。因此，设计并构建了一个多模态情感数据采集与分析平台，为多模态情感识别的研究提供支持。

首先，本文对多模态情感数据采集与分析平台进行了需求分析，拟建立基于面部表情的情感识别系统和EEG-NIRS-面部表情多模态情感数据采集系统。

其次，设计并开发了基于面部表情的情感识别系统，可以实时识别摄像头采集的面部表情，同时也可以提供反馈。设计并构建了EEG-fNIRS-面部表情多模态情感数据采集系统。在此系统中可以同步采集EEG、fNIRS、面部表情多模态情感信息。

最后，本文通过预实验发现了该系统存在的一些问题与不足，并进行了改进。最终构建出了较为完善的多模态情感数据采集与分析平台。

关键词：多模态情感数据，情感识别，EEG，fNIRS

THE CONSTRUCTION OF MULTIMODAL AFFECTIVE DATA ACQUISITION AND ANALYSIS PLATFORM

Abstract

Affective computing is to give computer the ability to recognize, understand and accommodate to human emotions for achieving a more efficient and cordial human-computer interaction. Research on emotion recognition, need to be based on a multi-modal affective data. Therefore, designing and constructing a multi-modal affective data acquisition and analysis platform that provides support for multi-modal study on emotion recognition.

Firstly, analyzing the requirements of the multi-modal affective data acquisition and analysis platform, and intend to construct an emotion recognition system based on facial expressions and an EEG-NIRS-facial expressions multi-modal affective data acquisition system.

Secondly, the designing and developing an emotion recognition system based on facial expressions, which can recognize facial expressions in real-time camera capture, but also can provide feedback. Designing and building an EEG-fNIRS-facial expression multimodal affective data acquisition system. In this system, multi-modal affective data can be acquired synchronously.

Finally, we found some problems and shortcomings of the system exists through a pre-experiment, and improved. Final constructing a more comprehensive multi-modal affective data acquisition and analysis platform.

KEY WORDS: multimodal affective data, emotion recognition, EEG, fNIRS

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 课题背景及研究意义 1

1.2 研究现状 1

1.3 本文的主要工作 2

第二章 平台的需求分析 3

2.1 需求获取 3

2.2 需求分析 3

2.2.1 功能需求 3

2.2.2 性能需求 5

2.3 本章小结 5

第三章 情感识别子系统的设计与实现 6

3.1 系统软、硬件环境概述 6

3.2 系统设计框架 8

3.3 系统功能界面 9

3.4 系统测试 12

3.4.1 测试目的 12

3.4.2 测试环境 13

3.4.3 测试方法 13

3.4.4 测试结果与改进 13

3.5 本章小结 13

第四章 情感数据采集子系统的设计与实现 14

4.1 系统软、硬件环境概述 14

4.2 系统设计 14

4.2.1 情感诱导方式设计 14

4.2.2 情感数据采集方法 15

4.3 系统搭建 15

4.3.1 系统设备的选定 15

4.3.2 实验环境的选定 17

4.3.3 实验设备的布置 18

4.4 系统测试 18

4.4.1 测试过程 18

4.4.2 测试结果与改进 19

4.5 本章小结 20

第五章 总结与展望 21

5.1 论文总结 21

5.2 研究工作展望 21

致谢 23

附录 24

参考文献（References） 25

绪论

1.1 课题背景及研究意义

情感计算的概念，是由Picard教授在1997年出版的《Affective Computing》中提出的。她指出，情感计算是与情感有关、由情感引发或者能够影响情感的因素的计算^[1]。情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情感的能力来建立和谐人机环境，并使计算机具有更高的、全面的智能^[2]。

情感计算在诸多人机交互场合具有重要的应用价值。情感计算可以应用在远程教学当中，通过情感计算技术可以建立虚拟的情感教室。从中，学生可以通过相关技术感受到其他同学和老师的情感状态，老师也可以随时感受学生的情感状态，感受到学生注意力集中的程度，了解学生的学习兴趣，感受到学生的理解程度是否能够达到预期。这样可以帮助学生减少在远程课堂环境中因没有真实情境、没有情感而产生的学习障碍，减少远程教学中的情感缺失带来的负面影响，以此提高教学的质量。

情感计算可应用于可穿戴设备中，与传统的掌上电脑不同，当前的可穿戴设备，可以实时监测佩戴者的心率等生理信号。如果将可穿戴设备集成在衣服、首饰、鞋子等穿戴物当中，或者直接以手环等形式佩戴时，可以实时获取佩戴者各种有关于情感状态的各种生理信号，并据此进行情感识别，讲可以更好地为使用者提供服务。同样也可以在人机交互中，替代现有的交互方式来操控设备。

剩余内容已隐藏，请支付后下载全文，论文总字数：19274字