面向情绪识别的脑电信号研究

论文总字数：34749字

摘 要

人机交互是消费产品都需要实现的功能，在实现高级人机交互功能的技术中，情感计算受到越来越多的关注，逐渐成为关键技术之一。而在情感计算领域中，情绪识别是一种重要的技术，不仅包括语音信号、面部表情、行为动作等外在表现形式的识别，还包括了生理信号等不受人主观控制的内在形式的识别，其中，脑电信号最不易受到人的主观控制，综合反映了大脑内无数神经元在大脑皮层的活动，含有丰富的有用信息。

本文在深入分析国内外基于脑电信号的情绪识别的相关研究的基础上，设计并阐述了情绪诱导与脑电信息采集的实验方案。我们通过播放一系列的视频素材对受试者的情绪进行诱导，同时利用神念科技（NeuroSky）公司的MindWave Mobile设备记录了实验数据并对实验数据进行分析和处理，并对实验结果进行脑电信号特征值提取，利用支持向量机（SVM）作为情绪模式的分类器，对处理过的脑电信号进行分类，由于水平有限，暂时分为高兴-不高兴两大类情绪，我们得到相应的结果后对其进行交叉验证，表明分类的正确率能达到60%。

关键词：情绪识别，脑电信号，支持向量机

Abstract

Affective computing is one of the key technologies to realize advanced human-computer interaction, which is paid a continuing concern to in the field of artificial intelligence. Emotion recognition is an important part of affective computing, including not only the recognition of external manifestations such as voice signal, facial expressions and behaviors, but also the recognition of internal manifestations such as physiological signal which is not affected by subjective control. The electroencephalography is the concentrated reflection of neurons on the brain cortex, containing rich useful information.

Basing on the thorough analysis of emotion recognition based on the electroencephalography signals and related researching at home and abroad, this article designs and expounds the experiment scheme of emotion induction and EEG acquisition. We used a monitor playing a series of video footage to induce the subject’s emotion, at the same time, we records the experimental data by the device named “MindWave Mobile” produced by NeuroSky. Then we analyze the experimental results and extract the EEG feature. We use Support Vector Machine (SVM) as a classifier of emotion and classified the EEG signals. Because of the limited knowledge level of graduates, we classified the emotion into two categories: happy and unhappy. At last we get the corresponding results and take the cross validation. It shows that classification accuracy can reach over 60%.

Keyword: Emotion Recognition, EEG, SVM

目录

摘要 I

Abstract II

第一章 绪论 1

1.1 研究背景及意义 1

1.2 本文的研究内容与结构安排 2

第二章 基于脑电信号的情绪识别相关研究 3

2.1 情绪 3

2.1.1 情绪的生理机制 3

2.1.2 情绪的分类模型 3

2.2 脑电（EEG） 4

2.2.1 脑电的概念 4

2.2.2 脑电信号的特点 5

2.2.3 基于脑电的情绪识别的主要步骤 5

第三章 情绪诱导与脑电信息的采集 7

3.1 实验可行性分析 7

3.2 实验准备 10

3.2.1 前期准备 10

3.2.2 实验装置的准备 11

3.2.3 情绪诱导素材的准备 14

3.2.4 受试者准备 14

3.3 实验过程 14

3.3.1 情绪诱导实验过程 14

3.3.2 情绪诱导评价 15

3.4 脑电数据的采集 16

3.4.1 采集系统设计 16

3.4.2 数据采集流程 17

第四章 脑电信号的特征提取和结果分析 19

4.1 脑电信号的特征 19

4.1.1 时域特征 19

4.1.2 频域特征 21

4.1.3 时频特征 22

4.2 情绪的学习和分类 23

4.2.1 常用分类方法 23

4.2.2 支持向量机 23

4.2.3 LIBSVM的使用 29

4.3 脑电信号特征的提取和选择 29

4.3.1 分类过程 30

4.3.2 分类结果 30

第五章 总结与展望 31

5.1 课题总结 31

5.2 工作展望 31

致谢 33

附录 34

参考文献 38

绪论

研究背景及意义

人机交互是当今时代电子消费产品都需要实现的功能，在实现高级人机交互（Human-Computer Interaction, HCI）功能的技术中，情感计算（Affective Computing, AC）受到越来越多的关注，逐渐成为关键技术之一，它是由美国麻省理工大学媒体实验室（The MIT Media Lab）的Picard教授所提出来的概念，也是人工智能（Artificial Intelligence, AI）领域中不断受到关注研究方向之一^[1]。

在AC领域中，情绪识别（Emotion Recognition）是一项重要的技术，过去研究者大多数通过语音信号、面部表情、行为动作等外在的表现形式进行情绪识别，但是其中最具有挑战性的是基于生理信号的情绪识别^[2]。生理信号涵盖了可能随情绪而发生改变的信号，包括脑电信号、心电信号、肌电信号、皮肤电导等等可以量化的信号。其中，脑电信号（Electroencephalography, EEG）能够综合反映大脑皮层的活动情况，反映了人不同的思维活动和不同的情绪状态，因此，EEG中包含了丰富有用信息，而处理EEG并有效地提取其中的可用信息，成为了情绪识别领域中的关键课题，也对现实生活具有重要的意义^[3]。

1. 在HCI领域中，情绪识别能让计算机更加智能化地与人进行沟通，并且改善用户体验，也许当技术愈加成熟后，人们可以不动手就能实现对计算机的操作，甚至可以通过眼神或者是一个想法就可以命令和控制计算机。

2. 在产品开发过程中，可以识别出用户在使用产品过程当中的情绪变化，直观地了解用户体验，从用户需求的角度出发，完善产品功能。人们还可以通过具有情绪识别能力的产品了解自己的感受，从而有效地采取措施摆脱低落的情绪，提高工作效率。

3. 在交通安全方面，可以适用于驾驶员的情绪化状态的识别。情绪化驾驶行为是交通安全的影响因素之一，对驾驶员情绪状态的识别技术对于车辆主动安全技术和道路交通安全系统都具有一定的应用价值，自动情绪识别可以使司机避免受情感影响而出现驾驶事故，EEG作为人脑思维活动和对外界应激能力的一种直接表现，在情感反应上具有相对普遍的共性特征^[4]。

4. 在医疗护理方面，如果想要为具有表达障碍的患者提供更有效的护理措施，就可以通过对患者脑电信号的处理分析，了解患者的情绪状态，从而更有针对性地提供护理。

5. 在脑部疾病治疗方面，研究表明，通常患有内分泌失调、精神病、抑郁症等疾病的患者，通常也都伴随着一定的情绪问题^[5]。因此，对患者的情绪进行有效的识别，也能够一定程度上为脑部疾病的治疗提供支持和帮助。

本文的研究内容与结构安排

本文从基于脑电信号的情绪识别的研究背景本入手，分别深入分析了情绪识别和脑电信号的研究现状。根据实验室的现有资源，设计并实施了情绪诱导与脑电信息采集的实验，记录了实验数据并对实验数据进行分析和总结。通过对实验结果进行脑电信号特征值提取，利用支持向量机（SVM）作为分类器，对处理过的脑电信号进行分类，得到相应的结果，并对其进行交叉验证。

本文共分为五章，各章的内容具体如下：

第一章为绪论，主要介绍了本课题的研究意义和背景。

第二章主要介绍了国内外基于脑电信号的情绪识别的研究，从情绪和脑电两个方面深入分析了相关的研究进展。

第三章主要围绕情绪诱导与脑电信息的采集实验，说明了实验的准备工作、实验过程设计以及脑电数据采集系统的设计。

第四章主要阐述了描述脑电信号常用的特征值提取以及常用的提取和选择脑电信号特征值的方法，并对实验所得的脑电信号进行分类，得到相应结果，并对其进行交叉验证。

第五章为总结与展望，主要总结了本文所完成的主要工作，并对基于脑电信号的情绪识别的应用前景做出展望。

基于脑电信号的情绪识别相关研究

对于情绪识别的研究由来已久，过去研究者习惯于利用面部表情的测量和语音识别来对情绪进行测量。随着科学技术的发展，EEG正取代传统的测量方式，成为越来越多的研究者研究情绪的主要工具。所以，在研究面向情绪识别的脑电信号之前，需要了解并熟悉情绪、脑电和情绪识别的相关概念，以及基于脑电信号的情绪识别研究的国内外研究进展^[6]。

情绪

情绪的生理机制

1937年神经生理学家Papez系统地阐述了一个包括情绪行为与情绪体验的复合神经机构，即Papez环路（Papez circuit）^[7]。如图2-1所示，Papez环路指起源于海马的神经通路，经丘脑的乳头体、丘脑前核和扣带回的中继，返回海马构成的封闭环路（海马→穹窿→乳头体→乳头体丘脑束→丘脑前核→扣带回→内嗅皮层→海马），它是情绪表达的神经基础。目前研究认为，Papez环路是与学习、记忆都密切相关。在Papez环路的基础之上，心理学家Maclean提出了内脏脑的理论，在内脏脑的理论中，内脏脑调解所有与情绪相关的器官，并通过下丘脑调解内脏和骨骼的相应反应^[8]。Papez-Maclean理论统合了前人对于情绪的研究的成果，奠定了情绪研究的基础^[9]。

图2-1 大脑侧切解剖图

情绪的分类模型

情绪的分类模型主要为两类，即离散模型和维度模型^[10]。

离散模型认为情绪分为基本情绪和复合情绪。基本情绪种类有限，是先天形成的具有共性的一类情绪，例如快乐，悲伤，害怕，愤怒等等，复合情绪由基本情绪派生而来，具有文化特异性^[11]。但是它存在很多缺陷，比如基本情绪的数目和分类还没有一个明确的定论^[12]。

维度模型中每一维度代表一种情感属性，并且可以量化这个属性的强弱，这样情绪就能够与一个多维向量相对应。Bradley曾提出一种三维模型用来描述情绪，分别为效价（Valence），唤醒度（Arousal）和支配度（Dominance）三个维度^[13]。效价用来描述情绪状态的变化，即从不高兴到高兴；唤醒度表示情绪状态的强度，即从平静到兴奋；支配度是情绪状态对个体的影响程度。然而，James A. Russell发现效价和唤醒度这两个维度足以描述大部分情绪，并提出了效价-唤醒度circumplex模型^[14]，如图2-2所示。但是，维度模型也存在缺陷，在该模型上，情绪以二维坐标呈现导致其难以被量化，并且缺乏描述性。

图2-2 效价-唤醒度circumplex模型

脑电（EEG）

脑电的概念

脑电信号（Electroencephalogram, EEG）是通过电极记录下来的脑细胞群的自发性、节律性电活动^[15]。神经学、心理学和认知科学等领域的研究表明，人们的很多心理活动和认知行为都可以通过脑生理信号反映出来，而脑电便是其中应用较为广泛的一种^[16]。

脑电信号主要是由大脑皮层内大量神经元突触后电位（Postsynaptic Potential, PSP）同步综合所形成的，是许多神经元共同活动的结果^[17]。多数神经元主要通过电化信号与其他神经元进行沟通，单个神经元包含一个细胞体以及由细胞体发出的一个轴突和多个树突。两个神经元之间的接触点为突触，由突触前膜、突触间隙和突触后膜构成。神经元之间可通过轴突对轴突、轴突对树突、轴突对胞体等多种方式实现突触连接。一个神经元兴奋后，其神经末梢对下一级神经元释放神经递质，而神经递质的种类决定了下一级神经元的响应方式。兴奋性神经递质使突触后膜去极化，升高其静息电位，提高神经元兴奋性，诱发兴奋性突触后电位（Excitatory Postsynaptic Potential, EPSP）；而抑制性神经递质则使突触后膜超级化，降低其静息电位，减弱神经元兴奋性，诱发抑制性突触后电位（Inhibitory postsynaptic potential, IPSP）。在大多数生理条件下，脑电图的电位主要是由神经元的突触活动所引起的。

剩余内容已隐藏，请支付后下载全文，论文总字数：34749字

相关图片展示：