论文总字数：28218字

摘 要

姓名：钟凌潇 导师：赵力

随着人工智能的发展和社会需要，使计算机理解人类情感成为一个非常火热的课题，其中基于语音情感分析的心理测评是一个十分重要的研究方向。尤其是在现代社会竞争激烈，人们压力日益增加这样的社会背景下，使计算机能够自动评测人类心理有很大价值。比如在教室、办公室这样的高压力人群聚集地通过评测心理以预防自杀行为，在审讯室通过评测犯罪嫌疑人心理找寻线索等。

本文主要设计一个基于语音情感分析的心理测评系统，该系统分三个阶段进行。首先对输入的语音信号进行预处理并提取关键特征，接着通过卷积神经网络模型预测语音情感，之后通过情感模型进行心理评测。

本设计中基于以上流程设计算法。使用python编程语言在Google Colaboratory云端环境上搭建代码，通过提取RAVDESS和SAVEE双数据集中的MFCC特征训练卷积神经网络模型，最后基于“维度空间论”情感模型设计算法输出心理评测结果。

关键词：语音情感识别，心理评测，卷积神经网络，维度空间论

ABSTRACT

Name：Zhong Lingxiao Tutor: Zhao Li

With the development of AI and the requirement of social, it becomes a very attractive topic for computers to understand human emotions. Psychological assessment based on speech emotion analysis is also an important application direction of speech recognition. Especially in the background which is full of fierce competition in modern society and increasing pressure on people, it is of great value to enable computers to evaluate human psychology. For example, put a psychological evaluation device on places where a high-pressure group gathers such as a classroom or an office to prevent suicidal behavior. Put a psychological evaluation device in the interrogation room to evaluate the criminal suspect's psychology to find clues.

This paper mainly designs a psychological evaluation system based on speech emotion analysis. The system is divided into three stages. Firstly, extracting the key feature after processing the input speech signal , then extracting the speech emotion by the convolutional neural network, and then using the emotional model for psychological evaluation.

In this design, the algorithm is designed based on the above process. The Python programming language is used to build the code in the Google Colaboratory cloud environment. The keras library is used as the background to train the convolutional neural network through the extracted MFCC features to extract the emotions in the speech signal, and based on the "dimension space theory" emotion model to design algorithm and output psychological evaluation results.

Keywords: speech emotion recognition, psychological evaluation, convolutional neural network, dimensional space theory.

目 录

摘 要 III

ABSTRACT IV

第一章 绪论 1

1.1. 语音情感分析的发展 1

1.2. 研究背景及意义 2

1.3. 研究内容 2

第二章 语音特征提取 3

2.1 语音信号预处理 3

2.1.1 预加重 3

2.1.2 分帧加窗 3

2.2 语音信号特征提取方法 5

2.2.1 语音信号特征 5

2.2.2 语音信号能量特征 5

2.2.3 梅尔频率倒谱系数 6

2.3 本章小结 6

第三章 语音信号情感识别与分析 7

3.1 传统语音情感识别方法 7

3.2 基于深度学习的语音情感识别 8

3.3 语音情感识别神经网络的构建 9

3.3.1 卷积神经网络原理与技术 9

3.3.2 数据集简介 12

3.3.3 数据预处理及MFCC特征提取 13

3.3.4 卷积神经网络的构建与测试 15

3.3.5 使用模型进行语音情感提取 18

3.4 本章小结 19

第四章 基于语音情感的心理评测系统 20

4.1 情感类型与评价标准 20

4.1.1 情感类型 20

4.1.2 基于维度空间的情感模型 20

4.2 基于语音情感的心理评测系统设计 21

4.3 本章小结 24

第五章 总结与展望 25

5.1 设计总结 25

5.2 设计展望 25

参考文献： 26

致 谢 29

第一章 绪论

语音情感分析的发展

人类的感情可以分为很多种类，比如喜怒哀惧惊恶等。对人类的情感进行识别的方法也有各有不同，如根据人类的脸部表情、讲话的声音声调、行动的姿态举止等特征来识别情感。由于语音信号中常常带有明显的情感色彩，而且通过声音传递信息是日常生活中最普遍的交流方式之一，通过语音信号研究情感识别是一个很受关注的方向。

通过语音信号分析情感是语音识别（Automatic Speech Recognition, ASR）的课题之一，了解语音识别的发展可以更深入地理解语音情感识别。语音识别是一项历史悠久的研究，过去人们通常构建基于统计学的声学模型以识别语音。如经典的混合高斯模型（Gaussian mixture model, GMM），作为基于由傅里叶变换所得到频谱特征的语音统计模型，在传统的声学研究中起了很大作用，但却有一个明显不足，就是不能有效的处理非线性或近似非线性的数据。之后人们尝试加入隐马尔科夫模型（Hidden Markov Model, HMM）处理非线性数据，HMM在估计声学序列中的统计学分布方面表现很好，尤其是识别声学数据的时间特征上，但也有缺点，如缺少对特征与人类说话方式之间的相关性，人们期待有一项更好的方法联系语音识别领域众多复杂的特征。

剩余内容已隐藏，请支付后下载全文，论文总字数：28218字