智能语音情感性格分析系统的研究与开发

论文总字数：32944字

摘 要

学生姓名：杜静 指导老师：赵力

人类的交流离不开语音，语音中包含了众多信息。随着计算机技术和情感计算理论的发展，语音情感识别成为人机交互中不可或缺的一部分，具有广阔的市场应用前景和深刻的研究意义。

本文主要研究了基于注意力机制的汉语语音情感识别方法，并将该方法应用在智能语音情感性格识别系统的设计中。首先介绍了前人有关于语音情感识别的研究成果与意义。然后使用CASIA汉语情感语料库作为原始数据，对其中的语音信号进行预处理，并提取了重要的语音特征MFCC及其一阶差分和二阶差分特征作为实验所需的情感特征向量。其次，本文运用深度学习的方法建立了基于CNN和双向LSTM的语音情感识别模型。随后引入注意力机制，并通过实验对比了引入Attention层前后模型的准确率，实验表明，注意力机制能够更好的聚焦输入特征中的有用信息从而提高语音情感识别模型的准确率。

此外，以微信小程序为开发平台进行系统设计，根据“大五”人格理论与情感倾向的关系，建立了性格分析模型，通过处理前端提交的POST请求与GET请求，调用情感识别模型与性格分析模型，完成了最终智能语音情感性格分析系统的研发。

关键词：语音情感识别，双向长短时记忆神经网络，注意力机制，微信小程序，“大五”人格

Abstract

Students: Du Jing Advisor: Zhao Li

Human communication is inseparable from speech, which contains a lot of information. With the development of computer technology and emotion computing theory, speech emotion recognition has become an indispensable part of human-computer interaction, which has broad market application prospect and profound research significance.

This paper mainly studies the Chinese speech emotion recognition method based on attention mechanism, and applies this method to the design of intelligent speech emotion character recognition system. Firstly, this paper introduces the former research results and significance of speech emotion recognition. Secondly, CASIA Chinese emotion corpus is used as the original data to preprocess the speech signal. The important speech features MFCC and its first-order difference and second-order difference are extracted as the emotion feature vectors. Then, using the method of deep learning, this paper established the speech emotion recognition model based on CNN and bidirectional LSTM. In the next place, the Attention mechanism is introduced, and the accuracy of the model before and after the Attention layer is introduced is compared through the experiment. The experiment shows that the Attention mechanism can better focus the useful information in the input features, so as to improve the accuracy of the speech emotion recognition model.

Besides this paper uses WeChat APP as a development platform for the system design. According to the "Big Five" personality theory and the relationship between the emotional tendencies, character analysis model is established. By processing the POST request and GET request submitted by the front end, we invoke the emotion recognition model and the character analysis model, and finally the intelligent speech emotion and character analysis system is developed.

KEY WORDS: speech emotion recognition, bidirectional LSTM, Attention mechanism, WeChat APP, The Big Five

目 录

摘要 Ⅰ

Abstract Ⅲ

第一章 绪论 1

1.1研究背景和意义 1

1.2研究历史和现状 1

1.2.1情感描述模型 2

1.2.2语音情感数据库 2

1.2.3语音情感特征 3

1.2.4情感分类算法 3

1.3本文的主要工作与章节结构 4

第二章 语音特征提取 5

2.1语音情感信号预处理 5

2.1.1预加重 5

2.1.2分帧加窗 5

2.1.3端点检测 6

2.2语音情感特征参数的提取 6

2.2.1短时能量 6

2.2.2短时过零率 7

2.2.3 Mel Frequency Cepstral Coefficent（MFCC） 7

2.3特征向量处理 7

2.4本章小结 8

第三章 基于注意力机制的语音情感识别与性格分析模型 9

3.1深度学习理论基础 9

3.1.1人工神经网络 9

3.1.2卷积神经网络 10

3.1.3几种典型的循环神经网络 12

3.2 ACRNN模型 14

3.2.1注意力机制 14

3.2.2语音情感识别模型设计 14

3.3实验 16

3.3.1数据库 16

3.3.2样本预处理 16

3.3.3实验设置 17

3.3.4结果与分析 17

3.4性格分析模型 20

3.5本章小结 22

第四章 智能语音情感性格识别系统设计 23

4.1系统前端设计 23

4.1.1录音界面设计 23

4.1.2结果等待界面设计 26

4.1.3结果界面设计 27

4.2语音情感识别系统后端设计 28

4.2.1前后端交互原理 28

4.2.2服务器功能设计 29

4.3本章小结 30

第五章 总结与展望 31

5.1总结 31

5.2展望 31

参考文献 33致 谢 36

第一章 绪论

1.1研究背景和意义

随着科技的发展，人工智能在全世界以及各领域均得到了广泛的应用。虽然人与机器之间的交互日渐成熟，但迈向全面AI的时代还有很长的道路，机械的人机交互带来了较差的用户体验，人工智能的使命之一就是用科技与人类进行自然交流，所以利用语音的方式进行人机交互逐渐在人工智能领域流行起来。

剩余内容已隐藏，请支付后下载全文，论文总字数：32944字