论文总字数：30663字

摘 要

随着人工智能技术的发展，智能音箱系列产品越来越受到人们的青睐。基于百度自主研发的智能对话交互系统DuerOS，百度公司推出了一系列智能音箱产品。在DuerOS的各个模块中，控制指令意图解析系统由于其优先级高、频率大，最为重要。现阶段，该系统仍然采用基于规则的解析方法，即模板匹配法。然而，随着智能音箱日活数的上升，面对海量的文本数据，该系统暴露出了泛化性差、解析效率低、模板冗余等问题。因此需要设计新的算法解决这一系列问题。

本文通过对控制指令语言现象的调研，提出并实现了结合模板匹配和机器学习的控制指令意图解析算法系统。该系统共三层，依次为模板匹配层、核心词过滤层以及意图判断层。对意图判断层，对基于深度学习的文本分类模型TextCNN进行了改进，提出了结合词特征的文本分类卷积神经网络——词特征TextCNN。并通过一系列对比实验，证明了在控制指令数据集上，词特征TextCNN的准确率、训练速度、解析效率等性能都优于多数经典文本分类模型。同时证明了相比于现有算法系统，新的算法系统能够给单个意图带来0.1%以上的线上收益。新的控制指令意图解析系统已经实现并发布在DuerOS上，极大的改进了百度智能音箱的产品体验。

关键词：自然语言理解，意图识别，卷积神经网络，模板匹配，智能对话系统

Abstract

With the development of Artificial Intelligence (AI), intelligent speaker products are more and more popular. Baidu Company has launched a series of intelligent speaker products based on DuerOS, which is an intelligent dialogue and interaction system independently developed by Baidu. Among all modules of DuerOS, the intention analysis system of control instructions is the most important because of its high priority and high frequency. Currently, this system still adopts rule-based analysis method, namely template matching method. However, with the increase of the daily activity of intelligent speakers, the system exposes the problems of poor generalization, low parsing efficiency, template redundancy and so on when facing the massive text data. Therefore, new algorithms need to be designed to solve these problems.

Through investigating the language phenomena of control instructions, a new intention analysis system of control instructions is proposed and implemented, which combining template matching and machine learning algorithms. The new system consists of three layers: template matching layer, core word filtering layer and intention judgment layer. For the intention judgment layer, we improve the deep-learning-based text classification model TextCNN. And we propose a new text classification model combining convolutional neural network and word features, named word features TextCNN. Through a series of comparative experiments, it is proved that the accuracy, training speed and recognition efficiency of word features TextCNN are all better than most classical text categorization models in the control instruction data set. Meanwhile, it is proved that, compared with the existing algorithm system, the new algorithm system can bring more than 0.1% online revenue for one intention. The new intention analysis system of control instructions has been implemented and released on DuerOS, which greatly improves the product experience of Baidu Intelligent Speaker.

KEY WORDS: natural language understanding, intention recognition, convolutional neural network, template matching, intelligent dialogue system

目 录

摘要 I

Abstract II

第一章 绪论 1

1.1 项目背景 1

1.1.1 智能语音交互技术的发展 1

1.1.2 智能语音交互系统的构成 1

1.2 项目意义 2

1.3 控制指令意图识别系统现状 3

1.4 项目难点 4

1.5 主要工作 5

1.6 论文组织结构 6

第二章 相关工作 7

2.1 基于规则的句子分类方法 7

2.2 基于传统机器学习的句子分类方法 8

2.3 深度学习在文本分类的应用 8

2.3.1 词嵌入原理简介 8

2.3.2 卷积神经网络(CNN)在文本分类中的应用 9

2.3.3 循环神经网络（RNN）在文本分类中的应用 10

2.4 本章小结 11

第三章 结合模板匹配和机器学习的意图解析系统 12

3.1. 引言 12

3.2 语言现象调研 12

3.2.1 意图核心词语现象 12

3.2.2 意图正相关、负相关词语现象 13

3.2.3 语言现象调研结论 13

3.3 结合模板匹配和机器学习的控制指令意图解析系统架构 13

3.3.1 模板匹配层 14

3.3.2 核心词过滤层 15

3.3.3 意图判断层 15

3.3.4 算法系统架构优点 16

3.4 词特征TextCNN模型 16

3.4.1文本分类卷积神经网络TextCNN 16

3.4.2 词特征TextCNN 18

3.5 本章小结 19

第四章 实验设计与系统开发 20

4.1 实验数据 20

4.1.1 数据集构建 20

4.1.2 数据预处理 21

4.2 实验方案设计 22

4.2.1文本分类模型相关实验 22

4.2.2 新旧算法系统对比实验 23

4.3 评价标准 23

4.3.1 文本分类模型评价指标 23

4.3.2 线上收益评价指标 25

4.4 系统开发与实现 26

4.4.1 利用PaddlePaddle实现文本分类模型 26

4.4.2新控制指令意图解析系统开发与实现 26

4.5 本章小结 27

第五章 实验结果及分析 28

5.1 文本分类模型相关实验结果及分析 28

5.2 算法系统线上收益结果分析 30

5.3 本章小结 31

第六章 总结与展望 32

参考文献 33

致 谢 35

第一章 绪论

1.1 项目背景

1.1.1 智能语音交互技术的发展

随着人工智能技术的发展，智能语音交互进一步降低了用户获取信息的门槛，让更多人享受到了科技的红利。智能语音交互是基于语音输入的新一代交互模式，人们通过说话就可以得到反馈结果。相比于传统的手指点按的交互方式，语音交互的方式更加人性化，不仅能让硬件的操作更简单、聪明、便捷，还能提供更多丰富的有用的可靠的互联网服务内容，帮助人们解决日常实际问题，实现智慧化的生活方式。自从苹果公司(Apple)推出智能语音助手后，智能语音交互技术得到了广泛的应用。近年来，智能语音助手的衍生品——智能音箱，越来越受到市场的青睐。亚马逊发布的智能音箱Echo，在短短2年时间内，已经成为市场上最火热的智能家居产品之一。人们通过Echo可以用语音进行点播歌曲、查询资料、控制设备、购买商品等一系列操作。

北京百度网讯科技有限公司（以下简称“百度”）是国内最早布局智能音箱产业的互联网公司之一。百度于2018年3月成立了智能生活事业群组(Smart Living Group,以下简称SLG)。SLG由“度秘事业部”、“硬件生态渠道部”和“Raven Studio工作室”组成。这标志着百度将开始拓展国内的智能语音交互市场，加速中国人工智能产业的落地。SLG成立一年多以来，基于百度自主研发的对话式 AI 操作系统 DuerOS，先后推出了的小度在家、小度智能音箱、小度智能音箱 Pro、小度电视伴侣等一系人工智能产品，受到了市场的热烈欢迎。此外，截至去年年底，搭载百度DuerOS硬件设备已经过亿。作为百度“All in AI”的重要战略产品，智能音箱肩负着改变人们生活方式的重任。

1.1.2 智能语音交互系统的构成

DuerOS的本质是智能语音交互系统（Dialogue System）[1]，其通常由五个部分组成，各部分之间的顺序及联系如图1-1所示。

剩余内容已隐藏，请支付后下载全文，论文总字数：30663字