论文总字数：20515字

摘 要

Abstract 2

第一章 绪论 3

1.1 背景及其意义 3

1.2深度学习的历史 3

1.3图像识别 4

1.4实验用的数据集 6

1）MNIST数据集 6

2）Pendigits数据集 6

1.5论文内容结构 7

第二章 深度学习算法相关原理 8

2.1反向传播算法（Back Propagation，BP） 8

2.1.1反向传播网络的理解 8

2.1.2反向传播算法 8

2.2 限制波尔兹曼机 10

2.2.1玻尔兹曼机 10

2.2.2限制玻尔兹曼机的训练过程 12

2.3深度信念网络（Deep Belief Net，DBN） 13

2.3.1 深度信念网络的训练 13

2.3.2深度网络中的自动编码器 15

第三章 在手写字体库中的应用要点 17

3.1学习类型 17

3.2训练过程要点 17

3.2.1数据预处理 17

3.2.2 RBM初始设置及状态变换公式 18

3.2.3 BP算法的具体运行步骤 20

3.3动量法和贪婪算法 20

3.4监控学习过程 23

第四章 数据分析 25

后记和致谢 29

参考文献 30

基于深度学习的分类算法研究

指导教师 徐琴珍

04012413 杭宸

摘 要

“深度学习”是计算机科学发展以来具有里程碑式意义的进展。深度学习网络构造了多层的神经网络，以实现对大规模以及超大规模数据的处理。数据即为向导，对特定数据的处理而言，数据量越大越能准确构造分析模型。在深度学习中，特征的训练是最核心的内容，也是构成分类或辨认模型的基本要素。

智能地正确识别和辨认手写字体，具有很丰富的现实意义。本文在最后，利用深度学习的方法在MNIST数据集和Pendigits数据集上进行了处理实验。介绍了实验中所运用的算法。实验运用了限制波尔塔兹曼机构造的多层训练网络，并运用反向传播算法进行权值的微调。由于方法本身的要求，该算法的计算量很大。为加快算法的运行，在算法中加入了“动量法”和“贪婪算法”模块，确实提高了算法的运行速度。最后对实验的结果进行了分析总结。

关键词：深度学习 反向传播算法 限制玻尔兹曼机 字体识别

Abstract

Deep learning is a magnificent progress in the area of Computer Science. The deep learning net construct a multiple layer neural net, so it can handle with a massive data set or a super massive one. And when dealing with a given problem, the more the amount of data is, the more accurate the analysis model will be. That is to say, data is the algorithm’s teacher. In the algorithm, features are the most important content, which is the basic element to construct the models.

To recognize hand written word with computer correctly and efficiently will be very useful. This paper present two experiments among MNIST and Pendigits data set, and introduce the algorithm used in the experiments. Using restricted Boltzmann machines to construct a multiple training network, and fine-tuning the weights with back propagation algorithm. Due to the method of deep learning, the algorithm’s calculation quantity is very large. So, in order to speed the operating procession up, adding the “momentum” and ”Greedy learning algorithm” module inside. And seen from the result, this module do work. In the last, making analysis of the result.

Key words: Deep Learning; Back Propagation Algorithm; Restricted Boltzmann Machine; Word recognition

第一章 绪论

1.1 背景及其意义

上个世纪以来，飞速发展的计算机科学给我们带来了很多新技术。拿计算机与人类的棋类游戏对战来说，早先人们对计算机是否能战胜人类还持怀疑态度，但是继深蓝在国际象棋领域战胜人类以后，AlphaGo又在围棋领域战胜了李世石九段，人们已经不再怀疑计算机的能力。是的，在大量的数据和人类的帮助下，计算机可以获得极强的能力。棋类游戏的应用中，主要的计算机行为是预测，而预测的基础是学习和识别大量的对局。

自从第三次工业革命以来，人类进入了信息时代。这是一个飞速发展的时代，人人天天都在接受和产生着大量的信息。而这些信息中，图片的地位最为重要。它最为直观，包含的信息量最大。因此，图像的处理识别技术的现实意义是现阶段最为广泛的。从识别一张面孔实现自动支付，到识别一个潜藏在人群中的犯罪分子；从辨认一张图片中的植物种类，到辨认农作物的当前状况；从自动辨认无人机获取的图片，到辨认一张X光片中的病情病灶…从商业到军事，从教育行业到农业，从日常生活到公共安全，这些应用已经渗透进了我们社会的每个领域。因而研究和运用好图像识别技术，对社会的发展具有很大的现实意义。

1.2深度学习的历史

图像识别技术运用了深度学习的原理，或者说深度学习的方法指导了图像识别技术。图像识别技术是特定针对图像数据而应用的技术，而深度学习的原理可以用在各种各样的数据集中，而其中最为显著的应用，就是应用在人工智能之中。人工智能，也即使计算机如同人类一样思考，一贯是人类的梦想，也是CS（computer science）的一大热点。

对于许多问题，前贤们已经教会我们用什么样的方法去处理，欧几里德告诉我们求最大公约数可以用辗转相除法；牛顿为我们揭开两个物体之间力的作用公式；霍尔（Hoare）向我们展示了如何将杂乱无章的对象迅速排序……我们清楚地知道，对于这些问题的求解方式，公式和步骤，由此将其输入计算机，它就能代替我们进行求解。但是这并不是人工智能，计算机只是一直在执行输入的步骤，并不能执行计划以外的内容。

剩余内容已隐藏，请支付后下载全文，论文总字数：20515字