论文总字数：24303字

摘 要

本文使用卷积神经网络方法来实现手写数字识别模型。我们介绍了神经网络以及卷积神经网络的数学概念以及卷积神经网络的特点与在图像识别领域的优势。我们介绍了LeNet-5的经典结构，并且利用这样的结构设计了几个不同容量的卷积神经网络。通过实验结果我们初步确定了适合手写数字识别任务的基本模型。我们也总结了一些提升网络性能的常用方法。在实验阶段我们尝试使用不同的激活函数，增加正则化技术，不同网络容量来改进网络的性能。通过多组对比实验我们得到上述因素对网络性能的影响。我们发现在使用relu作为激活函数的CNN-3，使用dropout并且p=0.5时，模型效果最好，准确率高达99.24%，超越了原始LeNet-5的99.05%。在实验结果的基础上，我们总结了卷积神经网络用于图像识别任务的设计方法与原则。值得一提的是，在这个任务上我们还创新性地使用了全卷积神经网络，虽然实验效果并不好，但是也为读者提供了一种思路。

关键词：卷积神经网络 手写数字识别 全卷积神经网络

Abstract

The paper aims to design a convolutional neural network for handwriting digits recognition. The basic mathematical idea of neural network and convolutional neural network(CNN) is introduced and we also explain the advantages of CNN in image recognition field. LeNet-5 is introduced and then some basic CNNs of different capability are proposed. According to the experiment results firstly the model structure is generally fixed. We give some of approaches to improve the performance of CNN. Different kind of activation functions, regularization technologies and net capabilities are used in experiment stage. CNN-3 with Relu and dropout rate 0.5 turns out to be the best for handwriting digit recognition task and its accuracy gets to 99.24%, higher than 99.05% of LeNet-5. Based on the experiment results we have summarized the general principles to design a CNN for image recognition. In another hand, we also utilize all convolutional neural network for the task in a creative way. Although the result is not so good according to the experiment, we do provide some thinking on CNN.

Keywords: convolutional neural network, handwriting digit recognition, all convolutional neural network

目 录

摘要 I

Abstract III

目 录 V

第一章 绪论 1

1.1 手写数字识别研究背景与难点 1

1.2 卷积神经网络发展与现状 1

1.3 论文研究方法及意义 2

1.4 论文组织结构 2

第二章 卷积神经网络概述 3

2.1 神经网络 3

2.1.1 神经网络数学概念 3

2.1.2 神经网络的训练 5

2.2 卷积神经网络 7

2.2.1 概述 7

2.2.2 卷积层 8

2.2.3 池化层 10

第三章 基于卷积神经网络的手写数字识别模型设计与实现 11

3.1 Mnist手写数字数据集介绍 11

3.2 LeNet-5简介 11

3.3 卷积神经网络的设计 12

3.3.1 网络结构的设计 12

3.3.2 网络容量的确定 13

3.3.3 网络性能的优化 14

3.3.4 全卷积神经网络 17

第四章 模型试验结果与结论 18

4.1 激活函数对网络的影响 18

4.2 Dropout对卷积神经网络性能的影响 19

4.3 全卷积神经网络 21

第五章 总结与展望 25

5.1 总结 25

5.2 展望 25

致谢 27

参考文献 29

绪论

手写数字识别研究背景与难点

字符识别是图像识别领域里的一个分支，而对阿拉伯数字识别是其中非常重要的一块。随着社会特别是经济领域，金融市场的强力发展，票据业务发展强劲，往往存在很多从手写票据中手工录入信息的情况。还有一些日常生活中的统计，如人口普查、行业年检、邮件的分拣，甚至成绩单的录入等等。可以说有人的地方就有数据，有数据的地方就会有手写阿拉伯数字，而这些数字往往会被识别或者人工录入计算机。而这些录入工作，目前来看还非常依赖于人工处理的方式，这一定程度上产生了更多的工作量，增加了人力成本，有的时候还难免会产生人为的误判。由此可见，一个手写数字识别系统就显得如此重要，并且其应用市场也是无比巨大的。然而存在即合理，为何手写数字的识别工作目前很大程度上是由人工处理，除了在其他方面的限制，在技术上也存在着不小的困难，其难点主要在于以下三个方面：

（1）阿拉伯数字的字形极为简单，信息量小，可供提取的特征较少，传统的图像处理很难通过特征分析来区分。

（2）阿拉伯数字笔画简单，但是存在着不同的书写风格，并且带有明显的个人色彩，不同人有不同的书写体，并且书写风格千差万别。

（3）实际应用中，手写数字背景环境复杂，还涉及数字图像的分割。而且由于数字识别经常涉及财务、金融、学术，其严格性不言而喻，对识别精度通常来说异常严苛。

卷积神经网络发展与现状

最近几年来，深度学习方法在图像识别，自然语言处理方面表现出了惊人的能力。特别是随着现代计算能力的提升以及社会各个行业中各种大数据的积累，一大批基于深度学习的模型被用于各种识别任务中并且取得了前所未有的成果。而卷积神经网络（Convolutional Neural Network）在图像领域是最深入研究的，其对大型图像的识别效果是前所未有的[1]。

卷积神经网络(Convolutional Neural Network)这种深度学习框架，其实最早灵感是来自于视觉神经科学中的细胞结构。1959年，Hubel amp; Wiesel 发现，动物视觉皮层细胞负责检测光学信号[2]。受到这个启发，1980年 Kunihiko Fukushima 提出了CNN的前身——neocognitron[3]。直到20世纪90年代，LeCun et al 等人发表了论文，确立了CNN的现代结构，后来又对其进行了完善。他们设计了一种多层的人工神经网络，取名叫做LeNet-5[4]。这个网络也被用于手写数字的识别，后面会加以介绍。至此，CNN的经典结构已经得到了确定，但是由于当时计算能力与数据规模的限制，CNN被没有被大家重视，也没有得到很好的应用与拓展。直到最近十年，计算能力与数据规模的提升为深度学习带来了新的活力，特别是CNN表现出了强大的识别能力。其局部连接、权值共享的理念比起那些全连接的网络更易于训练，并且泛化性能更好。一些正则化技术如regularization，还有效果显著的dropout[5]，都提升了泛化性能，使得CNN对图像的识别已经超越了目前所有的图像识别模型，如今它已被计算机视觉团队广泛运用。而CNN的发展也将朝着创新的网络结构发展，并且随着神经网络专用硬件的发展导致计算能力的几何倍增，还有各行业海量数据的井喷，CNN有着向更广更深的方向发展。总之我们不得不承认，卷积神经网络是一种在图像识别领域，发展潜力巨大、应用领域巨广、非常行之有效的技术。

剩余内容已隐藏，请支付后下载全文，论文总字数：24303字