论文总字数：18031字

摘 要

人工智能从早期的慢速发展已经成长到现在的应用于实际。现在的生活中已处处是人工智能，从手机上的语言识别到各大网站的智能推送，都是以人工智能为背景。神经网络是人工智能中尤其重要的一个分支，从最初的单神经元网络到后来的卷积神经网络再到现在的深度神经网络，计算机已经从最初的监督学习进步到具备自主学习的能力，深度学习能够有效解决计算机视觉、文字处理、语音识别等领域问题。

文本介绍了神经网络的诞生历史和现今的发展，并详细介绍了神经网络的结构、作用。对几个经典模型进行了分析，得出各自的优缺点。并在此基础上，实现了手写汉字识别。主要根据卷积神经网络理论知识，对现有的网络结构进行选择，构建一个最适宜的神经网络。并分析不足之处以及提出以后能够改进的参考。结果表明，在设备允许和神经网络结构合理的情况下，网络深度越深最终准确度越好。

关键词：卷积神经网络；深度学习；手写汉字识别

Offline Handwritten Chinese Character Recognition Based on Tensorflow Using Convolutional Neural Network

Abstract

Artificial intelligence (AI) has grown from its early slow development to its practical application. Nowadays, artificial intelligence is everywhere in our life. From language recognition on mobile phones to intelligent push on major websites, all of them are based on artificial intelligence. Neural network is a particularly important branch of artificial intelligence. From the initial single neuron network to the later convolutional neural network to the present deep neural network, the computer has improved from the initial supervisory learning to the ability of autonomous learning. In-depth learning can effectively solve the problems of computer vision, word processing, speech recognition and other fields.

This paper introduces the history and development of neural network, and introduces the structure and function of neural network in detail. Several classical models are analyzed and their advantages and disadvantages are obtained. On this basis, handwritten Chinese character recognition is realized. Based on the theoretical knowledge of convolutional neural network, the existing network structure is selected and the most suitable network is constructed. It also analyses the shortcomings and puts forward some suggestions for future improvement. The results show that the deeper the network depth is, the better the final accuracy is, when the equipment is allowed and the structure of the neural network is reasonable.

Keywords:Convolutional Neural Network,Deep learing, Handwritten Chinese Character Recognition

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 研究背景及意义 1

1.1.1 神经网络的历史发展 1

1.2 本文主要内容和工作 1

第二章 卷积神经网络 3

2.1 传统神经网络 3

2.2 卷积神经网络结构 5

2.2.1 卷积层 6

2.2.2 池化层 6

2.2.3 激活层 7

2.2.4 全连接层 7

2.2.5 输入输出层 7

2.2.6 前向传播和反向传播 8

2.3 卷积神经网络模型 8

2.3.1 LeNet-5 8

2.3.2 AlexNet 9

2.3.3 VGGNet 10

2.3.4 GoogLeNet 11

2.3.5 ResNet 12

2.4 本章小结 12

第三章 卷积神经网络在手写汉字识别的应用 14

3.1 实验环境 14

3.2 数据集 14

3.3 神经网络搭建 14

3.4 模型训练 15

3.5 实验结果及分析 16

3.6 本章小结 16

第四章 结论 17

致 谢 18

参考文献 19

附 录 20

绪论

研究背景及意义

随着信息化社会的发展，数据处理的速度变得越来越重要。人工录入文字，其耗费时间之长，以及人工原因存在出错率。能否使用计算机来代替传统人工，省去大量时间的想法自然产生。手写汉字的识别其应用领域之广，能够在试卷卷面识别、签名识别、文字录入方面提供巨大的帮助。随着人工智能（Artificial Intelligence）的发展，使用计算机来实现这一想法成为可能。

汉字识别属于人工智能与模式识别的一个分支。随着神经网络（Neural Network）研究的不断发展，越来越多的基于深度学习(Deep Learning)的优秀神经网络模型的出现，如最新的生成式对抗网络（GAN, Generative Adversarial Networks ）、切片循环神经网络（SRNN,Sliced Recurrent Neural Networks）等。新型模型在训练速度、分类器优化方面提升显著，相比以前的模型，在汉字识别方面定能给与更大的帮助。目前最佳纪录保持者为中国金融认证中心(CFCA)的CASIA_HWDB 数据集上97.04%的成绩。由此可见，随着研究再深入汉字识别完全可由计算机完美实现。

神经网络的历史发展

人工神经网络(ANN, Artificial Neural Network)是人工智能的一个重要分支，模拟人脑的神经网络模式，以大量的神经元对输入信号根据自身的权重和偏置值进行激活函数处理后，给出输出结果。其最大优势在于能够处理许多以前解决不了的非线性问题，模拟人类实现精准的预测。

人工神经网络的概念最早在1943年，由W．S．McCulloch和W．Pitts等人提出的M-P模型[1]。M-P模型将神经元以形式化数学描述，提出了单个神经元能够进行逻辑判断。1958年Rosenblatt使用M-P模型以感知器(perceptron)算法[2]，对输入的多维数据进行二分类，并使用梯度下降法更新权值。这是第一次将M-P模型用于深度学习分类问题。1969年，Minsky证明了感知器是一种线性模型[3]，若只有感知器并无法处理非线性问题，如最简单的亦或问题。神经网络的发展从此进入20年的瓶颈期。直到1986年Hinton提出在多层感知器上使用的BP算法[4]，并采用Sigmoid函数进行非线性映射，解决了非线性学习的问题。1989年LeCun等人发明了最初的卷积神经网络(CNN,Convolutional Neural Networks) LeNet，提出了局部连接（Sparse Connectivity）和权值共享（Parameter Sharing）的设想[5]，以3个隐藏层实现了手写邮编数字识别。1991年BP算法被指出存在梯度消失问题，由于Sigmoid两侧趋于饱和，当训练值落在饱和区后，反向传播带来的影响非常小，参数几乎无变化导致梯度消失。1997年，由Sepp Hochreiter等人发明了长短期记忆模型（LSTM, Long short-term memory）[6]，由遗忘门、输入门、输出门构成，在反向传播时不会产生高次项，避免了梯度消失的问题。2006年Hinton提出了深度学习算法，将无监督训练权值初始化与有监督训练微调相结合，解决了梯度消失问题。2011年，ReLU激活函数[7]被提出使用在神经网络上，从根本上解决了之前因为激活函数导致的梯度消失。2012年，Hinton等人发明了AlexNet网络[8]，在ImageNet图像识别比赛中以84.7%的识别率远高于亚军支持向量机(SVM, Support Vector Machine)方法的63.9%识别率。2015年，由He Kaiming等人发明了残差神经网络（ResNet，Residual Neural Network）[9]，通过学习残差解决了深度增加后准确度反而下降的恶化问题。这些模型逐渐克服了先前模型的缺点，并在向更深度的神经网络和更快的训练速度不断发展。

本文主要内容和工作

本文研究内容主要为实现基于卷积神经网络的手写汉字识别，并分别对几个经典模型进行对比，进一步优化模型。特别针对不同模型的网络布局差异导致的结果进行详细分析。内容安排如下：

剩余内容已隐藏，请支付后下载全文，论文总字数：18031字