基于深度学习的特征信息抽取

论文总字数：24973字

摘 要

本文用自编的深度学习方法自动编码器，实现了基于深度学习的特征信息抽取。

对于UCI数据集——手写体数字光学识别数据集进行了特征抽取和分类，结果表明基于深度学习的特征信息抽取方式具有良好的特征表达性。调研了深度学习的研究现状与种种传统的特征抽取方式，并选用其中的普遍方法PCA（主成分分析法）作为对比，比较特征抽取结果。鉴于深度学习是神经网络概念的延伸，故而选用神经网络对原数据进行分类，确立神经网络的相关参数，建立合适的神经网络模型，对于特征抽取后的结果验证采用SVM分类器，在本篇论文中运用了多种工具，除了有神经网络工具箱之外，还有其他的分类工具尝试，其中深度学习方案与PCA方案的特征抽取结果，会通过SVM分类器检验俩种特征抽取方法下的结果是否良好。在整个流程中对待高维数据和低维数据采用不同的检测方式。使用最合适其的检验工具，争取将数据集最终的输出结果识别率达到最佳，使用的方式包括参数的设置，网络的优化等。

最后，根据实验的最终对比结果，分析深度学习方法的优势所在，并展望深度学习的未来。

关键词：特征抽取，深度学习，神经网络，模式识别

FEATURE EXTRACTION OF BASED DEEP LEARNING

Abstract

In this paper, the depth of self learning automatic encoder, and information extraction based on depth learning characteristics.

For UCI datasets - Handwritten digital optical recognition datasets feature extraction and classification, information extraction results showed a good characteristic manner of expression based on the characteristics of deep learning. Depth investigation of the status of research and study of various traditional feature extraction methods, and choose one of the common method of PCA (Principal Component Analysis) In contrast, the comparison result of feature extraction. Given the depth of the study is an extension of the concept of neural networks, and therefore the choice of neural network to classify raw data, to establish the parameters of the neural network, the establishment of an appropriate neural network model for feature extraction results after verification using SVM classifier, in this paper the use of a variety of tools, in addition to neural network toolbox, there are other free tools attempt, wherein the depth of learning programs and feature extraction results of PCA program will test two types of characteristic extraction result by SVM classifier method under It is good. Treat high-dimensional data and the low-dimensional data using different detection methods throughout the process. Using the most appropriate tool for their inspection, for the final output data set to achieve the best recognition rate, including the manner of setting parameters, optimization of the network.

Finally, according to the final results of comparative experiments, analyze the advantages of learning where the depth, and the depth of future learning

Keywords: feature extraction, deep learning, neural networks, Pattern Recognition

目录

第一章 绪 论 - 1 -

1.1 引言 - 1 -

1.2研究现状 - 2 -

1.3本文主要研究内容与论文结构 - 3 -

1.3.1主要研究内容 - 3 -

1.3.2论文组织结构 - 4 -

1.4本章小结 - 5 -

第二章 技术背景 - 6 -

2.1几种常见的特征信息抽取方式 - 6 -

2.1.1主成分分析法（PCA） - 6 -

2.1.2线性判别方法（LDA） - 7 -

2.2深度学习思想与训练方法 - 8 -

2.3深度学习模型 - 10 -

2.3.1 AutoEncoder（自动编码器） - 10 -

2.3.2 Sparse AutoCoding（稀疏自动编码器） - 11 -

2.3.3 RBM（限制摩尔兹曼机） - 12 -

2.3.4 Deep BeliefNetworks（深度信网络） - 12 -

2.3.5 Convolutional Neture Network（卷积神经网络） - 13 -

2.4本章总结 - 13 -

第三章 系统方案 - 15 -

3.1流程介绍 - 15 -

3.1.1流程图 - 15 -

3.1.2流程简介 - 15 -

3.2方案设计 - 18 -

3.2.1AutoEncoder自动编码器编程方案 - 18 -

3.2.2 PCA法编程方案 - 18 -

3.2.3神经网络分类检测 - 19 -

3.2.4 svm参数优化 - 21 -

第四章 结果分析 - 23 -

4.1AutoEncder（自动编码器）方案结果 - 23 -

4.1.1数据集特征提取前后对照 - 23 -

4.1.2验证结果与分析 - 23 -

4.2 PCA（主成分分析法）方案结果 - 25 -

4.3方案结果对照与分析 - 27 -

第五章 总结与展望 - 29 -

5.1工作总结 - 29 -

5.2工作展望 - 30 -

参考文献（References） - 32 -

致谢 - 34 -

第一章 绪 论

1.1 引言

模式识别（Pattern Recognition），就是将模式，利用数学技术方法通过计算机来进行研究，在自动的情况下。，进行相应的处理以及判读。计算机技术发展过程，用日新月异来形容丝毫不过分，并且，我们相信计算机的智能化是广大的人们乐见其成的局面，作为普通人类日常生活，基本智能中就包含有模式识别，实际中，在平常的日常生活中，人们都是在经意或者不经意间进行“模式识别”的相应活动，计算机出现在20世纪40年代，而后十年内，人工智能出现并且兴起，作为人工智能的相应作用，希望可以用人工智能能够在一定程度上代替人类，或者减低一定的程度，去扩展人类的部分脑力劳动。再过10年，模式识别在计算机的领域内成为了一门的学科。迄今为止，模式识别可用于包括文字，语音识别，军事和民事方面的遥感和医学诊断等方面。但它涉及的信息量相较原来的数量级，有了本质的变化，人脸识别、掌纹识别等应用领域尤其特殊，由于样本维数极高，经常会出现“维数灾难”问题。

特征提取作为一项普遍的数据处理方式，其重要的功能，除了去除冗余之外，一般用于解决维数灾难，而维数灾难的含义是指在一定给定的精度下，对应相应的函数结果可以进行有效估计，在处理这类型问题时，由于训练要求的样本数会随着维度的增加，这些样本数的变化是指数级增长的。而降维的一定意义在于去克服维数灾难，获取样本数据的本质特征，节省存储空间，去除无用噪声，实现数据可视化。正是由于这种强大的功能与作用，需要进行数据降维，降维促进了高维数据的分类、可视化、通讯和存储。数据降维有多具体的方式，但是归结起来，主要分为特征选择和特征提取两种方法，此文介绍的是特征提取方法，即经已有特征的某种变换获取约简特征。对比特征选择，特征抽取的方式才会有更加完整的表达。

截止目前，国外和国内针对特征提取的问题都具有一定的进展，并且日进成熟，简单简述一下分类包括有线性/非线性法；有监督/无监督的方式，全局/非全局的方式。而在本篇文章中，我们要选择是基于深度学习的方法实现的特征提取方法。

图1-1：模式识别过程

1.2研究现状

针对特征提取的方式，依据以上简单地分类，简单介绍现今的特征提取方式，包括有：线性降维方法主要包括PCA、LDA、LPP（LPP其实是Laplacian Eigenmaps的线性表示）；非线性降维一类是基于核的，如KPCA。非监督降维方法的目标是在降维时使得信息的损失最小，如PCA、LPP、Isomap、LLE、Laplacian Eigenmaps、LTSA、MVU；监督式降维方法的目标是最大化类别间的辨别信，如LDA^[2]。局部方法仅考虑样品集合的局部信息，即数据点与临近点之间的关系。局部方法以LLE为代表，还包括Laplacian Eigenmaps、LPP、LTSA。但是以上的方法中都有一定的缺陷，以模式识中我们经常使用的图像数据为例，例如人脸识别^[6]等一系列比较热门的研究，他在本质上是基于二维数据的研究，数据的本质结构在使用基于向量空间的表示方法时，并不是很有利，奇异值问题就会出现在使用LDA.LPP方法的输出结果上。当然，研究者们为了解决这样的问题，采用了基于矩阵的方式。从实际的结果中我们也可以看出，这些基于二维的矩阵相比较原先的向量方法，获得了更高的识别率。也同时减少了时间的复杂度，在这个程度上，以上涉及的方法在一定程度上，仍需进一步提高和优化。

图1-2：机器学习过程

而关于深度学习，在本此毕业设计中，选择进行特征提取的方式是基于深度学习的方式，这是一个比较深和新的研课课题，针对这个研究课题，对于深度学习方法进行一定的研究。深度学习，是机器学习的一个新领域，它的动机在于模拟学习人脑处理分析问题的相关机制，它属于无监督学习的一种，而机器学习就我们所知，顾名思义，是指让计算机模拟，学习人的相关行为方式。机器学习也引发了一系列关于道德和伦理的讨论，最初实际应用是研发了一个下棋的软件，而这个软件在于当时的下棋天才对弈时，取得了有效地胜利。而深度学习算是神经网络的发展，算是机器学习的分支。相较神经网络而言，其实含多隐层的多层感知器就是深度学习的一种结构。组合部分底层的特征形成更加抽象的高层表示属性，或者有时候，我们称其为特征。在70到90年代，神经网络曾机器学习非常热门的领域，但是在后来，各种原因之下，神经网络渐渐淡出了人们的视线，简单概括一下原因：在于一：比较容易过拟合，不是很拥有普适性；二是由于它的训练速度比较慢，在层次较小的情况下训练速度占据优势，但是在隐藏层较多的情况下，训练速度并没有明显的优势，所以中间其实有大约20年的时间，神经网络的学习已经渐渐脱离了人们的人实现，但是在06年的时候，Hinton老先生，也是深度学习领域真正的大师级人物，他的一篇文章的问世，也是我在毕设前期翻译的论文《利用神经网络实现数据降维》，和其他同事共同的努力之下，他们建立了深度学习网络的框架。

综合来说，深度学习能够得到更好表示数据的特征，同时因为模型的层次，以及参数，同时容量较多的情况下，深度学习所建立的模型有能力表示大规模数据，所以深度学习针对图像或者语音，这种不是至关物理数据的大规模数据，具有一定的能力得到很好的训练。现今的关注点，还是在机器学习的领域借鉴一些可以在深度学习使用的方法，特别是在降维领域，比如稀疏编码和遗传编程方式，都在一定的方面取得了比较卓越的成效，当时深度学习并不是绝对完美的，对于深度学习始终要在大家共同的努力下进行更进一步的研究。

1.3本文主要研究内容与论文结构

1.3.1主要研究内容

本文针对基于深度学习的特征提取这一课题，对深度学习方法展开细致的研究，并且与常见的特征提取方法PCA（主成分分析法）进行简单的结果对照。主要从以下四个方面就行研究：

第一：系统性的回顾了常见的特征提取方式，并对其特性进行了简要的总结，包括线性方式：PCA（主成分分析法），LDA（线性判别分析）；非线性方式：LLE（局部线性嵌入）；其中如PCA为监督式学习，LDA 为非监督式学习，针对这集中普遍的特征提取方法，就简单地原理进行分析，就此方式的实现方法亦进行了简单的理解与介绍。

第二：经过深度调研，系统性的总结和回顾了常见的深度学习中的常用模型或者方法：包括：AutoEncoder（自动编码器），Sparse Coding（稀疏编码器），RBM（限制摩尔兹曼机），Deep BeliefNetworks（深度信网络），Convolutional Neture Network（卷积神经网络）^[8]，在以上物种方法中，重点论文《利用NN实现数据降维》的论文中采用的方法是利用RBM训练4个隐含层的AutoEncoder网络，实现784-1000-500-250-30的一个深度网络的训练，并且对这几种模型与方法进行简单的优缺点对照。

剩余内容已隐藏，请支付后下载全文，论文总字数：24973字

相关图片展示：