感知机算法的设计与实现

论文总字数：21230字

摘 要

感知机模型是神经网络的基础，同时也是机器学习中重要的二分类模型。普通感知机是一个只包含输入层和输出层的两层神经网络，其中输入层为表示实例的特征向量，输出层为该实例对应的类别，其学习目标是得到输入层到输出层的映射关系。感知机模型对线性可分情况下的分类问题具有良好的分类效果，但当示例空间线性不可分时，该模型不再适用。此时可通过设计多层感知机模型，即增加隐藏层层数，使模型扩展到线性不可分情况。本文设计并实现了单隐含层感知机模型，该模型使用反向传播算法实现模型训练过程，通过改变感知机模型学习率比较不同参数设置对感知机模型性能的影响。然后在15个UCI数据集上统计了分类精度以及对应训练时间，实验结果表明随学习率增加，精度呈下降趋势，而训练时间无明显变化。

关键词：感知机，逆误差传播算法，多层神经网络

Abstract

Perceptron is the foundation of neural network, which is also one of the most important binary-class classification model in machine learning. The perceptron neural network with two-layer including an input layer and an output layer. The input layer is a feature vector representing an instance, and the output layer is the label corresponding to this instance. The learning task of perception is to induce a binary-class classifier from the training instances. When the instance space is linear separable, the perceptron model can obtain a good performance while it cannot extend to the linear inseparable case. By adding the hidden layer of perceptron, this problem can be well solved. In this paper, a perceptron model with one hidden layer is designed based on the back propagation algorithm, by changing the learning rate of perceptron, the performance with different parameter settings is compared. The classification accuracy and training time were recorded on the 15 different UCI datasets, the experimental results showed that with the increase of learning rate, the accuracy showed a downward trend, while the training time did not change significantly.

KEYWORD: perceptron, back propagation algorithm, multi-layer neural network

目 录

摘要 …………………………………………………………………………………………Ⅰ

Abstract ……………………………………………………………………………………Ⅰ

第一章 绪论

1.1 引言 ………………………………………………………………………………………1

1.2 相关研究现状 ……………………………………………………………………………1

1.3 本文主要工作 …………………………………………………………………………5

第二章 多层感知机模型

2.1 简单感知机 ………………………………………………………………………6

2.2 多层感知机 ………………………………………………………………………………8

第三章 实验

3.1 数据集

3.1.1数据集的获取 ………………………………………………………………………13

3.1.2 数据集划分 ……………………………………………………………………………16

3.2 实验设置

3.2.1 交叉验证t检验 ………………………………………………………………………17

3.2.2检验项目 ………………………………………………………………………………17

3.3 实验结果

3.3.1 实验原始数据结果 ……………………………………………………………………17

3.3.2 t交叉检验结果 …………………………………………………………………20

第四章 结束语…………………………………………………………………………………22

参考文献 ………………………………………………………………………………………23

致谢 ……………………………………………………………………………………………24

第一章 绪论

1.1 引言

神经网络指“由具有适应性的简单单元组成的广泛并进行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应^[1]”。如今神经网络已有一个庞大的多学科交叉领域，在机器学习中，神经网络模型在特征值较多的回归模型中可有效减少特征，降低维度，是一种重要的机器学习模型。

在机器学习中，为实现学习功能，需要让机器学会自动总结知识的能力。具体来说，给定一个回归问题，基于一组观测特征，使用机器学习算法学习到特征到一个实值的映射关系。即数学中的回归问题。在数学中为解决回归问题，通常是对一组离散的特征值使用一条曲线进行拟合，对于线性问题常用的方法有著名的梯度下降法和最小二乘法。

在多数情况下，曲线回归比直线回归更加精确，但也增加了模型过拟合的风险，具体体现在更加复杂的曲线和多项式参数的爆炸式增长。在实际问题中，往往需要根据多个特征来分析模型，每个特征可看作一个维度，当使用复杂曲线拟合时，特征的数量会剧增，例如在二次曲线中特征数和维度呈关系。而在机器学习需要解决的问题中，这种数量的维度是十分常见的，如一个灰度图片，若其维度在级别，则特征数达到级别。神经网络能有效减少特征，因此对于神经网网络的研究是有非常重大的研究意义的。

神经网络的主要特色有两个，一个是其大规模并行运算能力，二是其强大的学习能力，使其拥有强大的泛化能力。这些特色使得神经网络在一些非常复杂的问题上找到有效的近似解。使其在优化计算、函数逼近、模式分类、数据聚类等方面有着极佳的表现，由此可以看出神经网络语音生成和识别，在图像和物体识别，智能博弈，金融预测分析，医学医疗等方面具有极大潜力。

剩余内容已隐藏，请支付后下载全文，论文总字数：21230字