基于GAN的手写数字识别的adversarial examples的产生与防御

论文总字数：25919字

摘 要

深度神经网络被发现非常容易受到对抗样本的攻击，通过对数据集中的样本有意加入小幅度的扰动，就会导致模型输出具有高置信度错误分类结果。因此，研究对抗样本的概念，特性，以及其生成方法和防御方法是现如今对抗样本的关键问题。本文从对抗样本的概念，以及其存在的原因入手，分析对抗样本的一些特性，总结了当前生成对抗样本的几种方法和几种防御手段。并且在此基础上提出了一种新基于对抗生成网络的方法，用此方法生成对抗样本和防御对抗样本对模型的攻击，实验在MNIST数据集进行，通过实验发现了一种相比与常用的传统快速梯度标识方法产生对抗样本的更有效率的方法。并且在交替的训练网络D和网络G后，使得D网络对于G网络生成的对抗样本有一定的鲁棒性。

关键词：对抗样本；深度神经网络；对抗生成网络

ABSTRACT

Deep neural networks have been found to be very vulnerable to be attacked by adversarial examples. By intentionally adding small perturbations to clean examples in the dataset, the model outputs will have misclassification results with high confidence. Therefore, studying the concepts and characteristics of adversarial examples, and methods of generation and defense of adversarial examples is a key issue in today. So, this paper starts with the concept of the adversarial examples and the reasons for its existence, analyzes some characteristics of the adversarial examples, and summarizes several methods and several defense methods for generating adversarial examples. On the basis of this, a new method based on the generative adversarial network is proposed. This method is used to generate adversarial examples and the defense against them. The experiment is carried out in the MNIST data set, the experiment has found a more efficient method of generating adversarial examples compared to conventional fast gradient sign methods commonly used. And after alternately training the network D and the network G, the D network is made to be robust to the adversarial examples generated by the G network.

Key words: adversarial examples，deep neural network, generative adversarial network

目 录

摘 要 I

ABSTRACT II

第一章 绪论 1

1.1 引言 1

1.2 对抗样本相关的技术问题 2

1.2.1 对抗样本相关的基本概念 2

1.2.2 对抗样本出现的线形原因解释 3

1.2.3 线形解释的相关局限性 4

1.2.4 对抗样本的转移性 5

1.3 生成对抗样本常用的方法 6

1.3.1 L-BFGS方法 6

1.3.2 FGSM方法 7

1.3.3 基本迭代法 9

1.3.4 迭代最小可能类方法 9

1.4 对抗样本的防御方法 10

1.4.1 预处理方法 10

1.4.2 对抗训练法 10

1.4.3 蒸馏方法 12

1.5 对抗生成网络 13

1.6 本文的研究目的 13

第二章 基于GAN网络的对抗样本的产生与防御 14

2.1 相关工作 14

2.2 数据集和特征 14

2.3 模型框架构建及训练 14

2.4 G网络对抗样本生成结果 15

2.5 D网络抵御对抗样本结果 18

2.6 讨论 21

2.7 未来的改进工作 21

第三章 结论 23

参考文献 24

致 谢 26

绪论

1.1 引言

在2012年，深度学习逐渐开始在许多较大规模视觉的识别挑战中又重新出现在人们的视野中。而在近些年来，深度学习发展的尤为迅速，它的应用层次及领域也越来越多，应用范围也越来越广泛，相应的，其网络的层次结构也愈发复杂且多样，当然，随着对深度学习的深入研究，深度学习训练的方法的改进，以及一些重要的技巧，平台的构建等等进一步的提高了分类器的性能，同时减少了训练时间和成本，使得研究者的门槛降低，从而更加进一步的促进了深度学习的发展。深度学习在很多领域，比如在图像识别，图像分割的领域中，它研究出来的模型的智能水平甚至几乎已经达到人类智力的程度。但是，在深度学习逐渐应用到我们的生活，给我们带来很多便利的同时，它本身也存在着许多自己的安全问题，我们在关注其应用领域的同时，也应该注重其在安全方面带来的问题。

如今，存在许许多多影响深度学习模型安全的问题。早期在垃圾邮件检测系统和入侵检测系统等应用机器学习的各种算法的安全领域中就发现了很难对系统模型特点来逃避检测的问题，在安全领域给机器学习带来了很大的挑战。迄今为止，有越来越多的威胁机器学习安全的问题都被逐一发现，有针对面部识别系统（face recognition system，FRS）的缺陷来模仿victim身份的非法认证身份通过，当然也涉及了医疗数据，人脸图片数据的隐私盗取的危害，更有针对自动无人驾驶汽车，语音输入控制系统的恶意控制危害，随着机器学习应用领域的不断扩大，有关于机器学习的安全型问题将受到更加广泛的关注^[1]。

如果给一个深度学习模型一个非正常的输入，该模型是否能够将其正确分类，得到一个满意的结果，因此对于深度学习模型的安全问题引起来了从事安全领域的专家们的关注，因为，越来越多的人开始关注深度模型对于非正常输入的抗干扰能力。于是，本文就是提出的关于深度学习安全问题——对抗样本的相关研究。在深度学习中，对抗样本问题也越来越值得关注和研究。研究对抗样本产生的原因，以及其生成方式是研究对抗性样本的关键问题所在，同时，我们利用对抗样本来进行对抗训练以此来提高我们深度学习模型的安全性和鲁棒性已经是非常紧急的事情了。

在此之前，有人猜测对于对抗样本的产生的缘由是因为深度神经网络的高度非线性特征以及监督学习中模型的平均不充分和正则化不充分导致的，但是Ian Goodfellow等人在2015年指出，高维空间的线形性才是真正导致对抗样本的存在的真正原因，而不是高度的非线性特征^[2]。当前，能够生成对抗样本的主要的方法有：FGSM ( Fast Gradient Sign Method )方法、L-BFGS ( Limited-memory Broyden-Fletcher-Gold Farb-Shanno)方法、迭代最小可能类方法，迭代方法等。

剩余内容已隐藏，请支付后下载全文，论文总字数：25919字