论文总字数：23296字

摘 要

深度网络目前被广泛应用于各个领域，取得了很大的成功。但是我们对深度学习的有效性的理论基础仍然缺乏足够的了解。我们认为深度网络的有效性源自其作为客观物理世界的有效表达模型的本质，深度网络中应该存在很多和物理系统对应的结构。我们系统通过将深度学习系统与物理系统进行类比和对应，这两个领域的思想可以相互促进与融合。本课题的主要目的是寻找是否物理系统的一些性质和结论可以用来帮助我们理解深度网络。

过参数化的深度网络是目前理论分析相对集中的系统，我们希望寻找这一系统对应的物理图像。我们发现了一个和过参数化的深度网络有着高度结构相似性的物理系统，即多体量子系统中的MPS态(Matrix product state)和其对应的Parent Hamiltonian以及Uncle Hamiltonian。通过对这两个系统的类比，我们建立了这两个系统之间概念对应字典，并将二者的基本性质和结论进行了互相对比迁移，加深了对于过参数化深度网络的物理图像的认知。

关键词：过参数化深度网络，损失函数，哈密顿量，MPS态，多体量子系统

Abstract

Deep network has been widely used in various fields and achieved great success. However, we still lack sufficient understanding of the theoretical basis of the effectiveness of in-depth learning. We believe that the validity of deep networks originates from its essence as an effective expression model of the objective physical world. There should be many structures corresponding to physical systems in deep networks. By comparing and corresponding the deep learning system with the physical system, our system can promote and integrate the ideas in these two fields. The main purpose of this topic is to find out whether some properties and conclusions of physical systems can be used to help us understand deep networks.

The over-parameterized deep network is a relatively centralized system for theoretical analysis. We hope to find the corresponding physical images of this system. We find a physical system with high structural similarity to the over-parameterized deep network, i.e. the MPS state in the many body quantum system and its corresponding Parent Hamiltonian and Uncle Hamiltonian. By comparing the two systems, we build a dictionary of conceptual correspondence between the two systems, and compare the basic properties and conclusions of the two systems, which deepens the understanding of physical images of over-parameterized deep networks.

Key words: over-parameterized depth network, loss function, Hamiltonian, MPS state, many body quantum system

目 录

摘要 ………………………………………………………………………………………………………Ⅰ

Abstract .........…………………………………………………………………………………………… Ⅱ

第一章 绪论 1

1.1课题背景和出发点 1

1.2深度网络与物理系统联系的证据 2

1.3课题具体工作内容 3

第二章 深度网络的性质和物理系统实例 5

2.1 深度网络的结构和收敛理论 5

2.2数据蒸馏 8

2.3矩阵积态(MPS)及其哈密顿表示 9

2.4过参数化网络和MPS态类比 12

第三章 深度网络和物理系统的相似性 13

3.1MPS与深度网络的对比 13

3.2相似性总结 16

3.3未来的工作 18

第四章 结论与展望 20

4.1结论 20

4.2展望 20

参考文献 22

致 谢 23

第一章 绪论

1.1课题背景和出发点

目前，基于深度神经网络（DNN）与深度学习的机器学习方法，在几乎所有的研究领域都显示出它的威力。从传统的计算机领域的机器视觉，自然语言处理，规划与策略控制，到物理、化学、生物、医学、自动控制乃至艺术文化领域都得到了广泛应用，在短期内取得了令人瞩目的效果。

但是，我们仍然缺乏一个通用的理论框架来回答以下问题：为什么深度学习如此有效？这一问题的本质是我们目前还缺乏从理论上对深度网络和深度学习系统进行描述和分析的数学工具。这使得我们一方面缺少对深度学习系统的可解释性的理解，另一方面我们对深度网络的结构与功能之间的关系也缺乏足够的认识，这严重影响了深度学习系统在研究和应用领域的进展。

基于这一事实，在深度学习领域我们目前亟待需要解决的核心问题就是寻找对深度学习系统进行理论描述和分析的数学框架。

目前，从理论角度常识对深度网络和深度学习系统进行描述的方法包括：（1）信息论的观点，比如信息瓶颈的思想；（2）微分方程的观点，即将深度网络看作微分方程的离散化系统来理解；（3）自动控制系统的观点，将深度网络及其训练过程看作一个最优控制系统来考察；（4）随机矩阵的方法等。这些工作都从不同的角度对深度网络及其学习训练过程进行了理解和分析，但是到目前为止，都无法完成对深度网络和深度学习系统进行系统化的全面描述。

我们的基本观点是，深度网络和深度学习在各领域的广泛的有效性源自于深度网络作为物理系统的有效描述这一本质，即物理世界是由深度网络构造并描述的，物理世界的规律本质上源自深度网络的规律，理解深度网络和理解物理规律遵循同样的思想。

剩余内容已隐藏，请支付后下载全文，论文总字数：23296字