求解贝叶斯反问题的自适应重要性采样方法研究

论文总字数：28425字

\documentclass[oneside,openany,12pt]{cctbook}

\zihao{3}\ziju{0.15}

\pagestyle{myheadings} \textwidth 16.0cm \textheight 22 truecm

\special{papersize=21.0cm,29.7cm} \headheight=1.5\ccht

\headsep=20pt \footskip=12pt \topmargin=0pt \oddsidemargin=0pt

\setcounter{section}{0}

\frontmatter

\def\nn{\nonumber}

\newcommand{\lbl}[1]{\label{#1}}

\newcommand{\bib}[1]{\bibitem{#1} \qquad\framebox{\scriptsize #1}}

\newcommand{\be}{\begin{equation}}

\newcommand{\ee}{\end{equation}}

\newcounter{local}

\newcounter{locallocal}

\newcommand{\scl}{\stepcounter{local}}

\setcounter{local}{0}

\renewcommand{\theequation}{\arabic{chapter}.\arabic{section}.\arabic{local}}

\def\s#1{\setcounter{local}{#1}}

\usepackage{Picinpar}

\usepackage{amsmath,amssymb}

\usepackage{graphicx}

\usepackage{float}

\usepackage{subfigure}

\usepackage{epstopdf}

\usepackage{flafter}

\usepackage{fancyhdr}

\usepackage{amsfonts}

\usepackage{booktabs}

\usepackage{palatino}

\usepackage{tikz}

\usetikzlibrary{shapes.geometric, arrows}

%%%%%%%%%%%%%%%%%%%%%%%%%%%设置页眉双下划线%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\newcommand{\makeheadrule}{%

\makebox[0pt][l]{\rule[0.55\baselineskip]{\headwidth}{0.4pt}}%

\rule[0.7\baselineskip]{\headwidth}{0.4pt}}

\renewcommand{\headrule}{%

{\if@fancyplain\let\headrulewidth\plainheadrulewidth\fi

\makeheadrule}}

\makeatother

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\pagestyle{fancy}

\renewcommand{\chaptermark}[1]{\markboth{\kaishu{\chaptername}~~~#1~}{}} % 设置页眉章节

\fancyhead[l]{\kaishu{~~~东~南~大~学~本~科~毕~业~ 论~ 文}}

\fancyhead[c]{}

\fancyhead[r]{\leftmark}

\fancyfoot[l]{}

\fancyfoot[c]{\thepage}

\fancyfoot[r]{}

\begin{document}

\begin{titlepage} %从此到 \end{titlepage}的内容第一页不编页号,以后的编页号

\end{titlepage}

\frontmatter %从 \frontmatter 到 \mainmatter 处的内容可在目录中出现但不编章号

%从 \backmatter 以后的内容也在目录中出现但不编章号

\begin{center}{\kaishu \zihao{2}{求解贝叶斯反问题的自适应重要性采样方法研究}}\end{center}

\vskip 0.5cm

\begin{center}{\kaishu\zihao{4} 摘\ \ \ \ 要}

\end{center}　

\addcontentsline{toc}{chapter}{摘\ \ \ \ 要}

物理系统的模拟中往往存在很多不确定的参数，这使得系统精确解的推导存在难度。对贝叶斯反问题的研究，就是为了降低参数不确定性对解的影响。在贝叶斯框架下，系统参数被设为一随机向量，问题转变为对参数后验的求解。由于后验分布不容易直接求得，可采用重要性采样方法对后验分布进行逼近。在重要性采样中，如何选择合适的先验分布和由大量重复的正向模拟造成的庞大计算量是两个主要难点。针对这两项难点，本文提出了自适应的重要性采样方法。其中，混合高斯模型和混合多项式混沌展开是两项关键技术。混合高斯模型可以在多峰分布中灵活逼近目标分布，使局部误差尽可能小，且便于抽样；而混合多项式展开近似替代了原非线性的正向模型，使昂贵的计算代价得到显著降低，有效加速了采样过程。在说明案例中，重采样迭代方法对反问题的求解，证明了所提出的自适应重要性采样方法能自动对所提出的问题找到具有适当分量的混合高斯模型，且能通过近似替代的正向模拟得到代表不确定参数后验分布的样本，并比较了观测数据的多少对后验分布的改变，以及观测误差大小对模型逼近程度的影响。

\vskip 1cm \noindent{\kaishu 关键词: \ \贝叶斯反问题,\ 自适应重要性采样,\ 混合高斯模型,\ 混合多项式混沌展开}

\newpage

\thispagestyle{plain}

\begin{center}{\heiti \large Research on Adaptive Importance Sampling Method for Solving Bayesian Inversion }\end{center}

\vskip 0.5cm

\begin{center}{\rm\zihao{4} Abstract}

\end{center}

\addcontentsline{toc}{chapter}{Abstract}

\par

There are often many uncertain parameters in the simulation of physical systems, which makes it difficult to derive an exact solution of the system. The study of Bayesian inversion is to reduce the influence of parameter uncertainty on the solution. In the Bayesian framework, the system parameters are set to a random vector, and the problem is transformed into a solution to the parameter posterior. Since the posterior distribution is not easy to obtain directly, the importance sampling method can be used to approximate the posterior distribution. In the importance sampling method, how to choose the appropriate prior distribution and the huge computation caused by the large number of repeated forward simulations are two major difficulties. In response to these two difficulties, this paper proposes an adaptive importance sampling method. Among them, The mixed Gaussian models and the mixed polynomial chaotic expansion are two key technologies. The mixed Gaussian model can flexibly approximate the target distribution in the multimodal distribution, making the local error as small as possible and easy to sample; and the mixed polynomial expansion approximately substitutes the original nonlinear forward model,which significantly reduces the expensive computational cost, and effectively speeds up the sampling process. In the case study, the solution of the inverse problem by resampling iterative method proves that the proposed adaptive importance sampling method can automatically find the mixed Gaussian model with appropriate components for the proposed problem, and the forward simulation by approximate substitution can effectively obtain samples that can represent the posterior distribution of uncertain parameters. In addition, the change of the observation data to the posterior distribution and the influence of the observation error on the approximation degree of the model are also compared.

\vskip 0.8cm \noindent{\rm Key Words:\ Bayesian inversion, \ Adaptive importance sampling, \ Mixed Gaussian model, \ Mixture of polynomial chaotic expansion}

\tableofcontents

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\newpage

\mainmatter

\chapter{引言 }

\s0 \vskip 3mm

\setlength{\parindent}{2em}

反问题是当今学术界的一大热点，科学研究者们越来越发现，了解一些简单的性能已经不再满足对各类系统的研究需求，而推测系统内部的运转规律，实现对系统的预测或控制才是最终目标。在最近几十年中，反问题在生物医学成像、石油勘探、工业控制等众多生活领域都有着广泛应用。反问题是针对正问题提出的，正问题往往逻辑通顺、简单易解，对于给定的条件和初始值，按照自然顺序就能得到相对应的结果。而反问题违反一般自然顺序，解的存在性和唯一性有待确定、稳定性未知，因此大部分反问题具有不适定性。贝叶斯问题便是解反问题的方法之一。基于统计理论的贝叶斯方法近年来不断应用于各个领域的反问题，如环境水力学反问题、热传导反问题、医学反问题等，贝叶斯方法在这些反问题的应用中发挥了重要的作用。其中，蒙特卡洛方法~(MCMC)~、重要性采样等采样方法作为求解贝叶斯反问题的重要方法，也受到了广泛关注和深入发展。

在物理模型中，模型内部很多参数是未知的，只能看到系统运行出来的结果，因此需要建立反问题通过结果去探求原因，在物理系统中即通过观测数据对未知参数进行推导。但在观测值的测量过程中，一方面测量仪器存在不可消除的误差，另一方面测量代价昂贵使得观测数据个数不足，使得观测值往往失真，存在一定的误差，对求解造成困难。而反问题往往不适定，具有非唯一解，即对于不同的参数组合，其正向模拟的结果都与观测值相符。求解此类具有非唯一解的反问题方法之一，就是在贝叶斯框架下推导，计算多个解的后验分布，量化不确定的参数。

由贝叶斯公式易知，后验分布与先验分布和似然函数的乘积成正比。先验分布包含参数原始的不确定性，通常可以通过参数本身的特征信息得到；似然函数表示观测到的信息。而实际中后验分布一般不容易得到和推导，往往只能通过数值近似的方法，常见的如采样方法中的蒙特卡洛方法~(MCMC)~或重要性采样方法，从后验分布中抽取点来近似表示后验分布。这类算法通常分为两步：采样和修正。先选取一个容易取样的建议分布进行采样，然后对样本点进行调整修正，使建议分布逐渐向后验分布靠近。

显然，采样算法中的第一个关键在于如何确定合适的建议分布，它影响着采样的准确性和速度。一般情况下，选择参数先验分布作为建议分布。但在贝叶斯反问题中，从先验分布中抽取的样本在后续处理中不一定有效。多数情况下，后验函数只集中在先验函数的某一小部分区域内。若初始样本没有在一个合适的区域内抽取，那么在后续的修正中，样本大多数的点将由于偏离目标而逐渐被剔除，最后得到的样本缺乏后验代表性，结果不理想。因此，在后验分布未知的情况下，解决方案为构建一个自适应的逐渐靠近目标分布的函数构造模型$\cite{OR}$。

反问题中，推导出的参数需要进入正向模型进行评估校准。这里就需要对建议分布的每个采样点进行正向模拟，来评估和修正后验分布。这是算法的又一难点：首先，由于正向模型往往都不是线性的，计算复杂度很高，其次，采样个数的数量级往往在$10^4$及以上，大量重复的正向模型会使得计算昂贵。为了解决计算代价问题，一个方法是寻找正向模型的近似方案进行替代。这个替代模型需要满足原始正向模型的输入——输出映射，且计算廉价。常见的用于近似替代反问题中的正向模型的例子包括高斯过程、径向基函数插值、多项式混沌展开和神经网络等$\cite{WL}$。前人的研究表明，多项式混沌展开在参数不确定性反问题中十分有效，可以通过增加多项式展开的次数来达到所需精度，且能在参数空间全体或局部自适应地进行拟合。参数多峰分布时这一特点很有优势，近似替代的准确度将影响后续的采样准确性。

为了实现有效的抽样和对模型的快速校准，本文对自适应的构造建议分布和局部精确的多项式近似替代展开了研究。在已有的资料中，退火方案控制的一系列重采样迭代中存在一个接近后验分布的建议分布，及适合该建议的多项式替代$\cite{RN}$，即利用重要性采样算法，建议分布选择高斯分布族，模型近似替代选择埃尔米特多项式。在本文中，由于解的后验分布可能多峰，建议分布选择了同样简单但更灵活的混合高斯模型$\cite{GD}$，混合高斯模型能保证在函数多峰分布下对不同的区域分别进行逼近，构造出局部误差最低的方案。但混合高斯模型没有相关的标准多项式近似替代。已经证明，为多峰分布建立多项式混沌展开是困难的，需要大量的高阶项实现精度要求。为了避免这种困难，本文采用混合多项式混沌展开的思想$\cite{JY}$，对混合高斯模型中每个独立的分量单独建立埃尔米特多项式展开。这样处理后建议分布的每个分量都是单峰，可以用比较低阶的项实现近似替代，且每个分量的随机扰动远小于总体逼近得到的随机扰动，近似精确度提高，以此对重要性采样算法实现了加速。

本论文结构如下：第二章主要回顾贝叶斯反问题和重要性采样的基本知识和原理；第三章研究主要算法，详细介绍了如何自适应的在重要性采样中构建混合高斯模型和混合多项式混沌展开；第四章由具体算例对算法解决参数不确定性问题展开分析；第五章对本文进行总结与讨论。

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\newpage

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\chapter{贝叶斯反问题与重要性采样 }

\section{贝叶斯定理的运用}

\s0

\par

\setlength{\parindent}{2em}

反问题的求解是根据结果追溯原因。在贝叶斯反问题中，求解思路为根据一组观测值求解未知参数的后验分布。在贝叶斯方法中，未知参数被设定为一组随机向量~ $\mathbf{x} \in\mathbb{R}^{n_m}$，向量中包含的参数值受不确定性的影响，由后验分布~$p(\mathbf{x}|\mathbf{y^*})$~进行描述。设正向模拟模型为~ $\mathbf{y}=F(\mathbf{x})$，其中~$\mathbf{y}$~是模拟系统的输出向量，系统真实的观测值为~$\mathbf{y^*}$，由于测量误差、系统误差等各种因素，模拟输出~$\mathbf{y}$~与观测值~$\mathbf{y^*}$~往往存在差异，需要进行校准。在反问题中，$F(\cdot)$~是非线性数学模型，计算复杂且代价昂贵。

由贝叶斯定理知：

$$p(\mathbf{x}|\mathbf{y^*})=h\cdot L(\mathbf{y})p(\mathbf{x})，\eqno{(1)}$$

后验分布~$p(\mathbf{x}|\mathbf{y^*})$~等于先验分布~$p(\mathbf{x})$、似然函数$L(\mathbf{y})$~和归一化因子~$h=[\int L(\mathbf{y})p(\mathbf{x})dx]^{-1}$~的乘积。在实际问题中，先验分布~$p(\mathbf{x})$~表达参数的不确定性，表达了被模拟系统的基本规律、参数的特征信息等。$h$~关于~$\mathbf{x}$~恒定。接下来，似然函数~$L$~的计算是解决后验的关键。

由定义，似然函数~$L(\mathbf{y})$~是观测值的~$\mathbf{y^*}$~的概率密度函数，即~$L(\mathbf{y})=p(\mathbf{y^*}|\mathbf{x})$。 因此当观测值不存在误差且模拟系统在理想条件下运行时，$L(\mathbf{y^*})=L(\mathbf{y})=L(F(\mathbf{x}))$，表明观察是来自模型参数的精确映射。由此，似然函数可给出：$$L(\mathbf{y})=L(F(\mathbf{x}))=p(\mathbf{y^*}|\mathbf{x})=\delta(\mathbf{y^*}-F(\mathbf{x}))，\eqno{(2)}$$

其中~$\delta(\cdot)$~是狄拉克~$\delta$~函数。$\delta$~分布意味着一个参数点只有在与模型的观测结果完全吻合的情况下才会被选取会为后验，这限制了后验的选取，是一个很苛刻的条件。在现实情况下，观测存在误差，系统也不理想，观测值与模拟结果一定不吻合。将随机误差设为~$\mathbf{e}$，则观测值与模拟输出关系为~$\mathbf{y^*}=\mathbf{y} \mathbf{e}=F(\mathbf{x}) \mathbf{e}$，然后给出似然函数：

$$L(\mathbf{y})=L(F(\mathbf{x}))=p(\mathbf{y^*}|\mathbf{x})=p_\mathbf{e}(\mathbf{y^*}-F(\mathbf{x}))，\eqno{(3)}$$

其中~$p_\mathbf{e}(\cdot)$~是误差~$\mathbf{e}$~的概率密度函数。注意到这里在计算似然函数~$L$~时，需要对参数~$\mathbf{x}$~进行正向模拟~$F(\cdot)$，若按原始正向模型计算将迅速增加计算成本。

虽然贝叶斯定理提供了计算后验概率密度函数的理论基础，但后续不易进行分析和推导，一般使用采样算法逼近后验概率密度函数并绘制样本近似解决问题。接下来介绍重要性采样算法，它通过调整样本点权重实现对目标函数的逼近。

\section{重要性采样}

\s0

\par

剩余内容已隐藏，请支付后下载全文，论文总字数：28425字