增强现实三维模型的实时获取

论文总字数：22738字

摘 要

本文使用Kinect传感器以及开源的增强现实平台，实现了增强现实三位模型的实时获取。

许多增强现实问题可以归结为追踪注册技术方面的问题，而基于标识的追踪注册技术是其中的一种。本文介绍了一种基于标识的计算机视觉框架，该框架可以通过快速的保边滤波器来使得标识成本平滑，从而使得标识转换可以和输入图像的彩色边缘对齐。

常用的开源的增强现实开发包Vuforia,ARToolKit等。获取实时的三维模型需要用到一般彩色摄像头，三维图像的景深数据以及景深图像需要使用Kinect景深摄像头。在可行性分析之后，发现ARToolkit开发包可以与Kinect传感器带有的彩色摄像头和景深摄像头合作。因此选择将Kinect的彩色摄像头和ARToolKit配合实现彩色区域的增强现实效果，用openGL渲染获取实时三维模型的景深，这个景深与Kinect的景深摄像头相互配合，完成景深部分的增强现实。

最终，同时在彩色图像和景深图像中，实现对指定模型的信息采集，追踪三维模型的运动轨迹并持续记录轨迹。既实现三维图像的实时获取，又体现出对获取三维图像的景深数据应用。

关键词：增强现实，追踪注册技术，标识，框架，Kinect，实时获取，景深

Capturing 3D Model in Augmented Reality in Real Time

Abstract

In this thesis, we use Kinect sensor and open source platform for augmented reality (AR) to make capturing 3D model in augmented reality in real time come true.

Many augmented reality tasks can be formulated as tracking registration technology problems. One of this technology is based on label. In this paper, we introduce a computer vision framework based on label. This framework can smooth the label with a very fast edge preserving filter, where label transitions are aligned with color edges of the input image.

Common open source software development kit (SDK) for augmented reality includes Vuforia, ARToolkit, and so on. We usually use RGB camera to achieve real time 3D model and use Kinect depth camera to achieve the data of depth in real image and depth image. After analyzing feasibility, we find it is possible to combine ARToolkit SDK with Kinect RGB camera and depth camera. Therefore, we choose ARToolkit and Kinect RGB camera to realize AR in color image. Then, openGL can render and achieve the data of depth in 3D model in real time. The depth cooperates with Kinect depth camera and complete AR in depth image.

Finally, we collect the information of target model, follow its path of particle and track the path continuously both in color image and depth image. This both achieves the 3D model in real time and reflects the application of the depth data we get of the 3D model.

KEY WORDS: augmented reality, tracking registration technology, label, framework, Kinect, achieve in real time, depth

目 录

摘要2

Abstract3

第一章 绪论6

1.1 前言6

1.2 增强现实技术研究现状6

1.3 常用的开源增强现实软件开发工具包和平台7

1.4 本文的研究目的和主要研究内容7

第二章 增强现实技术概述8

2.1 增强现实技术组成部分8

2.1.1 场景生成器8

2.1.2 追踪系统8

2.1.3 显示器8

2.2 基于标识的计算机视觉框架8

2.2.1 本量滤波8

2.2.2 立体匹配10

2.2.3 光流法11

2.2.4 交互式图像分割11

第三章 增强现实软件开发工具包ARToolkit13

3.1 ARToolkit介绍13

3.2 ARToolkit主要特性13

3.3 ARToolkit虚实结合13

3.3.1 OpenGL概述13

3.3.2 OpenGL基本原理14

3.3.3 基础的OpenGL操作14

第四章 系统设计与实现16

4.1 系统总体设计16

4.1.1 系统运行环境16

4.1.2 系统软件环境16

4.2 三维模型的实时获取和三维模型景深数据的测量16

4.2.1 彩色影像数据流16

4.2.2 景深影像数据流17

4.3 基于手部识别实现轨迹追踪20

第五章 总结与展望23

5.1 总结23

5.2 展望23

参考文献（Reference）24

致谢25

1. 绪论

1.1 前言

三维模型通常可以用计算机或者其他视频设备进行显示，显示的物体既可以是现实中的物体也可以是虚拟的物体。随着三维模型建模方法的逐渐丰富和图形硬件技术的逐渐进步，三维模型作为一种较为直观的手段，可以展示现实中的场景，广泛应用于建筑、商业、医疗、娱乐、分子生物学、军事、工业制造业、模拟动画等各个领域。但是，在当下的绝大部分情况下，三维场景只是由三维模型的组合衔接构成，全部在电脑的虚拟情境下实现，使用者也只能和虚拟的环境进行交互。如何在现实世界融入三维场景，并且实现使用者与三维场景以及现实之间的交互，是当今研究的主要课题。

增强现实技术（Augmented Reality，简称AR），它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间和空间范围内不容易体验到的实时的信息，通过电脑、传感器等科学技术，模拟仿真后再叠加,从而实现超越现实的感官体验。虚拟的物体和真实的环境实时的叠加到了同一个空间或画面同时存在。计算机视觉技术和计算机图形学（2D/3D）技术结合得到了增强现实技术。它包含两个处理过程：1、识别真实世界中的对象或者场景；2、展示虚拟添加上去的额外信息，例如简单的文本，2D/3D物体，动画模型，可触发点击的对象等等。

剩余内容已隐藏，请支付后下载全文，论文总字数：22738字