基于自然特征点的增强现实跟踪注册技术研究

论文总字数：31372字

目 录

摘要：

Abstract.

1、绪论

1.1研究目的和意义

1.2国内外研究现状

1.3主要开发工具介绍

1.3.1 OencCV

1.3.2 OpenGL

1.3.3 VS2010

1.4 本文主要工作

2、增强现实系统中跟踪注册的关键技术

2.1 概述

2.1.1三维跟踪注册技术

2.1.2 实现特征点提取匹配的算法

2.2 SIFT算法

2.2.1极值搜索

2.2.2精确定位关键点

2.2.3选取关键点的主方向

2.2.4构造关键点描述

2.2.5 SIFT关键点的匹配

2.2.6基于SIFT特征的摄像机的标定和位姿估计

2.3 利用RANSAC算法消除错误的匹配点

3、实现方案

3.1设计目标和应用流程图

3.2环境配置

3.2.1 配置环境变量

3.2.2配置包含目录文件

3.2.3.配置库目录文件

3.2.4. 配置附加依赖项的库文件

3.2.5在VS2010下配置OpenGL

3.3 调用SIFT算法和RANSAC算法

3.3.1 SIFT算法实现特征点的提取和匹配

3.3.2 利用RANSAC算法对SIFT特征点进行提纯

3.4 三维注册的计算机视觉理论

3.4.1摄像头成像模型

3.4.2增强现实中的坐标系及其转换

3.5摄像头的标定

3.5.1摄像头内部参数的标定

3.5.2摄像机外部参数的获取

3.6单应性矩阵

3.7 从OpenCV到OpenGL

3.7.1 转换内部参数矩阵K

3.7.2 转换外部参数矩阵[R|T]

4 运行结果和分析

5.总结和展望 29

参考文献 30

致谢 31

附录

基于自然特征点的增强现实跟踪注册技术研究

李剑南

Abstract：Augmented reality technology is a kind of technology that can combine the real scene with the virtual computer information.Nowadays，the augmented reality technology based on natural features points has excellent performance in various fields with its better environmental adaptability and practicability.In this paper, we study an application on tracking and registration for augmented reality based on natural feature points.It uses OpenCV to call the SIFT algorithm and track the image feature points ,and then uses OpenGL to draw graphics and loads it into the target image,taking VS2010 as as the operating platform.

Key words: augmented reality; tracking registration; OpenCV;OpenGL

1、绪论

1.1研究目的和意义

虚拟现实是指能够利用计算机创造出一种虚拟的环境的系统，它能实现人与计算机间的自然交互，它也因此发展迅速并成为了计算机领域的热门研究题目。增强现实技术则是其中一种用于将真实环境中的信息和虚拟世界中的信息进行高同步率集成的新技术，能够将在原本的现实世界中难以被人所察觉到的信息（包括视觉，听觉，味觉，触觉等),通过现有的科学技术予以仿真，并叠加到现实世界的物体上对其进行增强或者信息的扩充。

在增强现实系统中，最为关键的是跟踪注册技术。将真实场景中的物体与虚拟物体的信息进行匹配以保持二者的相对位置不变，这个过程称之为注册。而在注册的过程中，AR系统能实时地从真实场景中获取现实空间的数据，并根据观察者的位置和视线角度等信息进行坐标系的转换以及将虚拟信息叠加到正确位置，这个过程称之为跟踪。跟踪注册技术又分为基于标识和基于自然特征两种，在增强现实技术的发展史中，基于标识的方法以其运算速度快，对环境和硬件的要求不高等特点得到了极大的应用，但是在越来越多的情况下是无法或者难以安放人工的标识。因此目前增强现实技术正在慢慢脱离人工标识而转向基于自然特征的增强现实应用发展，后者依赖它的实用性和灵活性在各个领域获得了广泛的应用，也成为了未来增强现实技术方面的热门研究课题。

本文所研究的是基于自然特征的跟踪注册，是将虚拟物体与真实场景中图像进行精确的匹配，这样所实现的虚实融合能为用户带来极度逼真的虚拟体验，因此它对增强现实技术中的交互感和用户体验有着重要的意义。

1.2国内外研究现状

增强现实技术的研究开始于20世纪90年代初，发展至今已经成为了集计算机视觉、图像处理、传感器技术、物体识别等学科的综合性技术。

增强现实技术具有的实时交互性能够调动用户自身的主动想法，并能够结合现实世界和虚拟世界中信息在一起营造让用户感受到极高真实度的虚拟环境。利用这个特点，在娱乐方面，MIT多媒体实验室开发了一种第六感装置能够在手势识别和人脸识别等先进技术的帮助下叠加虚拟物体到真实场景中。

在机器人远程操控方面，工程师能够将在远处的机器人工作的情况实时地传送到工程师所在的操作端，然后仿真模型可以叠加到机器人工作的画面上，工程师可以对比分析出机器人工作时产生的误差并发送命令来实现即时的纠正。

MineCraft即“我的世界”是一款风靡全球的沙盒游戏，游戏开发商Mojang和13th Lab合作，在原作的基础上，推出了另一种可以提取玩家在游戏做出来的的模型，然后使用应用程序内置的摄像头捕捉真实场景，使用户能够将游戏中的模型和真实场景进行虚实结合的产品——MineCraft Reality，该应用的实现步骤是一个完整的增强现实流程。在目前很多依靠3D建模技术完成的工作中，我们可以将其中很大一部分的工作量交给增强现实中对现实场景的跟踪注册，来增强效果的逼真度。

图1.1 MineCraft Reality

微软公司和美国西储大学医学部合作研发出利用名为HoloLens的全息眼镜给学生上医学解剖课，它能在学生的眼前呈现出人体的医学模型让学生对解剖学和人体生理学有更加直观形象的理解，这是一般的书本课程难以达到的教学效果。

图1.2 HolLens中的人体心脏模型

3Dequalizer是一款为摄像机的三维跟踪设计的软件，通过精确的计算得到摄像机的运动轨迹，用户能够完成所需要的虚实结合。目前，该软件得到了许多后期制作公司的青睐，在电影、广告和游戏等CG制作中有着广泛的应用。

图1.3 3Dequalizer在电影《2012》中应用

在我国，增强现实技术是目前研究的新方向，但是起步较晚，涉及领域不够广是目前存在的问题。目前我国在“十一五”期间的“863计划”中设立了虚拟现实专题，此举促进了国内增强现实技术方面的发展，同时在该领域也不断有新的突破。北京理工大学在虚实注册方面做了很多分析，通过户外增强现实系统完成了对圆明园古迹的数字重建。华中科技大学利用ARToolkit软件库调用虚实注册算法并研发出了一种样板房展示系统分别为用户和商家节省了时间和成本。浙江大学研究出了一种面向大尺度运动结构重建的非连续特征的自动跟踪方法，提高了特征点的工作寿命，降低了特征点匹配时运算所花的时间，明显地增加了运动结构重建的精度。华中科技大学提出并设计了一种基于视觉的能够将图像的单应性矩阵和角点进行结合的三维跟踪注册方法。

随着增强现实技术的日趋成熟，目前基于标识的增强现实因为会受到现实环境变化的影响而具有一定的局限性，所以基于自然特征的增强现实应用由于具有更好的环境适应能力而成为了近年来增强现实领域的研究热点。

1.3主要开发工具介绍

1.3.1 OencCV

OpenCV是一个计算机视觉库，主要用来实现图像的处理、对象的构造和运动分析等，它可以在多种电脑系统中运用，主要是用C 语言来编写程序，同时也支持其他语言。这个计算机视觉库包含了多样化的算法功能，能简单高效地完成预期目标。这款工具在移动端和PC端都得到很大的开发，而本文主要是需要使用VS2010的操作平台来调用OpenCV库中的函数在PC端实现对于捕捉到的目标图像的跟踪注册的功能。

1.3.2 OpenGL

OpenGL是一款非常出色的工具，它是一个功能丰富、使用方便的图形库，在同类软件中得到较高的评价，优秀的编程人员围绕这款工具开发了上千种应用程序，这款工具其实是一个软件接口，可以在多种平台进行移植，同时它还有很多的功能，可以建立复杂的三维图形，可以描绘曲线函数，可以给图形设置各式各样的颜色，甚至可以让图形以动态的形式呈现在屏幕上等等，本文所做的是使用这款工具设计一个多彩的立体图形叠加在目标图像上。

1.3.3 VS2010

Visual Studio 2010是一款目前使用最广泛的程序开发环境，它具备比前一代更多的功能和更快的编译速度，同时它和其它的操作系统以及程序应用有着完善的配合。因此VS2010以其强大的功能和友好的界面被视为与VC6.0地位一样的重要版本。本文中在作为操作平台的VS2010上进行相应程序的编译以及运行。

本文使用的OpenCV2.47和OpenGL以及VS2010都是较为成熟的软件开发库，这样能够提高系统开发的效率，同时也方便实现更多的功能。

1.4 本文主要工作

本文内容安排如下：

剩余内容已隐藏，请支付后下载全文，论文总字数：31372字

相关图片展示：