基于图像对准方法的摄像头跟踪技术实现

论文总字数：29796字

摘 要

基于图像对准的摄像机跟踪通过两幅图像间对应点的匹配关系建立约束，进而计算摄像机在三维空间的位姿信息，广泛应用于机器人导航、三维重建等系统，是计算机视觉的重要研究方向之一。

视觉摄像机跟踪技术可分为基于图像特征和基于图像像素的两类方法，本文首先介绍了多视图几何基本概念，分析了两类摄像机跟踪的关键算法：八点算法、光束平差法和Lukas-Kanada算法等，并梳理了相应的算法流程。在上述研究的基础上，本文利用图像中的像素信息，将2D图像与3D体模型进行对准，实现了基于2.5D稠密图像对准的摄像机跟踪算法，实验结果显示能够完成中小场景下的摄像机位姿估计，具有一定的精度和鲁棒性，可解决三维重建等系统中的摄像机定位问题。本文还将该算法与基于图像对准的摄像机跟踪算法进行比较，分析了算法的优势、不足和改进的方向。

关键词：图像对准，摄像机跟踪，三维重建，图像处理，SLAM

RESEARCH ON CAMERA TRAC KING BASED ON IMAGE ALIGNMENT

Abstract

Camera tracking based on image alignment is refer to obtain the camera pose in unknown environment with the correspondence of matching points in two images, which is widely used in 3D reconstruction, robotics and other fields, becoming one of the most popular directions in computer vision.

Vision-based camera tracking methods can be divided into two categories: feature-based and pixels-based. We firstly introduce the fundamental concepts in multiple view geometry, then demonstrate some key algorithms in these two methods such as 8 points algorithm, bundle adjustment and Lukas-Kanada algorithm and also present corresponding system process. With the alignment between 2D image and 3D model using pixie information, we build a camera location system based on 2.5D dense image alignment. This method can be used to track a camera in small workspace with certain precision and robustness and solve problem of camera localization in 3D reconstruction. We also compare our method with tracking algorithm based on image alignment and analysis the advantages, disadvantages and some directions for improvement.

KEY WORDS: Image Alignment, Camera Tracking, 3D Reconstruction, Image Processing, SLAM

目 录

摘要 I

Abstract I

第一章 绪论 1

1.1 引言 1

1.2 摄像机定位研究现状 1

1.3 课题实现方案选择 2

第二章 多视图几何 3

2.1 图像空间变换 3

2.2 针孔摄像机 4

2.3 对极几何 5

第三章 摄像机跟踪技术介绍 8

3.1 基于特征匹配的摄像机跟踪方法 8

3.1.1 特征描述子 8

3.1.2 八点算法 8

3.1.3 光束平差法 10

3.2 基于直接图像对准的摄像机跟踪方法 11

3.2.1 Lukas-Kanada算法 11

3.2.2 基于直接图像对准的摄像机跟踪算法 12

第四章 基于2.5D图像对准的摄像机跟踪算法实现 13

4.1 InfiniTAM系统框架介绍 13

4.2 摄像机跟踪模块介绍 14

4.3 算法流程介绍 15

4.3.1 图像金字塔 15

4.3.2 初始位姿估计 16

4.3.3 6DOF位姿估计 17

4.3.4 权重设计 17

第五章 实验分析 19

5.1 TUM数据集介绍 19

5.2 实验测试 19

5.3 分析与结论 20

第六章 结论与展望 22

6.1论文总结 22

6.2 展望 22

致谢 23

参考文献(References) 24

第一章 绪 论

1.1 引言

近几年来基于视觉的三维重建方法迅速发展，并逐渐成为计算机视觉领域研究的热点和重点之一，三维重建技术被广泛应用于增强现实，机器人导航，3D打印等各个领域。

三维重建技术是指捕捉和重建现实生活中物体形状的过程，主要分为主动方式和被动方式两种，其中主动方式与被测物体间有机械或辐射形式的交互，如激光扫描仪就是通过发射激光到物体表面上一点，通过比较发送和接收信号的延迟来测出距离，由此来估测物体的尺寸和形状；而被动方式则是通过传感器来感知物体表面发射（反射）的光来实现三维重建，例如立体光学法，立体视觉法。

三维重建技术的实现，需要解决的一个重要问题即是摄像头跟踪，在获取相机位姿的基础上才能进行立体视觉等方法进行重建，且摄像机跟踪的速度和精度又会直接影响到三维重建的效果。

目前用于SLAM、三维重建等系统的摄像机定位算法多为基于图像特征的稀疏算法。尽管特征提取算法速度较快且具有一定的鲁棒性，但因为其稀疏特性，最终的重建结果也是稀疏的三维点云，不能满足三维重建、3D打印等应用的需求。

利用直接图像对准的稠密跟踪技术因为要对所有的像素点进行对准，计算复杂且耗时较大，难以实现实时的定位，但随着移动设备中CPU、GPU计算性能的快速发展，稠密算法也开始被应用于实时系统，稠密算法避免了特征算法特征点丢失而导致跟踪失败的问题，且可以建立具有连续表面的稠密体模型，具有更广阔的使用空间。

本课题主要研究实现的是稠密的跟踪算法，该研究将解决稠密三维重建的相机追踪问题，更好地满足用户随时随地建立、编辑分享三维模型的需求，对未来增强现实、人机交互、3D打印也有着重要的应用价值。

剩余内容已隐藏，请支付后下载全文，论文总字数：29796字