论文总字数：35975字

摘 要

随着智能服务机器人向各应用场景渗透，机器人面临的环境越来越复杂，对机器人的感知和决策能力提出了更高的要求。RGB-D相机作为一种新型的视觉传感器，能够同时提供高分辨率的彩色和深度图像，本文在此基础上研究并实现基于RGB-D信息的目标识别与跟踪算法，具体工作如下：

根据获取到的彩色图像和深度图像，分别在彩色图和深度图里识别、检测人体和头部，针对单独的检测器存在误检测的问题，提出RGB-D信息结合的多模态人体检测方法，使得检测结果有更高的准确度；为了在跟踪阶段有较高的实时性，本文采用KCF核化相关滤波方法进行目标跟踪，引入基于颜色直方图比较和模版匹配的跟踪结果判定机制，提高了跟踪的鲁棒性；在获得目标在图像中的位置后，利用相机标定获得相机参数矩阵，进行坐标变换获得跟踪目标在相机坐标系下的真实坐标。

本文以TurtleBot2机器人和KinectV2传感器为实验平台，在该平台上实现上述算法并搭建视觉跟随机器人系统，同时编写了Android上位机软件，实现友好的人机交互。大量的实验验证了本文方法的可行性和有效性。

关键词：跟随机器人，RGB-D信息，人体识别，目标跟踪

Abstract

With the application of intelligent service robots in various scenes, the environment for robots is becoming more and more challenging, and it has put forward higher requirements for perception and decision making. As a new type of visual sensor, RGB-D camera can provide high resolution color and depth images at the same time. Target recognition and tracking algorithm is studied and implemented in this paper based on RGB-D information. The specific work is as follows:

Based on the acquired color image and depth image, the human body and the head are respectively detected in the color image and the depth image. For the problem that individual detectors have misdetection, a multi-modal human body detection method combining RGB-D information is proposed, making the detection results have higher accuracy; in order to have a high real-time in the tracking phase, the KCF(Kernalized Correlation Filter) algorithm is used in this paper for object tracking. Meanwhile, the introduction of color-based histogram comparison and template matching between tracking results improves the robustness of the tracking algorithm; After obtaining the position of the target in the image, camera calibration is used to obtain the camera parameter matrix, and coordinate transformation is performed to obtain the real coordinate of the tracking target in the camera coordinate system.

TurtleBot2 robot and KinectV2 sensor are combined as the experimental platform in this paper. Algorithms described before are implemented and a visual-based following robot system are build on this platform. At the same time an Android application is build to realize the friendly human and computer interaction. The feasibility and effectiveness of the proposed method is verified with extensive results of experiment.

KEY WORDS: following robot, RGB-D, human detection, object tracking

目 录

摘 要 I

Abstract Ⅱ

第一章 绪论 1

1.1 课题背景及意义 1

1.2 研究现状概述 1

1.2.1 人体检测研究现状 1

1.2.2 目标跟踪研究现状 3

1.3 本文的主要工作 4

1.4 论文内容和结构 5

第二章 系统软硬件结构 6

2.1 ROS机器人操作系统 6

2.1.1 ROS简介 6

2.1.2 系统软件架构 8

2.2 KinectV2深度相机 10

2.2.1 常见深度相机对比 10

2.2.2 KinectV2在ROS下的数据获取 11

2.3 TurtleBot2机器人平台 12

2.4 Android上位机 12

第三章 基于RGB-D信息的动态目标识别与跟踪 15

3.1 人体检测 15

3.1.1 基于HOG特征和SVM分类器的身体检测 15

3.1.2 基于Harr特征和Adaboost级联分类器的头部检测 17

3.1.3 结合RGB-D信息的多模态人体检测 19

3.2 人体跟踪 19

3.2.1 KCF核化相关滤波器 19

3.2.2 跟踪结果的评判 20

第四章 实验 22

4.1 软件平台搭建 22

4.1.1 ROS和系统硬件驱动的安装 22

4.1.2 catkin编译系统 23

4.2 检测算法实现 24

4.2.1 人体检测算法实现 24

4.2.2 人头检测算法实现 26

4.2.3 头身信息融合 29

4.3 跟踪算法实现 30

4.3.1 鲁棒性实验 31

4.4 目标真实位置获取 34

4.5 底盘运动控制 35

第五章 总结与展望 36

5.1 总结 36

5.2 展望 37

致 谢 38

参考文献 39

绪论

课题背景及意义

近年来随着计算机视觉、SLAM等技术的发展成熟，尤其是人工智能的兴起，智能服务机器逐步向各应用场景渗透。据有关文献指出，世界范围内的服务机器人市场总量估计有29亿美元，这其中我国预计13.2亿美元^[1]。人们对服务器机人所能现实的功能需求越来越大，如交互和导航等。机器人面临的环境也越来越复杂，这就对机器人的感知和决策能力提出了更高的要求。RGB-D相机作为一种新型的视觉传感器，能够同时提供高分辨率的彩色和深度图像，相比双目相机节省了极大的计算量，由此可完成诸多任务，是一种非常出色的人机交互工具，一经开发便得到广泛关注，尤其是学术界的研究人员将其作为新型的机器人传感器。近年来相继有不少RGB-D传感器问世，比较著名的有华硕的Xtion系列和微软的Kinect系列。两款传感器的基础技术都来自一家以色列的PrimeSense公司。但随着PrimeSense公司被苹果收购，Xtion开发不再有社区支持，而微软则开发了基于不同原理（TOF）的第二代体感相机Kinect V2。

目标识别与跟踪算法应用广泛，如人脸检测检测识别，视频监控的行人检测和跟踪等等。在机器人领域，目标识别与跟踪算法一直是研究热点，尤其是人体的检测与跟踪，对于实现服务机器人与人友好的交互至关重要。目前大多数算法都是基于普通RGB摄像头获取的图像或视频，光照变化对算法的负面影响很难被消除，利用RGB-D相机可以同时获取到深度信息，不受光照强度影响，二者互补可以实现更加鲁棒的算法。

剩余内容已隐藏，请支付后下载全文，论文总字数：35975字