论文总字数：34053字

摘 要

针对室内环境下的服务机器人，传统的SLAM方法使机器人能够获取当前的地图信息和位置信息，但仍需要结合语义信息来使机器人更好地理解其周围的环境。本文面向室内服务机器人，研究了场景识别和三维地图构建功能，并在SLAM中引入语义信息，设计开发了基于场景识别的机器人语义建图系统，该系统能通过RGB-D摄像头的图像输入，建立环境的三维语义地图。

针对机器人运动中的场景区域类型识别，本文研究了基于Places205 ConvNet卷积神经网络的场景图像识别分类技术，训练了针对实验室-走廊环境的神经网络模型，将该神经网络在自建数据集上进行了测试和对比。

针对基于视觉传感器的三维SLAM，使用ORB算子的图像特征提取算法完成特征的匹配与图像的跟踪，通过RANSAC算法来得到相机的精确位姿，并提出了关键帧的选取方法。在建立环境地图后，采用基于词袋模型的回环检测方法来解决机器人的位置估计随时间漂移的问题。最后，使用局部BA优化来解决重投影误差，对关键帧位姿进行优化。

在将语义信息和三维地图构建结合时，利用关键帧的共视关系来优化关键帧的语义信息，同时提出了使用投票的方法来确定地图点的区域类别。实验验证了本文方法优于目前已有的基于place205网络的方法，达到了更为准确和连续的空间区域类别渲染效果。

关键词：场景识别、语义建图、SLAM、移动机器人

Abstract

For the service robot in the indoor environment, the traditional SLAM method enables the robot to obtain the current map information and location information, but still needs to combine the semantic information to make the robot better understand the surrounding environment. This paper is oriented to indoor service robots, and studies the scene recognition and 3D map construction functions, and introduces semantic information in SLAM. The robot semantic mapping system based on scene recognition is designed and developed. A three-dimensional semantic map of the environment can be established by image input of RGB-D camera in the system.

Aiming at the scene region type recognition in robot motion, this paper studies the scene image recognition and classification technology based on Place205 ConvNet convolutional neural network, and trains the neural network model for the laboratory-corridor environment. The neural network is tested and compared on the self-built data set.

For the three-dimensional SLAM based on vision sensor, the image feature extraction algorithm of ORB operator is used to complete the feature matching and image tracking. The RANSAC algorithm is used to obtain the precise pose of the camera, and the key frame selection method is proposed. After the environment map is established, the loopback detection method based on the bag of words model is used to solve the problem that the position estimation of the robot drifts with time. Finally, local BA optimization is used to solve the reprojection error and optimize the keyframe pose.

When the semantic information and the three-dimensional map construction are combined, the co-visibility relationship of the key frames is used to optimize the semantic information of the key frames, and the voting method is used to determine the regional categories of the map points. The experiment verifies that the proposed method is superior to the existing method based on place205 network, and achieves a more accurate and continuous spatial region category rendering effect.

Keyword: place recognition; semantic mapping; SLAM; mobile robot

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 课题研究背景和意义 1

1.2 国内外研究现状 1

1.2.1 语义场景识别研究现状 2

1.2.2 视觉传感器下机器人定位与地图构建研究现状 2

1.2.3 语义地图建图研究现状 3

1.3 存在的问题及难点 3

1.4 论文结构安排 4

第二章 系统需求分析与总体设计 5

2.1 系统需求分析 5

2.2 系统总体框架设计 5

2.3 硬件平台搭建 6

2.4 软件平台资源 7

2.5 本章小结 8

第三章 基于RGB-D传感器建立三维地图 9

3.1 视觉传感器下的建图流程 9

3.1.1 RGB-D摄像头构建三维地图流程 9

3.1.2 三维地图中的关键帧和地图点 9

3.2 传感器的信息获取及预处理 9

3.2.1 特征提取及匹配 10

3.2.2 特征点的生成 12

3.3 局部地图跟踪 12

3.4 回环检测 14

3.5 三维地图构建 15

3.6 本章小结 16

第四章 面向视觉SLAM的场景识别 17

4.1 基于Places205网络的场景分类 17

4.1.1 Places205网络简介 17

4.1.2 场景分类器的设计 17

4.2 自建数据集下的场景分类器 19

4.2.1 样本的选取与图像预处理 19

4.2.2 深度学习模型训练 23

4.2.3 模型的预测与测试 24

4.3 本章小结 24

第五章 语义图的建立和优化 25

5.1 语义图的建立 25

5.1.1 关键帧的语义 25

5.1.2 地图点的语义 26

5.2 语义图的渲染与展示 27

5.3 语义图的保存 28

5.3.1 地图点的保存和加载 29

5.3.2 关键帧的保存和加载 29

5.3.3 生长树和共视关系的保存和加载 30

5.4 语义图的投影 31

5.5 本章小结 31

第六章 服务机器人室内语义建图系统验证 32

6.1 场景识别功能验证 32

6.2 建图与定位实验 33

6.3 语义建图系统验证 33

第七章 总结与展望 37

7.1 总结 37

7.2 展望 37

参考文献 38

致谢 40

绪论

课题研究背景和意义

随着社会的进步和科技的发展，服务机器人越来越多地进入人们的工作和生活。室内环境下的服务机器人需要完成很多任务，这些任务例如抓取、搜寻，必须明确工作空间的环境表达方法，对机器人周围的环境具有理解。创建具有语义信息的三维地图能够为其提供更为丰富、准确的环境信息。提供的语义位置信息可以促进机器人目标检测和识别的性能，同时，也能在室内导航场景中更好地调节机器人的行为。

剩余内容已隐藏，请支付后下载全文，论文总字数：34053字