遥操作中的HMD混合现实界面设计

论文总字数：33859字

摘 要

Abstract I

第一章 引言 2

1.1 研究背景 1

1.2 研究现状 2

1.2.1 基于HMD的立体视觉 2

1.2.2 遥操作相关HMD研究 2

1.2.3 AR/VR基础的操控站 2

1.2.4 研究难点 3

1.3 使用设备 3

1.4 研究意义 5

1.5 论文结构 5

第二章 wifi无线视频信号传输 7

2.1 wifi无线视频传输的功能 8

2.1.1创建局域网 8

2.1.2连入公共网络 8

2.2 wifi无线传输技术思路 9

2.2.1无线信号生成 10

2.2.2无线信号初步处理 10

2.2.3无线信号导入 10

2.3 使用wifi无线传输的难点 11

2.3.1视频信号缓存 11

2.3.2视频信号延迟 11

2.3.3视频信号失真 11

2.3.4网络波动 12

2.4 完成wifi传输使用的方法 12

2.5 操作流程 12

2.5.1 SDK开发和rtsp信号地址 12

2.5.2 视频获取与UMP Sample结合使用 13

2.6 无线传输评估 17

第三章 OpenCv图像识别 18

3.1 OpenCv图像识别 19

3.2使用OpenCV图像识别技术思路 20

3.3使用OpenCV图像识别技术的难点 21

3.3.1 人脸识别训练集的构建 21

3.3.2 轮廓识别局限性 21

3.3.3 HOG行人识别对应视频流格式的算法 22

3.4图像传输解决方案 22

3.4.1 训练集生成 22

3.4.2 轮廓识别函数优化 22

3.4.3 HOG算法获取 22

3.5 图像识别的代码编写 22

3.5.1 脸部识别代码 23

3.5.2 轮廓识别代码 24

3.5.3 HOG行人识别函数 26

3.6 图像识别评估 28

第四章 UI关联显示 30

4.1 UI显示的功能 30

4.2 UI布局思路 30

4.2.1 常驻UI 30

4.2.2 关联UI 31

4.3 UI图形设计理念 32

第五章 遥操控功能的实现 32

5.1 遥操控功能 33

5.2 遥操控的技术思路 33

5.3 遥操作的实现过程 33

5.3.1 网络环境配置 34

5.3.2 硬件环境配置 34

5.3.3 程序编写 34

5.4 蓝牙技术方案 34

第六章 总结与展望 35

6.1 研究总结 36

6.2 软件创新点 36

6.3 软件后期展望 36

…………………

参考文献（Reference） 37

致 谢 40

摘 要

遥操控技术让机器人能够应用于更多样的环境中。将头戴式显示设备（HMD）应用在机器人遥操控中能提升遥操控中操作员的沉浸感，为操作员带来更好的操作体验和操作精度。在HMD中使用AR与VR的技术能最大限度地发挥HMD的沉浸感优势。

增强现实通过将虚拟的物件与信息叠加到现实场景中让两者共同显示而让人与环境的交互变得更加便利，该技术也因此在娱乐、医疗、军事等领域有所运用。与此同时，增强现实技术也引入了多种虚拟现实技术的功能，如虚拟环境构建等，从而让两种技术的协同开发具备可行性。

本课题的主要目的为运用虚拟现实技术补充增强现实技术上的一些局限领域。通过VR来处理机器人摄像头wifi无线传输的视频信息来模拟AR的现实效果，达到让AR技术能应用于机器人遥操控中的目的。

技术上实现了通过Unity3D无线获取视频信号并用图像处理插件进行画面处理再集成到Htc Vive设备中，达到了在视频信号中附加虚拟信息和物件的目的。本研究具备了获取信号源信号加以处理，显示处理完毕的虚拟信息以及通过控制器遥操控机器人移动三个功能。在技术上实现以头戴式显示器为信息展示的沉浸式遥操作混合现实信息呈现系统，为今后遥操作机器人的开发提供显控模块的研究参考。

关键词：增强现实，虚拟现实, Unity3D，OpenCV，遥操控，无线信号传输

ABSTRACT

Augmented reality technology makes virtual reality technology have more diverse applications in real life environment. Augmented reality makes the interaction between people and the environment more convenient by superimposing virtual objects and information into the real scene so that they can be displayed together. This technology is also used in entertainment, medical treatment, military and other fields. At the same time, augmented reality technology has also introduced a variety of virtual reality technology functions, such as virtual environment construction, so that the collaborative development of the two technologies is feasible.

The main purpose of this project is to use virtual reality technology to supplement some limitations of augmented reality technology. The real effect of AR is simulated by VR to process the video information transmitted by WiFi wireless camera of robot, so that AR technology can be applied to the remote control of robot.

The technology realizes the wireless acquisition of video signal through Unity3D and the integration of image processing plug-in into Htc Vive device. It achieves the purpose of adding virtual information and objects to video signal. The finished software has three functions: acquiring customized signal source for processing, displaying virtual information after processing, and remotely controlling robot movement through controller. The program contains many open code parameters for further development and customization of software.

KEY WORDS:Augmented reality，virtual reality， Unity3D，OpenCV，Teleoperation，

剩余内容已隐藏，请支付后下载全文，论文总字数：33859字