论文总字数：22462字

摘 要

随着虚拟现实技术近年在医学、军事航天、教育培训、生物力学、游戏娱乐等多个领域的迅速发展，虚拟现实交互在人们的工作生活中的地位逐渐提高。虚拟现实系统有三个基本特征：交互性、沉浸感和构想性，其中交互性指的是用户能够通过交互设备以自然便捷的方式和计算机中生成的对象交互，形成人机双向感知的和谐交互环境。本课题为了增强虚拟现实系统的交互性，采用通过捕捉用户手臂肌肉的生物电变化即表面肌电图（EMG）来进行体感控制的MYO臂环进行手势识别，臂环同时也拥有陀螺仪及加速度计来进行手臂动作跟踪，收集到的数据通过蓝牙发送给上位机，控制在Unity3D平台中搭建的虚拟环境中的虚拟手完成设定的训练任务，同时将虚拟环境中的交互信息，通过外骨架式力触觉反馈装置传达给用户，从而增加虚拟现实交互系统的真实感与沉浸感。

结果表明，基于MYO臂环和外骨架式力触觉反馈装置的虚拟现实交互系统可以完成交互任务，相比其他手势识别的传感方式，MYO臂环对使用者手臂的影响更小，响应速度更快，并且可以使用于部分手部残障人士。

关键词：虚拟现实，表面肌电图，MYO臂环，力触觉反馈

Abstract

With the rapid development of virtual reality technology in the medical, military, aerospace, education, biomechanics, games, entertainment and many other fields in recent years. Virtual reality interaction plays a increasingly role in people’s work and life. Virtual reality has three basic characteristics: interactivity, immersion and imagination. The interactivity refers to a harmonious interactive environment in which users can interact with the objects generated in the computer in a natural and convenient way through the interactive devices, thus forming a harmonious interactive environment of human-computer two-way perception.

In order to strengthen the interactivity of virtual reality system, myo armband which is able to capture the bioelectricity change of the user’s arm muscles by its electromyography (EMG) sensors and track the movement of arm by a gyroscope and an accelerometer inside is used to recognize hand gestures and arm’s movement. The collected data is sent to the PC via Bluetooth to control the virtual hand in virtual environment to complete training tasks. At the same time, the information of interaction is transferred to users through the skeleton tactile force feedback device, thus increasing the sense of reality and immersion of whole system. Results show that the whole system is able to complete interactive tasks, compared to other method of gesture recognition, myo armband limits the user’s arm less, responds faster.

KEY WORDS: virtual reality, electromyography, myo armband, tactile force feedback

目录

摘要 I

Abstract II

第一章 绪论 1

1.1 引言 1

1.2 虚拟现实交互国内外研究现状 2

1.2.1 MYO臂环研究现状 2

1.2.2 力触觉反馈装置研究现状 3

1.3 本章小结 4

第二章 可穿戴触觉交互分类 5

2.1 触觉交互的类型 5

2.1.1 接触和压力显示 5

2.1.2 曲率显示 5

2.1.3 振动，纹理和材质 5

2.1.4 柔软度 5

2.1.5 抚摸 6

2.1.6 摩擦力显示 6

2.1.7 凹槽 6

2.1.8 按钮 6

2.1.9 本体感受 6

2.1.10 表面几何 7

2.2 机械性能 7

2.2.1 自由度 7

2.2.2 工作区域 7

2.2.3 峰值力 7

2.2.4 惯性和摩擦 8

2.2.5 精度和分辨率 8

2.2.6 带宽 8

第三章 系统架构 9

3.1 硬件系统 9

3.1.1 输入设备 9

3.1.2 力触觉输出设备 13

3.2 虚拟环境的搭建 15

3.3 碰撞检测算法 19

3.4 流程设计 20

第四章 实测分析 22

第五章 总结与展望 24

致 谢 25

参考文献 26

绪论

引言

虚拟现实（VirtualReality，简称VR）技术是一种综合了包括多媒体技术、计算机图形技术、网络技术、人机交互技术、仿真技术以及立体显示技术等多种科学技术的计算机最新技术^[1]。这种技术的特点就是用模仿的方式给用户创造一种虚拟的环境，通过感知行为如视觉、听觉和触觉等感官让用户与虚拟环境交互从而产生身临其境的感觉。该技术可以应用于医学、军事航天、教育培训、生物力学、游戏娱乐等多个领域，具有广泛的应用范围和极具潜力的应用前景。

虚拟现实系统有三个基本特征：交互性、沉浸感和构想性，其中交互性指的是用户能够通过交互设备以自然便捷的方式和计算机中生成的对象交互，形成人机双向感知的和谐交互环境^[2]。因此自然便捷的人机交互是每一个虚拟现实系统的重中之重。最理想的人机交互是不依靠机器语言，在不使用键盘鼠标以及触摸屏等中间设备的条件下，也能完成人机自由的交流，虽然现在的技术水平还达不到这个理想情况，但不少公司、企业和研究中心已经研发生产了不少分别使用动作捕捉、眼球追踪、数据手套、手势追踪等技术的新型交互输入设备，但大多数手势控制系统仍然使用相机来检测运动，由于光线条件，距离因素和一些障碍物的缘故，其对运动的检测可能出现错误。加拿大创业公司Thalmic Labs推出的创新型交互设备MYO腕带则绕过了这些问题，并没有配备摄像设备，而是通过捕捉用户手臂肌肉的生物电变化来进行体感控制。MYO使用的sEMG（表面肌电图）技术是一种用于评估和记录人体骨骼肌电活动的电子诊断技术，EMG检测那些肌肉在细胞受到电或神经刺激时产生的电势，对其进行分析可以检测到医学异常、激活水平等或者分析人体运动的生物力学。当使用者在前臂上带上MYO并执行不同的手势时，前臂上的肌肉会发射出各不相同的变形电信号，MYO内置的高敏传感器捕捉到这些信号，并通过嵌入式算法进行处理，进而识别出不同的手势，通过蓝牙将手势指令发送到主机^[3]。目前MYO可以通过模式识别的方法识别出近二十种手势。

Unity 3D是 Unity Technologies开发的一个让用户轻松创建诸如三维视频游戏、可视化建筑、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业引擎。它不仅可以提供3D物体、动画的实时渲染，相对其他引擎有着更易编译脚本，对各种平台优越的兼容性等优势，同时其也因其直观的应用界面广受欢迎^[4]。与其他游戏引擎比如虚幻（Unreal）相比较，Unity在交互性和可视性上略胜一筹。在2015年3月举办的游戏开发者大会上，Unity5正式被公开。Unity5继续保持专业版和个人版的区别，但新的个人版提供以前专业版限定的高级功能。Unity5能在全球获得广泛好评，主要有以下几点原因：

剩余内容已隐藏，请支付后下载全文，论文总字数：22462字