论文总字数：22685字

目 录

1.绪论 1

1.1研究目的和意义 1

1.2 国内外研究现状 1

1.3主要开发工具介绍 3

1.3.1 Microsoft Visual studio 3

1.3.2 OpenHaptics Toolkit 3

1.3.3 OpenGL 4

1.3.4 3D MAX 4

1.3.5 MATLAB 4

1.4研究内容 5

2.虚拟现实技术及触觉交互系统 6

2.1虚拟现实技术 6

2.2触觉交互系统 6

2.2.1力反馈技术 6

2.2.2 Geomagic Touch力反馈设备 7

2.2.3触觉交互系统的组成 7

3.系统设计 9

3.1设计目标 9

3.2系统流程图 9

3.3安装力触觉设备驱动 9

3.4创建工程 11

3.4.1设置Microsoft Visual Studio开发人员环境 11

3.4.2构建模型 14

3.4.3编写应用程序 14

3.5实验一——物体刚度对力的大小的影响 19

3.5.1实验原理 19

3.5.2实验内容 20

3.6 实验二——纹理感知实验 24

3.6.1实验对象 24

3.6.2实验内容 25

3.6.3实验结果及分析 26

4.总结与展望 27

参考文献 28

致谢 30

基于虚拟现实的力触觉交互技术研究

郭斌

,China

Abstract: The virtual reality force haptic interaction technology refers to a process in which an operator touches and perceives an object in a virtual environment through manipulating a force haptic device, and through these, the operator can expresses haptic sensation information. Firstly, this paper summarizes the research trends of human-computer interaction technology based on force and touch perception, and introduces the composition of the tactile interaction system and the force feedback device. In this paper, the force haptic rendering engine OpenHaptics is used to create a virtual environment, combining force sense and touch, to implement operations such as touching and moving on virtual objects with using the Geomagic Touch device. For the effect of the stiffness of the object on the force, a spring-mass model is used to calculate the feedback force. Based on the Geomagic Touch device, texture perception experiment is performed.

Key words:Virtual Reality;Tactile;Feedback;Texture perception

1.绪论

1.1研究目的和意义

虚拟现实（VirtualReality，VR）技术通过计算机，将计算机仿真技术与计算机图形学、人机接口技术、传感器技术、多媒体技术相结合，生成一种虚拟的情境，通过多种传感设备使用户“投入”到该情境中，实现用户与该情境直接进行自然交互。目前，虚拟现实的场景重建主要围绕人的视觉和听觉感官展开，缺乏更高维度上的信息反馈和交互。触觉反馈技术的发展，为虚拟对象与人之间的力学相互作用搭建了一座桥梁，有望成为虚拟现实应用发展的关键技术突破口^[1][2]。

触觉是人类获取环境信息以及与环境进行交互的重要手段，并且是人类与客观事物直接交互的唯一媒介。在人类的感知系统中，力触觉能够在人类和环境交互的过程中提供一种双向的信息交互渠道^[3][4]。触觉互动显著增强了我们在计算机和网络世界的体验。力触觉交互技术是一种新型的人机交互技术，将力触觉表达技术应用于虚拟现实领域，基于人在真实场景中的力触觉感知与操纵机理，通过硬件设备和软件系统，在虚拟场景中对人与周边环境以及物体的交互过程进行仿真，能够让操作者触摸、感知和操纵虚拟物体，实现对虚拟环境的主动探索^[5]，为人提供逼近真实的交互感受，拓展了传统的人机交互模式，进一步提高了人机交互的质量。传统的虚拟现实系统通常只包含视觉和听觉交互接口，引入力触觉交互，通过较高的可操作性强化了系统的性能，增强了交互性，使其更加愉悦，环境更具沉浸感^[6]，极大的推动了虚拟现实技术的发展。

基于虚拟现实的触觉交互技术，对医疗领域、3D 游戏、拓宽盲人的感知途径以及普及科学知识方面等具有重要意义。在医疗领域，随着虚拟现实技术的进步，医疗工作者可以利用虚拟环境里的人体器官模型实现操作。图像触觉感知的研究能为他们在虚拟的手术操作中获得和现实操作一般无二的感受提供了途径。本文对日后3D游戏真实性的开发提供借鉴指引。在普及科学知识方面，将触觉交互系统应用于科技馆，可通过知识性、科学性、趣味性相结合的形式，展现科学原理及技术应用，可以达到鼓励公众探索实践，进而激发科学兴趣的目的。本文的目的是帮助研究人员更好的钻研、开发和利用触觉交互技术。

1.2国内外研究现状

触觉技术方面的研究没有视听技术的研究丰富与成熟，但也积累了不少技术成果，并已逐步在实践中开展应用。虚拟现实的力触觉交互技术在许多领域都有重要的应用价值。早在1994年，为了完成空间作业任务，美国NASA开始研制具有力觉反馈的虚拟预测环境^[7]。1996年卡内基梅隆大学机器人研究所研制出一套具有虚拟操作功能的视觉/力触觉虚拟现实交互系统，通过力触觉再现装置，操作者能够控制由CCD图像和图形合成的虚拟环境中物体的运动，并且能够感受到作用力^[8]。2002年斯坦福大学机器人实验室建立基于手控器的虚拟操作机器人系统，该系统能够模拟复杂环境中人的运动特性以及接触形变和作用力^[9][10][11]。近几年来，在远程医疗领域,基于力触觉再现的虚拟操作有着非常广阔的应用前景。 2000年美国Rutgers大学和斯坦福大学联合成功研制虚拟操作和遥操作的辅助康复系统，通过力触觉和视觉的交互，医生能够远程帮助呆在家中的残疾病人进行手臂功能的恢复锻炼^[12]。 2001年德国Karlsruhe成功研制商用虚拟内窥镜手术训练装置，操作者通过操作带有力触觉的机械手模拟控制手术刀进行虚拟内窥镜手术，同时在图形界面上逼真模拟手术过程中人体组织切割、变形、流血等现象^[13]。 2004年，美国俄亥俄州立大学机械工程系的研究人员建立了一个虚拟触诊系统，用于专家对学员的训练^[14][15][16]。美国麻省理工学院的研究者Gupta等人设计了一套基于Touch装置的CAD系统。设计者可以通过Touch抓取虚拟设计样品，同时感受到抓取力，仿真的虚拟抓取力信息汇同其他视觉、听觉数据一起反馈回设计系统,用于自动优化设计参数^[17][18][19]。2009年，在芬兰国家项目VIRVO项目中，进行了虚拟现实环境中新型触觉用户界面的可用性工业测试，对更复杂的工业中试实验进行了许多进一步改进。该测试包括使用触觉设备（Geomagic Touch）作为焊枪的虚拟焊接任务。在焊接任务中，测试人员在破碎机维修的重新组装任务期间连接了岩石破碎机的两部分。虚拟模型由导入Virtools仿真软件的CAD模型构建。 触觉界面是使用Virtools和Geomagic Touch器件之间开发的触觉界面构建的^[28]。2011年，Rasool 等学者利用 3D 照相机，提出了基于深度的触觉几何渲染算法，探索了 3D 图像的触觉再现。Boston Dynamics公司正在商品化有触觉界面的外科手术仿真系统，可以用来做膝关节内窥镜检查、吻合术和处理肢体外伤等。这套系统包括两个触觉界面（即实现了点接触力的传递，可用来产生指尖与各种物体交互感觉的触觉界面）、一台运行仿真程序的微机和用来显示图像的图形工作站。实习生使用该系统进行仿真的手术时，能体验到切割和缝合组织的真实感觉^[20]。正是鉴于虚拟力触觉再现的广泛的使用价值，国外许多著名高校和科研机构都在进行力触觉建模及接口装置的研究工作。

虽然我国对力触觉生成的研究起步较晚，但是随着高科技的发展和互联网应用的拓展，力触觉的研究已经引起我国科学家的高度重视。我国的一些重点院校在这方面展开了深入研究。浙江大学国家重点实验室的杨文珍等通过实验得到指尖接触力与接触面积之间关系的数据样本，虚拟指尖接触面积，并使之作为变量，利用回归方程建立指尖接触力与接触面积之间的关系公式，然后计算出指尖接触力的大小^[21]。东南大学的吴娟和宋爱国等提出了一种基于物理意义的快速力反馈形变模型和实时力觉相应算法。该算法满足力反馈的实时性要求，能够同时保证接触力和形变的计算具有较高的精度，而且计算速度快^[22]。融合医学工程系统与医疗保健技术重点实验室的研究员建立了一个模拟新手外科医生接近手术环境运动的装置，硬件部分选择的触觉设备是Geomagic Touch，当新手外科医生操作该装置时，该部件将接收移动和旋转动作然后将数据传输到虚拟现实系统，虚拟现实系统能够根据医生控制台方面的命令模拟虚拟导管在血管中移动的情况。同时将图像信息相关指令通知模块（DNM）集成到虚拟现实平台中^[23]。厦门大学WangRongHai，WangLin，YaoJunFeng等人创建了基于虚拟现实和触觉反馈的四种医疗穿刺手术训练系统，该系统为胸腔穿刺、腰穿、骨髓穿刺和腹腔穿刺提供了拟真手术模拟。他们设计了所需要的模型，包括人体和器官模型，手术器械模型，手术材料模型和手术场景模型^[24]。浙江大学生物医学工程研究所的张力峰等利用虚拟现实，从形态、结构和功能等方面更加逼真的再现人体心脏的活动过程，结合触觉交互技术，通过计算机网络进行遥控外科手术和显微外科手术^[25]。

1.3主要开发工具介绍

1.3.1 Microsoft Visual studio

Microsoft Visual Studio（简称VS）是美国微软公司的开发工具包系列产品，可以运行于各类Windows操作系统中。VS是一套完整的开发工具集，用于生成各类应用程序。VS支持多种计算机语言，如VB、C、C 、C#等。Visual C#2010是微软开发的一种面向对象的编程语言，是微软.NET开发环境的重要组成部分，是为生成在.NET Framework上运行的多种应用程序而设计的。C#简单、功能强大、类型安全，而且是面对对象的。C#有许多的创新，不仅能够实现应用程序的快速开发，而且能保持C语言的表现形式。整个项目是用Microsoft Visual Studio.NET编译的。

1.3.2 OpenHaptics Toolkit

OpenHaptics 3.4.0试图通过封装所有触觉/图形应用程序的基本步骤来简化编程。这个封装是在QuickHaptics micro API的C 类中实现的。通过预测典型的使用场景，范围很广。将默认参数设置的范围设置为允许用户非常高效地对应用程序代码进行编码。

剩余内容已隐藏，请支付后下载全文，论文总字数：22685字