论文总字数：21822字

目 录

1. 绪论 1

1.1 选题背景及意义 1

1.2 国内外研究动态 3

1.3 本文主要研究内容 4

2. 系统原理 6

2.1 leap motion手势采集 6

2.2 leap motion手势识别原理 7

3. 系统功能的实现 10

3.1 系统说明 10

3.1.1 系统总体效果 10

3.1.2 系统需求分析 10

3.2 系统组成 10

3.3 opengl绘制界面 11

3.4 弹奏的实现 14

3.4.1 弹奏动作的获取 14

3.4.2 弹奏按键的确定 15

3.4.3 乐音绑定 15

3.4.4 手部坐标的映射 16

4. 测试与分析 18

4.1 系统测试概述 18

4.2 测试结果与分析 18

4.2.1 初始界面 18

4.2.2 键盘弹奏测试 18

4.2.3 模拟手模型测试 19

5. 结论与评价 22

参考文献 24

致谢 25

附录 部分相关程序代码 26

基于leap motion的虚拟钢琴弹奏设计

苏杨

，China

Abstract: In recent years, Leap Motion and other somatosensory interactive devices have achieved rapid development. This article uses visual studio to create a simple and easy operating leap motion piano playing application. The application is of smooth operation, beautiful interface, good stability and high accuracy. The experimental results show that the application can realize the piano playing operation based on leap motion, and it has some reference significance for the enrichment and development of leap motion.

Recently, such somatosensory interactive devices as Leap Motion have made rapid progress. In this paper, a piano playing application easy to operate is made using visual studio based on leap motion. This application is characterized by smooth operation, beautiful interface, good stability and higher accuracy. The experimental results show that this application enables the leap motion-based piano playing operation. It is of significance for development and improvement of key-type applications such as leap motion.

Key words: leap motion; virtual piano; somatosensory; visual studio; opengl

绪论

选题背景及意义

人机交互^[1]是指通过计算机的输入输出设备来实现人与计算机对话的技术。传统的人机交互技术主要依赖于一些传输媒介，如鼠标、触摸屏幕、键盘等等。这种接触式交互方式随着人机交互技术的不断发展已无法满足越来越高的设备体验需求，于是非接触式交互这一新兴技术应运而生，并蕴藏着巨大的发展空间。人机交互在现阶段的主要设计意义就是使人们能够更便捷地操纵计算机，也就是说，目前的设计目标是一种更自然的人机交互方式，即可以更接近日常生活习惯得去操作一台机器。就目前虚拟现实领域发展状况来看，利用手势识别^[2]开发应用更利于体感交互目的的实现。

人机交互领域的发展潜力已经开始显露出来，比如地理空间跟踪技术、动作识别技术和虚拟现实、遥控与触觉交互技术的迅猛发展。人机交互的实现方式也不断在更新发展，如指纹识别和压力触控等技术。近年来，体感交互^[3]设备的迅猛发展，使得虚拟现实技术^[4]也不断进步。另一方面，如今体感游戏和网络游戏的结合也已不仅仅局限于互联网领域，用户只需一台体感外设，就可以实现体感交互方式的冲浪式体验。而这样一台外设的成本显然低于主机，所以主机市场正在衰退，而外设市场正在崛起。体感互动^[5]的发展空间是远远超乎于人们的想象的，体感技术并没有真正意义上的难关，并且仍有完善的空间。从交互方式角度来讲，体感交互可分为接触式与非接触式^[6]两种。接触式比较主流的是现在广泛使用的触摸屏技术，而非接触式通常采用计算机视觉技术。

近年来，手势识别吸引了越来越多的关注，因为在许多不同的领域，如人机交互、机器人、电脑游戏，自动手语翻译等，手势识别都被人们广泛地应用。最初这些是依靠计算机视觉社区通过图像和视频来解决问题的。最近开发的深度相机，提供了几种不同的利用设备获取深度信息来改善手势识别性能的方式。大多数方法是通过对一组从深度数据中提取的应用机器学习的相关功能来识别手势的。

关于手势识别，其发展历程大概可以分为三个阶段：二维手型识别、二维手势识别和三维手势识别。前两种手势识别，都是基于二维平面的，只需要像摄像头这样的传感器就可以获得二维平面的图像，从而进行手势识别。而三维手势识别，是基于三维空间的。由于三维手势识别包含了深度这一信息，使得其识别要比前两种复杂得多。对于一些简单的操作，二维手势识别可以满足，但如果对于一些复杂的操作，则需要三维手势识别才能够实现。比较之下，三维手势识别仅仅使用单个摄像头已不能满足需要，因为单个摄像头无法获得深度信息。三维手势识别采用的识别技术有结构光、光飞时间和多角成像这几种。其中leap motion采用的就是多角成像技术。

所谓多角成像技术，就是利用双摄像头来获得单一摄像头无法捕捉的深度信息。手势识别从单纯的利用机器设备进行识别到现在发展起来的基于视觉的手势识别方式，在不限制手势的自然表达的基础上，手势识别的精确度和稳定性都得到了大幅提高，手势识别技术正处在飞速发展的阶段。手势识别技术作为人机交互发展的重要技术之一，对人机交互能否带给人们自然的交互体验起着决定性的作用。目前，通过多种方法的结合，手势识别可以在更为复杂的环境下实现，为人机交互的人性化给予了支持。

leap motion^[7]是面向PC以及Mac的体感控制器制造公司leap发布的一款体感控制器。继kinect的成功后，leap公司推出了leap motion controller这样一款小型运动控制系统^[8]，其能够捕捉150°的视场和大约8平方英尺的交互空间内的多个物体，以200帧/秒的速度追踪双手，识别精度达到0.01mm，并且可以精细到手势和手部细节，为体感交互提供了一种新方式。而这个杰作能在游戏交互开发领域和三维项目展示领域挖掘出巨大潜能。相比于之前微软公司的kinect^[9]，leap motion更加精准小巧，开发前景非常广阔。leap motion设备为手势识别的发展带来了新的机会。如图1所示为leap motion实物图。

图 1 leap motion实物图

与kinect不同，该设备针对手势识别，并且直接计算手指的位置和手的方向。与kinect和类似的深度相机相比，它产生的信息有限（仅仅几个关键点而不是完整的深度图），并且其交互区域相当有限，但所提取的数据更准确（精度为约200μm），并且不必执行图像处理任务来提取相关点。leap motion软件只识别几种运动模式，例如滑动和点击，但利用leap motion数据进行手势识别仍然是一个几乎未被探索的领域。如图2所示为kinect实物图。

图 2 kinect实物图

本文采用leap motion控制器，将其与体感应用领域相结合，利用visual studio与opengl^[10]的结合，实现虚拟钢琴弹奏，具有以下显著的优势：

（1）相比kinect来说，Leap Motion在近距离范围内识别用户手势动作的精度更高^[11]，处理数据速度更快速，是一种更专业化，更小型化，更具有针对性的体感设备。用leap motion来识别弹奏手势，很好得彰显了其独特的优势。

（2）用leap Motion实现虚拟钢琴弹奏，相比于真实钢琴弹奏节约了空间，便于携带。而相比于传统的模拟钢琴弹奏软件，由于结合了体感操作的优点，可以不必局限于实体键盘或触摸屏幕弹奏，让操作环境更加灵活可变，带给操作者不同于以往的全新体验，更加具有身临其境之感，增加了游戏本身的乐趣。

国内外研究动态

目前，针对电脑的自然输入法，如面部识别、眼部跟踪、语音识别，手势研究越来越受到重视。人们希望通过人机交互技术和计算机管理，再次突破计算机应用和开发的局限性。在人机交互技术中，除了语音命令和面部识别外，手势控制技术也成为热门话题之一。 随着技术的进步，非接触式手势识别在汽车，工业和手机触控等领域的应用逐渐拓展。在我们身边，从智能手机到行为识别电视机的发展，手势识别起着越来越重要的作用。鼠标诞生以来，鼠标已经成为人与电脑之间主要的互动媒介之一。 经过几年来人们对拓展交互手段的不断努力，希望能获得一种更方便，更自然，更符合人际交往习惯的交互方式。

近年来，人机交互手段正在试图走进电脑中，向着以人为中心的交互模式改变。人类诞生以来，手势是信息传播的重要载体，是人们之间最常用的交流方式之一。人直接作为计算机的输入设备，人机通讯不再需要中间媒介，用户可以简单地定义适当的手势来控制周围的机器。最初的手势识别研究主要是通过数据手套如专用硬件设备进行输入的。电脑通过传感器等设备获取手指位置，姿势等信息。然后，诞生了通过确定手势来识别手势的方式。

leap motion的定位是通过这样一款体感设备实现体感控制领域的跨时代的改变。leap motion的研发者的灵感就来源于对于使用鼠标绘制3D图像时极为不便的体验。2013年初，leap motion刚刚面世，但当时的leap motion体验效果不够完美，还缺乏使用场景，与传统的二维计算机和终端有着许多难以调和的矛盾，曾限制了leap motion的推广。但自从VR的出现，leap motion的发展翻开了新的篇章，它所具有的三维空间交互的优越性和VR的特性可谓是完美的结合，orion因此应运而生了。orion是原有leap motion软件的升级，硬件和从前相同。在VR系统中，orion提供了一种手部信息的输入方式，可以将手部信息实时反馈到处理器，最终显示在VR头部显示器中。

剩余内容已隐藏，请支付后下载全文，论文总字数：21822字

相关图片展示：