论文总字数：27459字

摘 要

随着计算机技术的发展，对于更加自然的人机交互体验的需求更加的迫切。本文要着手解决的问题即是如何通过手势识别的手段来达成对于电脑窗口的控制，以此来达到更加自然的人机交互的目的。

在这个问题中，我将整个程序分为了三个部分，手势检测，手势追踪和手势识别及窗口控制。在手势检测部分中，主要通过阈值分割的方法来检测大面积的肤色块，并通过查找文献的方式尝试了RGB空间阈值和HSV空间阈值。在手势追踪部分中，主要讨论了粒子滤波算法和CamShift算法的在本实验中的应用与其计算速度，并最终选择CamShift算法来进行跟踪。在最后的手势识别部分中，主要讨论了用支持向量机来识别用户手势，并决定是否对窗口进行操作，以及建立手势轨迹与窗口操作之间的映射关系，和如何同时检测并追踪两个手势的问题。并最终将手势识别程序和窗口控制结合在一起，达成了更加自然的人机交互体验这一目的。

关键词：人机交互，HSV空间，肤色阈值，CamShift算法，支持向量机

Computer windows control based on gesture recognition

09013224 Zhang Ziyi

Advisor Hu Yining

Abstract

With the development of computer technology, the demand for more natural human-computer interaction is more urgent. This article is to solve the problem that is how to use gesture recognition to control the computer window.

To solve this question, I divided the whole process into three parts, gesture detection, gesture tracking and gesture recognition with window control. In the gesture detection section, a large area of ​​skin color blocks are detected mainly by threshold segmentation, and the RGB spatial threshold and HSV space threshold are tried by reading some papers about the gesture detection. In the gesture tracking section, the application and speed of the particle filter algorithm and the CamShift algorithm is discussed, and decide to use CamShift algorithm in the gesture tracking. In the final gesture recognition section, we discuss how to use SVM to recognize the user’s gesture and decide whether to operate the windows, and establish the mapping between the gesture track and the window operation, and how to detect and track the two gestures at the same time. And ultimately the gesture recognition program and window control together to achieve a more natural human-computer interaction experience this purpose.

Key word: human-computer interaction, HSV color space, skin color threshold segmentation, CamShift algorithm，SVM.

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 引言 1

1.2 手势识别技术概述 1

1.3 本文的研究目的和主要研究内容 4

第二章 手势检测 5

2.1 颜色空间选择 5

2.1.1 RGB空间 5

2.1.2 HSL和HSV空间 6

2.2 参数设定以及结果比对 8

第三章 静态手势识别 11

3.1 手势字典设定 11

3.2 手势特征提取 12

3.3 基于SVM的静态手势识别 13

3.3.1 SVM模型 13

3.3.2 SVM参数设定 14

3.3.3 测试结果 16

第四章 手势追踪 17

4.1 粒子滤波算法 18

4.2 CamShift算法 19

4.3 目标追踪测试及其结果 24

第五章 窗口控制 26

5.1 窗口移动控制 26

5.2 窗口大小控制 26

第六章 程序实现 28

6.1 实验平台及主要相关类库 28

6.2 手势操作定义 28

6.3 程序实现 29

6.3.1 SVM训练 29

6.3.2 等待状态 30

6.3.3 窗口选定状态 30

6.3.4 窗口控制状态 30

6.3.5 程序流程图 31

6.4 程序测试结果 32

结语 33

致 谢 34

参考文献（References） 35

绪论

引言

随着人类的不断进步，计算机在社会中的使用越来越普遍，我们的生活越来越离不开计算机，我们用计算机来工作，购物，交流，以及娱乐，计算机技术已经深入了人类生活的方方面面。但是，一般认为，通信和显示技术还能够进一步的发展，但是现有的交互技术很可能成为计算机有效利用可用信息的一大瓶颈。更加自然的人机交互技术对于未来计算机的使用将会产生非常积极的影响。因此，人们对于开发更加自然的人机交互方式的方法和技术的兴趣也越来越大。为了将人与计算机之间的交互变得就像人与人交互那样自然，一种高效便捷的交互方式自然是必不可少的。

人机交互在过去的几年中一直是一个非常活跃的研究领域。现在的交互技术主要包括使用手指点击设备直接操纵图形对象，例如图标和窗口之类的。即使现在广泛使用的键盘和鼠标的发明是巨大的进步，但是仍然存在这些神与人机交互兼容性不好的情况，这尤其适用于与3D对象的交互，鼠标的2自由度不要正确的模拟的空间的三维结构，强行进行模拟的话，肯定要使用额外的操作，这与我们更加自然的人机交互原则相悖。

而手势，作为一种被认为能够提供更加自然，直观且富有创造性的交互方式，自然成为了交互技术中研究的热门领域。当我们与其他人交流时，我们的手势发挥了非常重要的作用，手势传递的信息在许许多多的方面都非常的丰富。当我们用手指指向一个人或者一个物体的时候，传达了关于空间，时间特征上的信息。同样的，我们在说话的时候通过手势来传达一定的想法，比如“停止”，“接近”以及“不”等等。手势是一种非语言交流的方式，从简单的动作（比如指向对象）到更加复杂的动作（例如表达感觉和与他人交流）。在这个意义上，手势不仅仅是简单的动作，而是语言生成过程本身的基本组成部分。

剩余内容已隐藏，请支付后下载全文，论文总字数：27459字