基于Kinect面向残疾人的体感应用开发与界面设计

论文总字数：41284字

摘 要

本科生签名： 导师签名： 日期：

摘要

据估计，全世界范围内大约有超过6亿的残疾人，其中有大部分是肢体残疾，在肢体残疾人中又有大部分是手部残疾。对于手部具有先天性或者后天性生理缺陷的残疾人来说，缺少手指或者由于手指的缺陷使得他们在操作计算机的过程中困难重重。本研究为解决手部残疾人群不便于操纵计算机的现状，设计了一种基于Kinect体感交互技术的计算机辅助操纵系统。其利用体感交互技术，通过特定的手势实现对计算机的操作，以帮助手部缺陷人群摆脱不便于操作计算机的困境。

本文基于Kinect体感交互技术，利用Kinect设备获取深度信息以及骨骼信息，识别出人体的手势动作，以完成人体与计算机的交互。在功能方面，利用API编程接口，通过对按钮事件的触发来完成相关功能的使用，以让使用者方便的访问计算机资源，快速简单的启动相关服务程序。用户可以通过Kinect对手势动作的识别，完成对该辅助操作系统的操作。通过该系统快速操纵窗体，残疾人群可以直接完成对QQ聊天、微信聊天、浏览器、视频播放、以及音频播放等功能的控制，使得残疾人士可以轻松的访问计算机常用功能。界面设计方面，采用Windows 8界面的操作风格，兼顾人因工程因素，设计出菜单的分级模式。通过对磁贴、滚动条的设计和布局以及对动画的使用，为用户带来一种新的操作体验。

本文设计的面向残疾人的计算机辅助操作系统能给手部缺陷的残疾人带来生活上的极大的便利，可以在实际应用中得到推广。

关键词：体感交互，Kinect，残疾人，计算机辅助操作系统，界面设计

Abstract

It is estimated that more than 600 million of the disabled people around the world, most of them are physically disabled, and most of them are disability in hands. For disabled people with congenital or acquired defects in hand, lack of fingers or a defect in their fingers makes them difficult to operate the computer. In order to solve the present situation of the disabled people who are not easy to manipulate the computer, design a computer aided control system based on Kinect. It uses the interactive technology to realize the operation of the computer through the specific gestures, to help the people get rid of the difficult position of the computer.

In this paper, based on the Kinect interactive technology, through Kinect equipment to obtain depth information and bone information, identify the human body gestures, in order to complete the interaction between the human body and the computer. In terms of function, using API programming interface to enable the use of button events to complete the use of related functions, so that users can easily access computer resources, fast and easy to start related services. Kinect can recognize gestures, the user can use the function to complete the operation of the auxiliary operating system. Through the fast operation form, Disabled people can operate QQ, WeChat, browser, video and audio playback and other functions directly, so that disabled people can easily access computer commonly applications. In terms of the design of interface , using of Windows 8 style and considering the human factors to design the hierarchical model of the menu. Through the design and layout of magnetic stickers, scroll bar as well as the use of animation, to bring the users a new operating experience.

In this paper, the design of the computer assisted operation system for the disabled can bring great convenience to the disabled people in the life, and it can be popularized in the practical application.

Keywords: Somatosensory interaction, Kinect, disabled, computer assisted operating system, interface design

目录

摘要 I

Abstract III

目录 V

第一章 绪论 1

1.1 研究背景 1

1.2 国内外研究现状 2

1.2.1 国外Kinect研究与技术发展现状 2

1.2.2 国内Kinect研究与技术发展现状 3

1.3 论文研究内容及方法 4

1.3.1 论文研究内容与工作 4

1.3.2 研究方法与技术路线 5

1.4 论文组织结构 6

第二章 Kinect工作原理与界面设计原则 7

2.1 Kinect结构 7

2.2 Kinect成像原理 8

2.2.1 深度数据识别原理 8

2.2.2 人体识别技术 8

2.3 Kinect for Windows SDK 8

2.3.1 Kinect for Windows SDK发展历程 8

2.3.2 Kinect for Windows SDK2.0 9

2.3.3 Kinect for Windows SDK技术架构^{[41, 42]} 10

2.4 界面设计原则 11

2.5 本章小结 11

第三章 调用API实现人体数据的获取 12

3.1 Kinect彩色图像的处理 12

3.1.1 彩色图像格式 12

3.1.2 调用API获取彩色图像数据 13

3.2 Kinect深度图像的处理 15

3.2.1 深度数据结构 15

3.2.2 调用API获取深度图像数据 16

3.3 Kinect骨骼数据的处理 17

3.3.1 骨骼数据结构 17

3.3.2 调用API获取骨骼数据 18

3.4 本章小结 19

第四章 功能预期和界面设计 21

4.1 面向残疾人的计算机辅助操作系统的功能预期 21

4.2 面向残疾人的计算机辅助操作系统的界面设计 22

4.2.1 磁贴设计 22

4.2.2 添加滚动条 26

4.2.3 按钮动画设计 27

4.3 各级菜单的整体设计效果 29

4.4 本章小结 31

第五章 面向残疾人的计算机辅助操纵系统功能设计 32

5.1 使用高级图形用户界面控件 32

5.1.1 Kinect交互函数库 32

5.1.2 引用交互界面 32

5.2 操作功能设计 34

5.2.1 应用腾讯QQ的手势功能设计 34

5.2.2 播放视频的手势功能设计 38

5.2.3 操作浏览器的手势功能设计 40

5.3 本章小结 42

第六章 总结和展望 43

6.1 设计成果 43

6.2 工作总结 43

6.3 关键创新点 44

6.4 展望 44

致谢 45

参考文献 45

1. 绪论
   1. 研究背景

据估计，在全世界范围内大约有超过6亿的残疾人，其中有相当一部分是肢体残疾，在肢体残疾人中又有大部分是手部残疾。对于手部具有先天性或者后天性生理缺陷的残疾人来说，缺少手指或者由于手指的缺陷使得他们在操作计算机的过程中困难重重^[1]。

剩余内容已隐藏，请支付后下载全文，论文总字数：41284字