摘 要

随着计算机技术的不断进步，人机交互技术也在不断发展，人们渴望更加自然的人机交互。人体的动作姿态识别是机器视觉中的一个重要方向，利用Kinect v2获得的深度图像为人体动作姿态识别提供了新的方向。本文基于TOF体感器-kinect v2设计了人机动作识别与协作控制系统，人体的动作姿态可以在被识别后用于控制机器人做出相应的运动，实现自然的人机交互效果。本文的创新点在于将kinect v2体感传感器用于自然人机交互系统中。

本文介绍了TOF体感器-kinect v2的特点、获得深度图像和骨骼跟踪技术的原理。同时对本次设计中所需的机器人平台ABB机器人进行了介绍。在软件具体实现上，本文介绍了人体动作姿态算法的实现，并且对动作姿态识别的实验结果进行了分析；本文介绍了机器人控制模块的软件实现，及基于ABB机器人的编程语言和编程环境，并经实验验证了机器人能够完成设定的六种运动方式；最后本文介绍了系统的整体实现，通过实验验证系统能够实现利用人体动作姿态对机器人进行控制的目标。

关键字：kinect v2；ABB机器人；姿态识别；人机协作

Abstract

With the continuous progress of computer technology, human-computer interaction technology is also evolving, people are eager for more natural human-computer interaction.Gesture recognition of human is an important direction in machine vision, depth image obtained by Kinect V2 provides a new direction for human gesture recognition.Based on TOF somatosensory sensor -kinect V2, a man-machine action recognition and cooperation control system is designed,The gesture of human body can be used to control the robot to make the corresponding movement after being recognized, and to achieve the effect of natural human-computer interaction.The innovation of this paper is that the Kinect V2 somatosensory sensor is used in the natural human-computer interaction system.

This paper introduces the characteristics of TOF somatosensory sensor -kinect V2, and the principle of obtaining depth image and skeleton tracking technique.At the same time, the robot platform ABB robot needed in this design is introduced.In the concrete implementation of the software,This paper introduces the realization of human motion gesture algorithm, and analyzes the experimental results of gesture recognition.This paper introduces the software realization of robot control module and programming language and programming environment based on ABB robot.Experiments have proved that the robot can accomplish six sets of motion modes.Finally, this paper describes the overall implementation of the system.Through experiments, the system can realize the goal of controlling the robot by using the human action gesture.

Keyword：kinect v2；ABB robot；gesture recognition；man-machine collaboration

目录

摘 要 1

Abstract 3

第1章 绪论 1

1.1 课题研究背景和意义 1

1.2 国内外研究现状 1

1.3 预期目标及章节安排 2

第2章 系统硬件平台介绍 3

2.1 TOF传感器—kinect v2开发简介 3

2.1.1 kinect v2传感器简介 3

2.1.2 kinect v2传感器深度图像获取原理 4

2.1.3 kinect v2骨骼跟踪技术原理 6

2.2 ABB机器人简介 7

2.3 PC端与机器人端连接原理 8

2.4 本章小结 9

第3章 系统软件设计及实现 10

3.1 人体动作姿态识别 10

3.1.1 骨骼数据获取 10

3.1.2 动作姿态识别算法 12

3.1.3 关节点间距离及角度计算 13

3.1.4 人体动作姿态定义及匹配 14

3.1.5 算法实现及实验结果 16

3.2 机器人控制模块 18

3.2.1 机器人编程语言Rapid简介 19

（1）数据与数据类型 19

（2）Rapid语言的程序框架 19

（3）Rapid语言常用指令介绍 20

3.2.2机器人控制模块实现 20

3.3 整体系统的实现 21

3.4 本章小结 22

第4章 总结与展望 23

4.1 全文总结 23

4.2工作展望 23

参考文献 24

致 谢 25

第1章 绪论

1.1 课题研究背景和意义

近些年人口红利在不断得下降，工厂的用工成本不断上涨，工业机器人逐步进入了公众生活中。当今制造业中的研究焦点之一便为工业机器人，大力发展工业机器人能够增强一个国家的制造能力。工业机器人参与到人的工作环境中，既能够充分保证工作效率又能够有效地解放人的劳动力，加速了社会发展，机器人作为这个时代的宠儿，定会加快人类社会迈向机器智能时代的步伐。然而在许多制造场合中，工业机器人不能完全代替人完成某些制造任务，因此，工业机器人在人机协同制造中的作用越来越大。人机协作（Human-Robot Collaboration，HRC）是指机器人与人在同一作业空间内直接接触，合作完成一项作业任务^[1]。

可是，人类与机器人的交互设备大多还是键盘、鼠标等装置，如果无法实现人机自然交互，机器将无法发挥更大的优越性。人类对机器能够拟人化并进行智能化的操作有着由来已久的向往，近些年来模式识别、人工智能等前沿技术有着迅猛的发展，人类便对自然交互产生了强烈的渴望。自然交互即要求人体的动作姿态、语音、手势等能够被识别并对机器人进行控制，来实现人机协作控制的目的^[1]。这种自然的人机交互方式，能够将机器人的协作能力发挥到最大程度。因此，研究人机自然交互有着重大意义。

相关图片展示：