论文总字数：24556字

摘 要

人机交互，是人与机器之间使用特定的语言，通过一系列交互操作，实现人与计算机之间信息交流的过程。从原有的机械交互方式，到现在的多方位、多感觉的人机交互界面，不断发展的目标是对于用户使用体验的感受提升。移动终端上较为常用的交互方式是利用触摸屏多点触控，通过采集手指二维位置信息，实现平面位置输入。但是限于移动终端便携性和计算能力的限制，无法实现三维位置信息采集与输入。

本文用薄膜压力传感器用于指端压力大小采集，通过stm32下位机使用无线通信模块与移动端进行数据通信。在Android平台上构建虚拟环境交互演示系统，在演示系统中，使用了简化的弹簧—质点模型进行柔性物体建模；然后将采集到的与指端按压力大小相关的数字信号传输到移动端，通过一定的计算得到模型的形变量，从而实现平面以外的第三维度的人机交互；同时，本系统加入了碰撞检测算法，增强虚拟环境交互演示的真实性。基于此技术，实现基于接触力大小输入的三维人机交互以及视觉触觉响应。

关键词：人机交互，虚拟交互演示，形变模型

A NEW INTERACTIVE MODE OF MOBILE TERMINAL BASED ON PREASURE MEASUREMENT

Abstract

Human-computer interaction is the process of information exchange between people and computers, using a specific language and a series of interactive operations. From the original mechanical interaction, to the present multi-direction, multi-sensory interactive interface, the goal is to enhance the user experience for the user experience. Commonly used in the mobile terminal is the multi-touch mode on touch screen, using two-dimensional finger position information, to achieve the plane position input. Due to the limitation of the portability of mobile terminal and CPU, 3D position information collection and input can not be realized.

In this paper, we used a thin film pressure sensor for measuring the pressure of fingertip, using ATK-RM04 WiFi module to communicate with mobile terminal on stm32 MCU. Then we bulit a virtual interactive demostrastion system on the Android platform. In this demostration system, we used a simplified spring-mass model to simulate flexible object. After that, the collected digital signal, which is related to the pressure , is transmitted to the mobile terminal , and the displacement of the finger end in the normal direction is obtained by a certain calculation. So the real-time detection of the position information of the normal direction is realized. At the same time, we used the collision detection algorithm to enhance the authenticity of this virtual interactive demostration system. Based on this technology, the interactive demonstration system of multi dimension input detection and virtual environment of mobile terminal is constructed.

KEYWORDS: Human-computer interaction, virtual interactive demostration, model of deformation

目录

摘 要 I

Abstract II

目录 III

第一章 绪论 1

1.1 研究背景 1

1.2 研究目的与意义 1

1.3 国内外研究现状 1

1.4 本文主要工作及组织结构 2

第二章 系统概述与硬件选型 4

2.1 系统总体概述 4

2.2 硬件选型 4

2.2.1 压力传感器选型 4

2.2.2 运算放大器选型 5

2.2.3 电压转换器选型 5

2.3 传感器的标定 6

2.3.1 确定标定范围 6

2.3.2 标定方法 6

第三章 系统硬件原理及实现 9

3.1 系统总体概述 9

3.2 压力信号采集电路 9

3.3 核心控制模块 10

3.3.1 STM32f103微控制器及其AD通道 10

3.3.2 微控制器实物连接 11

3.4 无线通信模块 11

3.4.1 常见的短距离无线通信技术 11

3.4.2 无线通信硬件实现 12

3.5 基于STM32的信号处理 13

3.6 硬件实物展示 14

第四章 系统软件原理及实现 15

4.1 三维场景搭建 15

4.1.1 OpenGL ES 2.0简介 15

4.1.2 基于OpenGL ES 2.0进行3D场景搭建 15

4.2 三维物体几何及物理模型建立 17

4.2.1 OpenGL ES 2.0中立体物体的构建 17

4.2.2 使用3D模型加载快速建模 17

4.2.3 物体的物理建模方法 18

4.3 三维物体触控的实现 19

4.4 三维物体之间的碰撞检测 21

4.4.1 初步的碰撞检测 22

4.4.2 精确的碰撞检测 23

4.5 力—形变模型与形变渲染 23

4.5.1 力—形变模型的确立 23

4.5.2 力—形变模型的分类 23

4.5.3 模拟形变的实现 24

4.6 形变过程中振动反馈 25

第五章 总结 26

5.1 工作总结 26

参考文献 27

致谢 28

绪论

研究背景

剩余内容已隐藏，请支付后下载全文，论文总字数：24556字