论文总字数：30062字

摘 要

随着移动互联网时代的到来，智能手机日益普及，智能手机上安装的各种类别的传感器为用户带来了全新的使用体验，但同时也对用户的信息安全形成了新的威胁。本文基于Smartphone传感器捕捉用户敲击键盘时产生的桌面振动，利用机器学习技术，证明了此类振动数据存在泄露用户键盘输入信息的可能性。本文研究表明，针对普通QWERT键盘的26个字母键，单个按键Top3的识别率为45.13%，左中右三个区域的识别率为60.32%，左右两个区域的识别率为74.36%。此外，本文还对9宫格数字键盘的输入嗅探进行了实验，此类嗅探Top3的识别率达到63.70%。以上结果表明基于Smartphone传感器的键盘输入嗅探技术具有一定的可行性，某些用户以往认为相对安全的传感器也存在泄露用户信息的潜在可能。基于键盘输入嗅探技术的研究结果，本文还设计实现了嗅探两个按键输入的嗅探工具。嗅探工具可以检测敲击事件的发生，进而对按键输入进行识别，从而控制窗口上下滑动。

关键字：智能手机，传感器，机器学习，键盘输入嗅探

Inferring User Input From Nearby Keyboards Using Smartphone Accelerometer

Abstract

With the development of mobile Internet, smartphones are becoming increasingly popular and ubiquitous. A variety of sensors enable smartphones to interactive with users more actively. Unfortunately, such sensors can also pose a new threat to users’ information security. In this paper, we capture the desktop vibrations caused by keystrokes on a nearby keyboard using smartphone sensors and employ the machine learning techniques to recognize the key being pressed, thereby demonstrating the potential possibility to infer user input from a nearby keyboard. For QWERT keyboard’s 26 letter keys, the recognition accuracy of individual key is 45.13% considering the top 3 candidates; the recognition accuracy of “Left-Median-Right” regions is 60.32%; the recognition accuracy of “Left-Right” regions is 74.36%. In addition, we also infer the input of numeric keyboard, in which case the recognition accuracy of individual key is 63.70% considering the top 3 candidates. All above results indicate that inferring user input from a nearby keyboard using smartphone sensors is feasible. Based on these above research, we design and implement a demo APP to infer input of tow keys. This APP detects keystroke events first, and then identify which key is pressed. Accordingly, we can scroll the window up and down by keystrokes.

KEY WORDS: Smartphone, Sensors, Machine Learning, Inferring User Input

目录

第一章 绪论 1

1.1 研究背景 1

1.2 研究现状 1

1.2.1 基于电磁放射物的嗅探技术 2

1.2.2 基于光学放射物的嗅探技术 2

1.2.3 基于声音放射物的嗅探技术 2

1.2.4 基于物理运动放射物的嗅探技术 3

1.3 研究目标和内容 3

1.4 论文组织结构 4

第二章 关键技术 5

2.1 Smartphone传感器 5

2.1.1 智能终端常用传感器 5

2.1.2 传感器数据的获取 6

2.2 机器学习技术 8

2.2.1 机器学习介绍 8

2.2.3 特征选择 8

2.2.3 学习算法 10

2.2.4 模型评估 11

2.3 本章小结 12

第三章 基于传感器的键盘输入嗅探 13

3.1 实验设置及环境 13

3.2 数据采集与处理 14

3.2.1 数据采集 14

3.2.2 数据处理 16

3.3 特征提取 18

3.4 识别结果分析 19

3.4.1 单键输入识别 20

3.4.2 单词输入识别 25

3.5 本章小结 27

第四章 嗅探工具的开发与测试 29

4.1 实验设置及环境 29

4.2 总体架构 29

4.3 系统测试 34

4.4 本章小结 34

第五章 总结和展望 35

5.1 论文总结 35

5.2 工作展望 35

致谢 37

参考文献 39

第一章 绪论

1.1 研究背景

随着移动互联网时代的到来，智能手机日益普及，已经成为用户工作生活中不可或缺的一部分。从即时通信应用到移动电子商务，智能手机在很多方面都发挥着重要作用。用户不仅使用智能手机传递与接收各类信息，还会进行多种支付和转账业务，这为用户提供了极大便利。

在智能手机带来便利的同时，用户的信息安全也受到严重威胁。一方面，智能手机内可以存放用户的许多私密信息，例如私人照片、聊天记录、账户密码等。这为用户随时记录查看各类信息提供了方便，但也为恶意软件盗取用户私密信息提供了途径。另一方面，当前智能手机大多内置多种类别的传感器，且灵敏度较高，这给智能手机用户带来了全新的人机交互体验，但同时也增加了用户隐私泄露的风险。恶意软件不仅可以获取用户手机内存储的私密信息，还可以利用智能手机内置的传感器窃取不在用户手机内存储的私密信息。在移动安全领域内已有许多科研工作者对此进行了研究，比较典型的如：基于摄像头的恶意软件拍摄照片或视频，会造成用户生活以及工作行为信息的泄露^[16]；基于音频传感器的恶意软件记录设备周围环境的声音，会造成用户谈话内容等隐私的泄露^[14]；基于GPS传感器的恶意软件跟踪定位目标，会造成用户位置信息的泄露^[15]等等。针对传感器可能带来的用户隐私泄露问题，当前许多智能手机操作系统对一些传感器的使用提供了权限保护机制，例如应用程序要访问GPS传感器需向用户申请使用权限。但是，某些用户以往认为相对安全的传感器也会导致用户的隐私泄露，例如当前的智能手机操作系统尚未对加速度传感器提供权限保护措施，恶意软件可以随意访问加速度传感器数据，进而窃取私密信息。

针对某些常规意义上相对安全的传感器会导致用户隐私泄露且尚未引起广大用户注意的问题，本文基于Smartphone传感器进行键盘输入嗅探技术研究。以期通过本研究，一方面增强广大智能手机用户防范隐私泄露的安全意识，另一方面促使各智能手机系统开发商尽快为相关传感器设置合理的保护机制，切实保护用户的隐私安全。

1.2 研究现状

电子机械设备在正常工作时会产生一定的放射物，如电磁放射物、光学放射物、声音放射物以及物理运动放射物等等，已有许多科研工作者对基于各类放射物的嗅探技术进行了研究。

1.2.1 基于电磁放射物的嗅探技术

早在越战期间，捕获电磁信号的技术就被用来检测十英里距离内的卡车。近期，基于电磁放射物的类似攻击已经被运用在智能卡、CMOS芯片、显示器以及键盘上。

剩余内容已隐藏，请支付后下载全文，论文总字数：30062字