基于手指追踪的密码识别技术的研究与实现

论文总字数：29071字

摘 要

随着触摸式移动设备的普及，人们在移动设备上输入密码的机会显著增加，导致针对用户密码的攻击也大量涌现了出来，其中基于计算机视觉技术的攻击由于其隐蔽性高、部署简单等特点受到人们的广泛关注。

本论文设计了一种基于计算机视觉技术的攻击，它能够结合残留物攻击最终获得完整的用户密码序列。即在通过残留物攻击获知用户输入所有按键值的基础上，假设攻击者利用摄像头拍摄了用户的密码输入过程，运用DPM模型和光流法等计算机视觉技术，追踪用户单手指移动过程从而获取密码输入轨迹并对其进行分析以获取完整的密码序列。论文采用的攻击模型是在会议以及其他类似的人群聚集性场所通过一个网络摄像头进行隐蔽攻击。实验证明了这种攻击的有效性，其中四数字密码识别的成功率超过75%，六数字成功率超过70%。

关键词：计算机视觉攻击，移动设备，密码识别

Research and Implementation of Password Recognition

Based on Finger Tracking

Abstract

With the universalness of touch-enabled device, we have much more chance to enter our passwords on it, which leads attacks against user passwords emerging out quickly. Among them, the computer vision based attack attracts much attention because of its high concealment and convenience of deployment.

This paper introduces a computer vision based attack which helps fingerprint attack to disclose inputs on a touch-enabled device. We assume that, after all the key values input by the user have been disclosed through fingerprint attack, a video of victim tapping on the touch screen has been stolen. Then we apply the deformable part-based model (DPM) and optical flow to automatically get the topology of touched-points and infer the sequence of password. We solved the case of tapping with one hand. Finally we evaluate this attack model by experiments. The success rate of 4-digit passwords is over 75% while 6-digit passwords is over 70%.

KEY WORDS: Computer Vision Attack, Mobile Devices, Password Recognition

目录

摘要 I

Abstract II

第一章 绪论 1

1.1 研究背景 1

1.2 研究现状分析 1

1.2.1 基于传感器的恶意软件攻击 1

1.2.2 触摸屏残留物攻击 1

1.2.3 基于计算机视觉的攻击 2

1.3 研究目标和内容 3

1.4 论文组织结构 3

第二章 系统总体设计 4

2.1 系统结构 4

2.2 系统核心模块 4

2.2.1 手识别 4

2.2.2 手的移动轨迹提取 5

2.2.3 触摸点拓扑生成 7

2.2.4 密码识别 7

2.3 本章小结 10

第三章 系统实现 9

3.1 手识别 9

3.1.1 实时物体追踪技术（DPM） 9

3.1.2 图像采集和标记 9

3.1.3 模型训练与对象检测 10

3.2 手的移动轨迹提取 10

3.2.1 角点选取 10

3.2.2 光流法 11

3.2.4 轨迹提取 12

3.3 触摸点拓扑生成 12

3.4 密码识别 13

3.5 本章小结 15

第四章 系统测试和结果分析 16

4.1 手识别模块 16

4.1.1 DPM模型 16

4.1.2 手识别 16

4.2 手的移动轨迹提取 17

4.3 触摸点拓扑形成 18

4.4 密码识别 19

4.4 本章小结 19

第五章 总结与展望 23

5.1 论文总结 23

5.2 工作展望 23

致谢 24

参考文献 25

第一章 绪论

1.1 研究背景

如今，触摸式移动设备的使用越来越普及化，人们日常生活中的大量活动需要靠触摸式移动设备来完成，诸如社交网站登录、在线支付等行为都会在移动设备上留下用户的重要信息，使得移动设备的安全性越来越重要，这也引起了攻击者们的注意。如果攻击者窃取了用户手机，并通过破解手机密码获得设备的使用权限，那么用户的隐私甚至财产安全都会受到严重的威胁。

触摸式移动设备作为一种人机交互设备可能受到各种类型的侧信道攻击，这种攻击通过分析利用密码系统的实现和使用时泄露的额外信息，推导出用户密码或者密码系统中的秘密参数。针对触摸式移动设备的侧信道攻击种类繁多，目前已知的主要有以下三种：基于传感器的恶意软件攻击、残留物攻击以及基于计算机视觉技术的攻击。其中基于传感器的恶意软件攻击通过安装在受害人设备上的软件收集目标设备的传感器信息，通过分析这些信息来推测出用户密码。残留物攻击是指攻击者利用用户使用触摸屏残留下来的痕迹来获得用户的输入信息。基于计算机视觉的攻击是指攻击者利用受害人按键过程中产生的反射镜像、光线变化以及受害人的动作等信息结合计算机视觉技术分析并获得用户密码。

其中基于计算机视觉技术的攻击部署简单、隐蔽性强，成为当前研究的热点。由于摄像设备的普及（几乎所有移动智能手机上都安装了后置高清摄像头），隐蔽得录下受害人输入密码过程的视频变得简单，使得这类基于计算机视觉技术的攻击更加具有威胁性，如果仅通过一段受害人输入密码过程的视频就能够窃取用户密码，那么这种攻击将是具有很大威胁性的。针对类似的攻击，科学家们提出在输入敏感信息时使用一个打乱按键布局的增强隐私键盘来防止这类攻击，但是很少有用户能够充分意识到这类攻击的威胁性并主动使用这种防护措施。

本论文将设计一种基于计算机视觉技术的攻击，它旨在扩展残留物攻击，在已经获得输入密码按键值集合的基础上通过分析受害人输入密码过程的视频来推测出完整密码。本论文希望能够最终获得一个有效的用户密码攻击系统并以此直观表现出这类基于计算机视觉技术的攻击的效果和严重程度，并以此提高用户警惕性，期待在抵抗类似攻击方面能有更多投入。

剩余内容已隐藏，请支付后下载全文，论文总字数：29071字