论文总字数：29964字

摘 要

互联网流量主要以HTTP进行传输。近年来，随着SSL/TLS加密协议与HTTPS协议的普及，以明文传输流量所占的比例在逐步下降。HTTPS提供点对点通信的安全性措施，采用SSL加密后传输，内容对第三方不可见。这一特征阻碍了安全网关（或企业防火墙）扫描明文流量等威胁发现机制。为了获取明文，安全网关通常需要利用中间人攻击（MITM）劫持HTTPS流量。MITM在桌面浏览器上效果良好，但会造成某些非标准的SSL客户端无法正常通信，如智能手机上的银行应用。因此，安全网关产品需要分辨SSL流量的来源，进行相应的决策。

本文对已有的SSL流量识别、指纹提取技术进行了分类和比较。根据趋势科技公司某安全网关产品的实际需求，最终采用基于Client Hello报文特征信息的SSL指纹技术实现了跨平台、多浏览器的SSL指纹学习系统。系统能够在Windows不同版本下对主流浏览器（Chrome、Firefox、Microsoft Internet Explorer、Microsoft Edge）自动进行SSL指纹收集。安全网关通过比对系统建立的浏览器指纹库，做到了在线识别SSL流量的来源。

基于该系统设计的自动化测试平台，能够对安全网关产品的HTTPS解密功能进行测试。它可以输出包含成功解密HTTPS计数、解密耗时等量化指标的可视化报告。

关键词：HTTPS，网络抓包，SSL指纹，浏览器识别，自动化测试

Abstract

Internet traffic is mainly transmitted by Hyper Text Transfer Protocol. In recent years, with the popularity of SSL/TLS and HTTPS, the proportion of traffic transmitted in plaintext has gradually decreased. HTTPS provides the confidentiality for peer-to-peer communication using SSL encrypted transmission, and its content is invisible to eavesdroppers. This feature prevents the secure web gateway (or enterprise firewall) from scanning network traffic directly in threat discovery mechanisms. In order to obtain the plaintext, secure web gateways generally use Man-in-the-middle(MITM) attack to hijack HTTPS traffic. The MITM works well on desktop browsers, but it may cause some non-standard SSL clients unable to communicate properly. Therefore, security web gateway needs to identify the source of SSL/TLS traffic.

The existing SSL traffic identification and fingerprint method is classified and compared in this paper. According to the actual needs of a security gateway product of Trend Micro, a SSL fingerprint and identification method based on features in “ClientHello” packet was finally adopted. A cross-platform, multi-browser SSL fingerprint learning system is designed and implemented in this paper. The System can automatically collect SSL fingerprint of mainstream browser (including Chrome, Firefox, Internet Explorer and Microsoft Edge) with different versions of Windows platform. The secure web gateway can identify the source of SSL traffic online using the browser fingerprint database established by the system.

The automated test platform based on the system can test the HTTPS decryption function of the secure web gateway. It can output the visual report with quantization indicators, including successful count of HTTPS decryption and HTTPS decryption time.

KEY WORDS: HTTPS, packet capture, SSL fingerprint, browser identification, test automation

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 背景 1

1.2 项目意义 1

1.3 论文结构组织 2

第二章 SSL分析和国内外研究现状 3

2.1 SSL简介 3

2.2 SSL协议架构 3

2.3 SSL通信分析 4

2.4 国内外研究现状 6

2.4.1 第一类方法 7

2.4.2 第二类方法 7

2.4.3 第三类方法 7

2.5 方法细节 8

第三章 软件需求分析 10

3.1 业务需求分析 10

3.2 隐性需求分析 10

3.3 分析用户用例 11

第四章 软件设计与实现 17

4.1 系统架构概述 17

4.2 主要技术概述 17

4.2.1 兼容性 17

4.2.2 数据管理 17

4.2.3 自动化、可视化报告 17

4.2.4 浏览器控制 17

4.2.5 网络报文捕获、分析、提取证书 18

4.2.6 流量指纹分析 18

4.3 分模块设计 18

4.3.1 自动化管控模块 18

4.3.2 获取URL样本模块 20

4.3.3 任务生成模块 21

4.3.4 浏览器更新模块 23

4.3.5 函数库模块 24

4.3.6 报文分析提取SSL指纹模块 30

第五章 软件运行效果 31

5.1 获取URL样本功能 31

5.2 生成case任务功能 32

5.3 全自动化学习浏览器指纹功能 32

5.4 HTTPS测试结果、可视化报告 33

5.5 SSL指纹库记录形式 34

5.6 浏览器更新功能 34

第六章 总结与后续改进设计 35

6.1 软件总结 35

6.2 改进方案 35

6.2.1 控制台子系统 35

6.2.2 采集器子系统改进部分 37

致谢 39

参考文献 40

绪论

背景

HTTPS是HTTP通过SSL/TLS加密后传输的改进版协议,它提供了加密传输、身份验证等安全保障机制。

HTTPS全网化是目前互联网的趋势，原因是多方面的：第一，网络参与者提高了通信安全的要求。越来越多的网络服务提供商倾向使用HTTPS，它能够保障网站和用户的数据不被窃听。主流浏览器在访问HTTPS网站时会显示“安全”标识，促使用户更信赖HTTPS的网站。第二，HTTPS迁移的代价越来越小。将网站从HTTP迁移到HTTPS首先需要一个安全证书，安全证书由可信机构对申请者进行严格审核后签发，通常企业需要为购买安全证书支付高额费用。自从Let’s Encrypt机构向第三方个人网站免费提供最低级的DV SSL证书签发服务，并且获得了Mozilla、微软、谷歌等主要浏览器厂商的授信后，HTTPS的准入门槛被大大降低。如今，大部分的域名提供商、云服务器提供商（如阿里云、腾讯云、AWS）都为个人开发者提供了免费的安全证书服务。可以看出，支持并且首选使用HTTPS协议进行传输将成为网站服务器的主流配置。

剩余内容已隐藏，请支付后下载全文，论文总字数：29964字