论文总字数：25028字

摘 要

随着互联网的飞速发展，互联网对人类生活的影响越来越大。同时，网络数据的增加也使得网络管理人员和研究人员需要使用新的方式来处理日益庞大的网络日志信息。网络日志可视化这项技术成为解决这一问题的良药。

Violet是一个基于网络实时流量的精细化网管系统，支持各类数据源的分析和结果展示。系统能够实现多维计算分析，包括网络行为分析、网络攻击检测和网络态势感知等。实际运行过程中，获取了大量数据。这些数据需要被整合后以网页形式展示。

本文依托violet这一系统获取的数据，通过了解和分析数据的属性，设计并完成了基于时间粒度对流量热点、访问热点、DDoS攻击事件、端口扫描事件等测度的提取和聚合工作，在前端展示方面，利用流行的Angular框架来减少开发工作量。

关键词： 时间粒度，数据可视化，网络流量

Abstract

With the rapid development of the Internet, the impact of the Internet on human life is getting deeper and deeper. At the same time, the increase in network data also requires network managers and researchers to use new ways to handle the growing volume of network log information. The technology of web log visualization has become a good solution to this problem.

Violet is a refined network management system based on real-time network traffic, supporting analysis and presentation of various data sources. The system can implement multi-dimensional computing analysis, including network behavior analysis, network attack detection and cyberspace situation awareness. In the actual operation process, a large amount of data is obtained. These data need to be integrated and displayed as web pages.

Based on the data obtained by the violet system, this paper designs and completes the time-grained extraction and aggregation of traffic hotspots, access hotspots, DDoS attack events, port scan events and other measures by understanding and analyzing the attributes of the data. In the front-end display, the popular Angular framework is used to reduce the development workload.

KEY WORDS: Time granularity, Data visualization, Network traffic

目 录

摘要 I

Abstract II

第一章 绪论 1

1.1 课题背景 1

1.2 国内外研究历史和现状 1

1.3 论文内容 2

1.4 论文章节安排 2

第二章 相关技术综述 3

2.1 活跃节点的检测 3

2.1.1 概述 3

2.1.2 活跃节点检测 3

2.1.3 活跃节点判断 4

2.2 DDoS攻击的分类与检测 5

2.2.1 概述 5

2.2.2 DDoS攻击的分类 5

2.2.3 DDoS攻击的检测 6

2.3 端口扫描的分类 8

2.3.1 概述 8

2.3.2 端口扫描的分类 8

2.4 网络日志数据可视化 9

2.4.1 概述 9

2.4.2 网络主机流量日志数据可视化 9

2.4.3 网络主机状态日志数据可视化 10

2.5 本章小结 10

第三章 系统设计 11

3.1 系统设计方案 11

3.2 系统主要功能模块设计 11

3.2.1 数据聚合模块设计 12

3.2.2 数据可视化分析模块设计 12

3.3 对数据的分析 13

3.3.1 流量热点/访问热点/热连接、热地址对 13

3.3.2 异常事件/异常IP/热点事件 16

3.3.3 DDoS攻击动态/扫描攻击 16

3.3.4 DDoS统计 18

3.4 本章小结 18

第四章 系统的具体实现 19

4.1 开发环境介绍 19

4.1.1 开发工具 19

4.1.2 所用库版本 19

4.2 系统工作流程 19

4.3 文件结构说明 20

4.4 流量热点模块的具体说明 20

4.4.1 后端聚合函数 20

4.4.2 前端网页的实现 22

4.5 本章小结 25

第五章 测试与分析 26

5.1 功能性测试 26

5.1.1 测试环境 26

5.1.2 测试方案 26

5.1.3 测试记录 26

5.1.4 测试结果分析 28

第六章 总结与展望 29

6.1 工作总结 29

6.2 工作展望 29

参考文献 30

致 谢 31

绪论

课题背景

1. 随着Internet的迅速发展，互联网现在已经渗透进包括经济、政治、文化、军事等人类生活的各个领域。互联网也正在不断改变着人类的生活习惯和生活方式，并逐渐成为人类日常生活中不可或缺的一部分。中国互联网信息中心（CNNIC）发布的第43次《中国互联网发展情况统计报告中》[1]显示，截止2018年12月，中国网民规模达到8.29亿，互联网普及率为59.6%，即时通信用户规模达7.92亿，网络购物用户规模达6.10亿，网上外卖用户规模达4.06亿，网络支付用户规模达6.00亿，从上面的数据我们可以清楚的看出互联网在中国的蓬勃发展。在社会发展的需求下，互联网基础设施建设会不断完善，互联网也会被应用于越来越多的领域。在可以预见的未来，互联网会进一步促进中国的发展。
2. 随着网络的重要性越来越明显，人对网络的依赖性也越来越深，因此网络的安全和平稳的运行愈加重要。一旦网络的运行出现问题，就会对人们的生活和工作造成巨大的损失。
3. 随着互联网的发展，网络节点不断增多，网络拓扑结构越来越复杂，网络管理人员以及网络安全人员面对数据量激增的记录网络节点间相互通信状况的网络日志信息感觉到比较难以处理[2]。为了解决这个问题，可视化开始被用于此领域。计算机图形学的可视化方法提高了网络管理人员获取信息的效率[3]。

国内外研究历史和现状

在1995年Becker等[4]提出对网络流量状况进行可视化，之后Girardin等人[5]在1998年使用多种可视化技术分析防火墙日志记录。经过二十多年的发展，在网络安全可视化领域，专家学者们提出了很多可视化设计方案并开发了很多实用的交互式可视分析工具。通过这些工具的开发和方案使得1）网络分析人员的认知负担得以减轻；2）网络异常检测和分析变得比以前更加直观；3）可以更加容易分析复杂的攻击类型和发现新的攻击类型；4)网络安全态势的察觉和理解效率得以提高[6]。

网络安全数据可视化通过交互式工具，现在已经在网络监控、异常检测、特征识别、关联分析和网络态势感知方面都获得了不错的进步[6]。赵颖[6]等人将对比堆叠流图应用到可视化中，研究了基于统一格式的事件元祖和统计元祖的数据融合模型，并提出了擅长事件关联分析的雷达图和擅长统计时序对比分析的对比堆叠流图的设计方法。张胜[7]等人分别采用信息熵、加权法、统计法等不同算法进行特征提取，在此基础上引入树图和符号标志从微观上挖掘网络安全细节，引入时间序列图从宏观展示网络运行趋势。王全民[8]等人使用三维柱状图展示Netflow日志的流量时序图,使用信息熵算法对平行坐标轴的维度数据进行处理，利用矩阵图、气泡图和流量时序图进行细节分析。

论文内容

本论文的主要内容是实现基于时间粒度的数据聚合和展示。主要研究内容为研究需要聚合的数据的相关属性和数据聚合的具体实现。主要完成了对流量热点、访问热点、DDoS攻击、端口扫描事件等测度的汇聚和展示工作。

剩余内容已隐藏，请支付后下载全文，论文总字数：25028字