基于日志的系统交互行为分析方法

论文总字数：26578字

摘 要

在当今社会中，分布式系统的应用越来越广泛，许多大型商业公司将自己的业务部署在分布式系统中。这些分布式系统往往7*24小时为全球的商业公司，个人用户，科研机构等提供服务。一旦这些系统出现意外故障或错误，将会对全球的使用者造成巨大的损失。因此，对于分布式软件系统各模块之间交互行为的有效性和可靠性保障变得尤为重要。而检测出系统的异常，报告给开发人员及时进行处理，能够有效保证分布式系统各模块之间交互行为的有效性和可靠性。

本文以HDFS日志数据集为基础，实现了基于日志的异常检测系统。该系统主要由三部分组成：日志解析、特征提取、异常检测。日志解析部分，本文实现了一种自动化的日志解析方法，可以将原始日志数据解析为结构化的日志数据，并提取出日志模版。特征提取方面，本文使用会话窗口技术从结构化的日志数据中提取出日志特征计数矩阵，用于异常检测模型的训练和测试。异常检测方面，本文使用Logistic回归和PCA两种机器学习算法构建异常检测模型，并对这两种方法进行评估和比较，实验结果表明，Logistic回归比PCA的效果更好，更适用于以HDFS日志数据集为基础的异常检测。对整个系统的测试表明，该系统可以有效地检测出系统异常并输出异常块号。

关键词：分布式系统，异常检测，日志解析，特征提取，机器学习

Log-based Interactive Behavior Analysis Method for Systems

09015320 Qin Jiaxuan

Adviser：Wang Yun

Abstract

In today's society, distributed systems are more and more widely used. Many large commercial companies deploy their business in distributed systems. These distributed systems often provide services for business companies, individual users, research institutes around the world on a 24x7 basis. Once these systems fail or make mistakes, they will cause huge losses to users around the world. Therefore, it is particularly important to ensure the effectiveness and reliability of the interaction among the modules of distributed software system. Detecting system anomalies and reporting them to developers for timely processing can effectively ensure the validity and reliability of the interaction between the modules of distributed system.

This paper realizes an anomaly detection system based on HDFS log data set. The system consists of three parts: log analysis, feature extraction and anomaly detection. In the log parsing part, this paper implements an automatic log parsing method, which can parse the original log data into structured log data and extract the log templates. In feature extraction part, this paper uses session window technology to extract log feature counting matrix from structured log data for training and testing of anomaly detection model. In the aspect of anomaly detection, this paper uses Logistic regression and PCA machine learning algorithms to construct anomaly detection model, and evaluates and compares these two methods. The experimental results show that Logistic regression is better than PCA, and more suitable for anomaly detection based on HDFS log data set. Tests on the whole system show that the system can effectively detect system anomalies and output anomaly blockIds.

Keywords: Distributed System, Anomaly Detection, Log Parsing, Feature Extraction, Machine Learning

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1论文研究背景及意义 1

1.2国内外研究现状 2

1.3研究目标与内容 3

1.4论文组织结构 4

第二章 基于系统日志的异常检测相关研究 5

2.1 HDFS系统介绍 5

2.2基于日志数据的异常检测的工作流程以及技术背景 5

2.2.1日志收集 6

2.2.2日志解析 6

2.2.3特征提取 7

2.2.4异常检测 8

2.3 模型的评价标准 9

2.4 本章小结 9

第三章 系统设计与实现 10

3.1数据来源 10

3.2系统需求分析 10

3.3系统设计 11

3.4系统实现 12

3.4.1日志解析部分的实现 12

3.4.2特征提取部分的实现 15

3.4.3异常检测部分的实现 15

3.5本章小结 17

第四章 系统测试与模型评估 18

4.1数据清洗 18

4.2日志解析测试 18

4.3特征提取部分测试 18

4.4异常检测模型评估 19

4.4.1实验结果 19

4.4.2实验结论 21

4.5 系统性能测试 21

4.6本章小结 22

第五章 结论 23

5.1全文总结 23

5.2研究展望 23

参考文献 24

致 谢 25

图表目录

剩余内容已隐藏，请支付后下载全文，论文总字数：26578字