论文总字数：58192字

摘 要

随着电信行业3G/4G等业务规模的增大，运营商手中的数据量呈现出了爆炸式的增长，数据的规模已经达到了PB级别。海量数据带来了大量的信息，同时也迫使电信行业为了处理这些数据而不得不使用hadoop/spark等分布式大数据处理技术。由于电信运营商本身构造复杂，产品和业务繁多，电信用户多，每天能产生大批的数据，因此产生了很多不同的大数据任务需求，对于如何管理和调度众多的大数据任务也成为了运行商头疼的一件事。

为了实现对众多任务的统一调度和管理，解决运营商在数据分析中面临着的挑战，本文首先对企业软件的发展现状做了调查，结合对统一分析运行平台的需求分析，设计了该平台的总体方案，对系统的各模块进行了详细的设计，并针对企业平台所需的安全性、容错性、高效性等进行了分析，给出了统一运行平台的实现细节，针对统一运行平台所需的特性进行了测试，最后给出了统一运行平台的部署方案。

关键词：微服务；分布式；大数据；docker

Design and Implementation of Unified Analysis Runtime Platform Based on Micro Service Architecture

ABSTRACT

With the telecom industry 3G / 4G and other business increases, the amount of data in the hands of operators there has been explosive growth, the size of the data has reached the PB level. Massive data has brought a lot of information, but also forced the telecommunications industry in order to deal with these data had to use hadoop / spark and other distributed large data processing technology. Because telecom operators have their own complex structure, many products and services, many telecom users can produce a lot of data every day, resulting in a lot of different large data task requirements, how to manage and schedule a large number of large data tasks have become runners A headache for one thing.

In order to realize the unified scheduling and management of many tasks and solve the challenges faced by operators in the data analysis, this paper firstly investigates the development of enterprise software, and analyzes the requirements of the unified analysis and operation platform. The overall program, the system of the modules were designed in detail, and for the enterprise platform for the security, fault tolerance, efficiency and other analysis, given the implementation of a unified platform for the details of the platform for the unified operation of the required The characteristics of the test, and finally gives a unified platform for the deployment of the program.

Keywords: Micro service; distributed; big data; docker

目 录

摘 要 i

ABSTRACT ii

第一章 绪 论 1

1.1 引言 1

1.2 运营商大数据现状 1

1.3 企业软件架构发展现状 2

1.3 本文研究目的和研究内容 2

1.4 论文组织结构 3

第二章 系统需求分析 4

2.1 系统功能需求 4

2.1.1 业务编排 4

2.1.2 上下文 5

2.1.3 任务实例管理 6

2.2 系统特性需求 6

2.2.1 安全性 6

2.2.2 容错性（鲁棒性） 7

2.2.3 高效性 7

2.2.4 扩展性 7

2.2.4 部署难度 7

第三章 系统设计 8

3.1 系统架构设计 8

3.2 服务交互 10

3.2.1 RPC 10

3.2.2 REST 11

3.2.3 RPC和REST的选择 12

3.3 微服务模块划分 14

3.3.1 任务模板模块 14

3.3.2 任务实例模块 17

3.3.3 BPMN引擎模块 20

3.3.4 Ignite模块 22

3.3.5 Eureka模块 24

3.4 系统特性的实现 26

3.4.1 安全性 26

3.4.2 容错性（鲁棒性） 26

3.4.3 高效性 26

3.4.4 扩展性 26

3.4.5 部署难度 27

第四章 系统实现与测试 28

4.1 工具类的实现 28

4.1.1 REST客户端 28

4.1.2 REST服务端 29

4.1.3 编码解码包 30

4.2 模块实现 33

4.2.1 任务模板模块 33

4.2.2 任务实例模块 38

4.2.3 BPMN引擎模块 42

剩余内容已隐藏，请支付后下载全文，论文总字数：58192字