论文总字数：30583字

摘 要

随着互联网系统和企业IT的发展，越来越多的数据被产生了。数据的量的积累有了质的飞跃，使得数据系统从业务系统的一部分演变得愈发独立，人们可以通过对数据分析和挖掘获取其独特的价值。传统的OLTP（OnLine Transaction Processing，联机事务处理）系统型数据库在处理大数据量的计算时，显得有些性能不足，此时就需要OLAP（On-Line Analytical Processing，联机分析处理）系统进行处理。

DThink ADB（Analytical database，分析型数据库）是一套极速响应、海量计算、高效低成本的MPP数据库（Massively Parallel Processor，大规模并行处理）。本文在ADB集群的基础上，开发对整个集群进行管理的运维平台。先从需求出发，分析制定运维平台所需的功能，按模块进行划分，包含运维大盘、服务管理、集群管理、告警中心、日志中心、系统中心。然后进行各模块方案的设计与实现，整体项目采用Spring MVC框架，使用Java语言开发，主要工作如下：

1. 通过Ambari接口获取集群硬件信息，包含磁盘使用率、CPU使用率、硬件告警信息等。
2. 设计实现租户的创建、删除、修改、停止、启动等功能。
3. 设计实现集群告警、租户告警的收集、通知、处理等功能，通知包含页面显示和邮件通知，处理包含自动处理和人工处理。
4. 实现集群关机、重启、日志记录等功能。
5. 对项目进行测试。

关键词：大数据，集群，多租户，云平台

ABSTRACT

With the development of Internet and information technology, more and more data is being created. The quantitative change of data has generated a qualitative change, making the data system more and more independent from the business system. By analyzing and mining data, people can obtain unique values​. The traditional database of type OLTP (On-Line Transaction Processing) can not meet the performance requirement when dealing with the calculation of big data. Therefore, an OLAP (On-Line Analytical Processing) system is needed on this occasion.

DThink ADB (Analytical database) is a kind of MPP database (Massively Parallel Processor, massively parallel processing), which has advantages such as extremely fast response, mass computing, high efficiency and low cost. Based on the ADB cluster, this paper introduces the design and the development of an operation and maintenance platform that manages the entire cluster. Starting from the requirements, we analyze and specify the functions needed for the operation and maintenance platform, which will be divided into modules including the operation and maintenance market, service management, cluster management, alarm center, log center, and system center. Then this paper explains the design and implementation of each module. The overall project is based on the Spring MVC framework and is developed with Java. The main tasks are as follows:

(1) Obtain the cluster hardware information through the Ambari interface, including disk usage, CPU usage, hardware alarm information and so on.

(2) Design and implement functions such as creating, deleting, modifying, stopping and starting tenants.

(3) Design and implement functions such as collection, notification, and processing of cluster alarms and tenant alarms. Notifications include page display and email notification. Processing includes automatic processing and manual processing.

(4) Accomplish shutdown, restart, logging and other functions of the cluster.

(5) Test the project and solve some problems.

KEY WORDS: Big data, cluster, multi-tenancy, cloud platform

目录

摘要 I

ABSTRACT II

第一章 绪论 1

1.1 选题背景及意义 1

1.2 国内外研究现状 1

1.3 本文主要内容和组织结构 2

第二章 环境支持与专业术语 3

2.1 环境支持 3

2.1.1 DThink ADB数据库 3

2.1.2 DThink ADB集群 3

2.2 专业术语 3

第三章 系统需求分析 5

3.1 系统目标分析 5

3.2 功能需求 5

3.2.1 运维大盘 5

3.2.2 集群管理 6

3.2.3 服务管理 7

3.2.4 告警中心 7

3.2.5 日志中心 7

3.2.6 管理中心 8

第四章 租户模块设计与实现 9

4.1 概述 9

4.2 租户的创建与管理 9

4.2.1 租户任务父类 9

4.2.2 租户创建 11

4.2.3 租户删除 14

4.2.4 租户启动 14

4.2.5 租户停止 15

4.2.6 租户重启 15

第五章 告警模块 17

5.1 系统介绍 17

5.2 硬件告警 17

5.2.1 Ambari配置 17

5.2.2 硬件告警补充 17

5.2.3 Ambari配置 19

5.3 服务告警 19

5.3.1 服务告警描述 19

5.3.2 租户异常告警 20

5.3.3 vip异常告警 23

5.3.4 心跳丢失告警 24

5.4 告警邮件系统 24

5.4.1 概述 24

5.4.2 设计说明 24

5.4.3 实现方式 25

5.4.4 表设计 26

第六章 日志与集群管理 29

6.1 日志中心 29

6.1.1 作用 29

6.1.2 实现方式 29

6.2 集群关机和重启 29

6.2.1 关机 29

6.2.2 重启 29

6.3 版本号 29

第七章 总结与展望 30

7.1 总结 30

7.2 展望 30

致谢 31

参考文献 32

绪论

选题背景及意义

随着互联网系统和企业IT的发展，产生了越来越多的数据。数据的量的积累带来了质的飞跃，使得数据系统从业务系统的一部分演变得愈发独立，通过对数据的分析和挖掘产生自己独特的价值。在业务系统中，通常使用的是OLTP（OnLine Transaction Processing，联机事务处理）系统，如MySQL、MicroSoft SQL Server等关系数据库系统。这些关系数据库系统擅长事务处理，在数据操作中保持着很强的一致性和原子性，能够很好的支持频繁的数据插入和修改，但是，一旦需要进行计算的数据量过大，达到数千万甚至数十亿条，或需要进行的计算非常复杂的情况下，OLTP类数据库系统便性能不足。此时需要OLAP（On-Line Analytical Processing，联机分析处理）系统进行处理。从广义上，OLAP系统是针对OLTP系统而言的，即不对数据进行输入、修改等事务性处理作特殊关注，而是关注对已有的大量数据进行多维度的、复杂的分析的一类数据系统。

DThink ADB大规模分析型数据库，是杭州数梦工场科技有限公司推出的一套极速响应、海量计算、高效低成本的MPP数据库。在数据存储模型上，采用自由灵活的存储方式，同时支持行式存储和列式存储，支持多种数据压缩算法，可以使用SQL进行业务驱动的计算分析。DThink ADB可以处理单表百亿条的数据，进行分析，实现极速运算。

剩余内容已隐藏，请支付后下载全文，论文总字数：30583字