论文总字数：25458字

摘 要

近年来水质污染事故屡有发生，对供水安全造成了极大的隐患，水质监测显得愈发重要。为了提高水质预警能力，近几年水质监管部门大力发展在线水质监测系统，从水质监测系统获得了大量的水质数据，这给水质监测带来了积极的作用，但是随之而来的是大量的数据处理负担，日益增长的水质监测数据与传统数据处理方法的矛盾更加明显。为了提高数据处理能力，有必要采用新的数据处理方法。大数据处理主要解决海量数据的分析处理问题，本文立足于海量数据处理的特点，研究基于历史水质数据分析的水质污染预警模型。

本文的研究内容主要包括：

1）研究水质预警技术。研究影响水质的主要因素和水质的基本评价方法，研究目前国内外主流的水质监测技术和水质预警模型。

2）研究数据挖掘技术。研究聚类等数据挖掘技术，深入挖掘水质数据的规律。基于水质监测数据，通过聚类分析将水质分类。研究云计算技术在大数据处理中的应用,基于云计算技术理论，研究云平台系统，从分布式计算平台技术和分布式存储表技术两个方面进行研究。

3）研究水质污染预警模型。基于水质参数数据分析结果，构建水质污染预警模型，分析水源水质并对污染水质进行预警。

关键词：水质污染预警，大数据分析，云计算，聚类分析

RESEARCH ON WATER QUALITY MONITORING AND EARLY WARNING TECHNOLOGY BASED ON BIG DATA ANALYSIS

Abstract

In recent years, water pollution accident has occurred frequently, the water supply safety has caused a great potential, water quality monitoring is increasingly important. In order to improve the water quality early warning capability, in recent years, quality supervision departments vigorously develop online water quality monitoring system, the large amount of water quality data from the water quality monitoring system, the water quality monitoring brought a positive role, but the attendant is a large amount of data processing burden, the increasingly growth of water quality monitoring data with the traditional data processing method of contradiction is more obvious. In order to improve data processing ability, it is necessary to adopt new data processing method. Large data processing mainly solve the problem of analysis and processing of massive data, this paper is based on the characteristics of mass data processing, the research based on the historical water quality data analysis of water pollution warning model.

The main content of this paper is:

1) Study on water quality early warning technology. The main factors affecting the water quality and the basic assessment methods of water quality are studied. The main water quality monitoring technology and water quality early warning model are studied.

2) Research data mining technology. Research on data mining techniques such as clustering; dig regularity of water quality data. Water quality classification based on water quality monitoring data by clustering analysis. Study of cloud computing technology and its application in the data processing, based on the theory of cloud computing, cloud platform is studied. From the distributed computing platform technology and distributed storage table technology two aspects of research.

3) Research on the water pollution warning model. Build early warning model based on data analysis, Analysis of water quality and early warning of water pollution.

KEY WORDS: Water pollution warning, big data analysis, cloud computing, clustering

目 录

摘 要 I

Abstract II

第一章 绪 论 1

1.1 课题的研究背景 1

1.2 课题研究的目的和意义 1

1.3 大数据分析研究现状 2

1.3.1国内研究现状 2

1.3.2国外研究现状 3

1.3.3 聚类分析基本方法 3

1.4 主要研究内容 4

1.5 本文的组织结构 5

第二章 基于大数据挖掘的水质分析 6

2.1 水质预警技术 6

2.1.1 基于专家系统的水质预警模型 6

2.1.2 基于大数据分析的水质预警模型 6

2.2 云计算技术 7

2.2.1 云计算特点 7

2.2.2 服务模型 7

2.2.3 云计算关键技术 8

2.2.4 云平台系统 12

2.3 数据挖掘 13

2.3.1 数据预处理 15

2.3.2 聚类分析 16

2.3.3 聚类分析结果 17

2.3.4 聚类结果评估 23

2.4 本章小结 25

第三章 水质预警模型 26

3.1 水质预警模型构建 26

3.2 水质预警结果评估 28

3.2.1 基于聚类分析的回调检测 28

3.2.2 基于数据规模的分析评估 28

3.3 本章小结 29

第四章 总结 30

4.1 聚类分析研究结果 30

4.2 水质预警研究结果 30

4.3 总体分析评价 31

4.3.1 水质预警模型的优点 31

4.3.2 水质预警模型的缺点 31

致谢 33

参考文献（RefereNces） 34

第一章 绪 论

1.1 课题的研究背景

近年来水质污染问题越来越严重，对用水安全构成了极大的威胁。新版的饮用水标准中，水质指标共有106项，对用水安全提出了更高的要求，同时给水质监管部门带来了新的负担。

面对新形势下城乡统筹区域供水面临的问题和挑战，迫切需要开展针对性的理论技术研究与基础设施建设，在示范应用的基础上，研究水质监测与预警技术，建设统一管理平台，构建供水安全保障体系。

为了应对水质监管的压力，解决水质污染预警的问题，本文采用大数据分析技术对大量的历史水质数据进行分析。大数据分析主要是用来识别大规模的不能够被目前的方法或者数据挖掘工具所处理的复杂数据集合，它是从大规模数据集或者数据流中提取出有用信息的技术。大数据方法目前已经应用在商业、国防、科研等各个领域，而大数据处理也带动各个行业迎来新一轮的快速发展。

由于大数据分析往往伴随着大量的计算，因此有必要采用新的技术提高计算效率。通过云平台可以很好地解决这个问题，云平台可以最大限度地优化资源配置，提高运算效率，云平台的建立使得大量数据的处理成为可能。

1.2 课题研究的目的和意义

随着传感器技术的快速发展和供水安全体系的建立，水质监管部门获得了数以百万计的水质监测数据，而监管部门对于这些数据的处理能力相对较低，往往导致了监测数据齐全却仍然无法有效及时发现水质隐患的情况。大量的数据处理成了水质监管部门迫切需要解决的问题。大数据分析方法可以有效地解决这些问题，基于机器学习的数据挖掘技术可以承担大量数据分析的工作。因此将大数据分析方法用于水质污染预警可以极大地缓解水质监管部门的工作压力，实现水质监测的自动化和智能化。

此外，不同于传统的数据分析，大数据分析不仅能够解决水质参数数据的分析处理问题，还能够在数据分析的基础上挖掘出有关其它领域的信息，例如，Google公司曾经在挖掘网络人群的关键词搜索的过程中，成功地预测了流感的爆发时间，这样跨领域的数据挖掘层出不穷，给数据分析领域带来了新的活力。大数据不仅仅是孤立地存在，它更是涉及到社会生态的方方面面，由一个领域的数据挖掘出另外一个领域的信息成了大数据挖掘的亮点所在。现在由一个领域内的一部分数据，就能挖掘出社会生活的方方面面，这正是大数据分析的独到之处，也是本文研究数据挖掘的目的和意义所在。

大量的数据计算离不开云平台的帮助，云平台的研究如今已经比较完善，云平台的应用涉及各行各业。云平台通过对传统的物理基础网络进行分配而使得网络的部署更加便捷，通过对计算资源的分配而使得大型的数据处理更加快速，通过对用户提供特定的接口而使得程序实现一处配置处处运行。基于云计算平台的大规模数据挖掘可以有效分析水质监测中的盲点，为水质监测预警和供水安全管理带来极大的便利。在数据挖掘基础上建立的水质污染预警模型摆脱了单纯理论化的水质污染预警模型，具有一定的现实意义。

1.3 大数据分析研究现状

1.3.1国内研究现状

近年来，诸如百度、阿里等国内的知名互联网公司积极的将大数据与具体的社会需求结合。百度的各种预测数据通过采集大量手机用户的网络信息，对网站内拥有的大量定位数据进行分析和挖掘，对于大量人群的移动和迁移做出了可靠的预测和分析。

天津大学的杨胜武使用GPRS无线传输技术设计了供水管网的水质在线监测系统，实现了对于供水系水质的在线监测^[1]。中国地质大学的黄健根据应急协同处理框架设计了城市供水水质监测预警模型，取得了对于水质的监测预警的效果^[2]。中国城市规划设计研究院的牛晗等人采用在线监测网络设计框架提出了城市供水水质在线监测模型的建设思路，对于水质的在线监测有一定的建设意义^[3]。西安建筑科技大学的马越等人建立了汾河水质监测预警系统，实现了对汾河水域水质的监测和预警^[4]。建设部城市供水水质监测中心的宋兰合研究了我国水质监测技术的现状，提出了建立水质检测技术的必要性和紧迫性^[5]。中国科学院的张林广根据面向对象的设计思想采用高效率、用于处理海量空间数据的网络分析算法，解决了织女星地理信息系统的网络分析问题，提高了数据挖掘效率^[6]。华中科技大学的路松峰针对降低关联规则开采时间的问题，根据数据库技术提出了一种开采优化关联规则的算法用于数据挖掘，减少数据挖掘时间，提高数据挖掘效率^[7]。北京交通大学的李雪峰针对Web数据挖掘中Graph的算法在云平台环境中进行研究，搭建了云平台环境，提出社交网站用户Graph数据的获取方案，结果可以显著提高Graph数据挖掘的效率^[8]。

1.3.2国外研究现状

曼尼托巴大学的Carson kai-Sang Leung等人提出了一个挖掘数据的科学的解决方案，为了减少计算量，采用多种模式挖掘满足用户指定的挖掘方式，提高了不确定性大数据的模式挖掘的有效性^[9]。加利福尼亚的Cem Tekin等人研究了分布式在线使用上下文信息的大数据分类算法，将不同的数据分类通过使用它们的本地可用的分类函数或通过互相帮助的每个流分类其他的数据，他们开发了一个分布式的在线学习算法，可以弥补线性算法的缺陷，相对于现有的分布式在线数据挖掘工作，性能得到了很大的提升^[10]。马坦萨斯大学的Roberto Espinosa等人提出了一个基础结构，使非专业用户也能对大数据源进行挖掘处理，由此产生了开放数据链接^[11]。布加勒斯特大学的Eleonora Maria Mocanu等人基于串行应用程序，收集市民跟踪数据，获取有关比特种子的可扩展性和可靠性信息，他们通过电感性和非线性回归统计集成在地图上的数据，减少应用程序的演算时间^[12]。埃朗根纽伦堡大学的Alexander Ditter等人利用云平台等新的方法用于高效处理计算机断层扫描的汽车数据，他们通过处理计算机断层扫描所得图像数据用于研究汽车的性能，在汽车的非破坏性测试中获得了很好的成果^[13]。阿尔托大学的Perttu Hämäläinen等人提出一个模型预测控制（MPC）系统进行交互式和角色运动的在线合成，他们的研究解决了复杂的三维人物模型的动态平衡问题^[14]。加利福尼亚大学Eric S. Chan等人引入一个知识密集型数据处理系统，使大数据的应用程序支持态势感知应用，可以利用重复和近知识密集型应用程序的实时执行，提高挖掘高价值信息的效率，他们的研究使得大数据的应用程序有良好的结构^[15]。美国加州坦桑尼亚的konstantin Shvachko等人研究了分布式文件系统Hadoop数据流在高带宽的用户应用程序，他们研究了基于HDFS的企业数据架构^[16]。

1.3.3 聚类分析基本方法

剩余内容已隐藏，请支付后下载全文，论文总字数：25458字

相关图片展示：