论文总字数:18888字
摘 要
在数据量蓬勃发展的今天,如何从大量数据中过滤掉那些我们不需要的数据,以及如何从数据中得到对我们而言十分有效的信息,是大家所关心的,也是学者们努力的方向。所以,如果可以将数据信息以图表的形式展现,这对我们获取信息大有帮助,在此背景下,数据可视化技术应运而生。虽然对数据可视化的认知不断变化,概念也不停改变,但是我们大体可以得知:它包含了一个多个属性和多个元素组成的多维数据空间,我们可以通过对数据的演算进行数据开发,然后进行有深度有广度的数据分析,最后,利用图形图像展示出结果。这就是可视化的一个过程。
在现阶段,数据可视化技术还是一个研究难点,但同时也十分有趣。本课题的任务是通过全面反映2013年和2014年各月的南京市电梯安全进展情况的一些数据,对数据进行可视化,从而能够初步学习数据可视化技术的原理、掌握数据可视化技术的技术。同时,学会对数据进行分析处理,对数据进行简单的统计分析、总而能够帮助我们得到有意义的结论。在学习的过程中我需要查阅资料,不断地学习,直到了解可视化的基本原理,最终完成课题。
关键词:数据可视化技术;数据可视化;大数据;统计分析
Abstract
In the vigorous development of the amount of data today, from large amounts of data to filter out the data that we don't need, and how to get to us very effective information from the data is of concern to everyone, it is also the direction that the efforts of scholars. So, if we can show the data information in the form of a chart, this will help us to get the information. In this background, data visualization technology came into being. Although the perception of data visualization continues to change, the concept is constantly changing, but we can generally be informed that: it contains a number of attributes and multiple elements of the multi-dimensional data space, We can develop data through the calculation of data, and then there is a depth of data analysis, and finally, the use of graphics images show results. This is a process of visualization.
At this stage, data visualization technology is still a difficult research, but also very interesting. The task of this thesis is to visualize the data of the Nanjing city during 2013 and 2014 through a comprehensive reflection of the security progress of the elevator, Thus it can study the principle of data visualization and technology of data visualization. At the same time, we learn to analyze data, analyze data, and help us to get meaningful conclusions. In the course of learning I need to read the material, continue to learn, until the basic principles of understanding, and ultimately the ultimate issue.
KEYWORDS: Data visualization technology; Data visualization; Large data; Statistical analysis
目录
摘 要 I
Abstract II
第1章 绪论 1
1.1 数据可视化的理论 1
1.1.1 数据可视化的使用 1
1.1.1 数据可视化的优缺点 2
1.2 数据可视化的发展 3
1.2.1 国外数据可视化发展 3
1.2.2 国内数据可视化发展 4
1.3 可视化功能分析 5
1.3.1 功能划分 5
1.3.2 功能描述 5
1.4 性能需求 5
第2章 总体设计 6
2.1 项目背景 6
2.1.1 课题来源 6
2.1.2 所包含的数据 6
2.1.3 项目要求 6
2.2 项目设计思路 7
2.3 数据处理 7
2.3.1 数据介绍 7
2.3.2 数据分析 8
2.4 项目环境 9
2.4.1 环境介绍 9
2.4.1 D3和Sublime Text学习 10
2.5 项目结果 10
2.5.1 项目结果 10
2.5.1 结果分析 27
第3章 项目总结 28
3.1 项目的主要步骤 28
3.2 项目收获 28
第4章 项目拓展学习 29
4.1 数据可视化与许多领域息息相关: 29
4.2 数据可视化的几点思考 30
参考文献 32
致谢 33
绪论
数据可视化的理论
当今社会正处于一个信息爆炸的时代,随着企业信息化技术的发展与进步,企业内部产生了大量的信息,通常表现为海量统计数据。这些数据大多以表格的形式存放在数据库内,既枯燥又难于去理解。如何才能将这些数据有效的展示出来,帮助用户理解数据,发现潜在的规律,是急解决的问题。数据可视化能够将抽象的数据表示成为可见的图形或图像,显示数据之间的关联、比较、走势关系,有效揭示出数据的变化趋势,从而为理解那些大量复杂的抽象数据信息,为企业决策支持提供帮助。
数据可视化的主要目的是使交流信息清晰和用户通过信息图形的选择有效的传达信息,如表格和图表。有效的可视化可以帮助用户分析和推理有关数据和证据。它使复杂的数据更容易理解和使用。用户可能有特定的分析任务,如作比较或理解因果关系,及根据任务而得出的图形的设计原则(即显示比较或显示因果关系)。表格中通常用用户可以查找到的特定的测量变量,各种类型的图是用来显示模式或一个或多个变量中的数据关系。
数据可视化是一门艺术和科学。在数据产生的同时比率也在增加,主要原因是日益增长的经济信息化。数据创建通过在环境中互联网上的活动和传感器数量的扩张,如卫星和交通摄像头,被称为”大数据“。处理、分析通信数据提出的各种伦理和数据可视化分析的挑战。数据科学和从业者领域使数据科学家急切的来帮助应对这一挑战。
数据可视化的使用
图1.1 facebook用户使用情况可视化
数据可视化,数据可视化是利用计算机图形学和图像处理技术,并将数据转换为图形或图像在屏幕上显示,用于处理相互作用理论的方法和技术。数据可视化是可视化技术在非空间数据领域的应用,他改变了传统的关系型数据表的观察和数据分析,从而使人们能以更直观的方式查看数据及其结构关系,发现隐藏在数据中的信息的基本思想,数据可视化是将数据库中的每个数据项的图形表示的元素,如点,线,颜色,矩形,扇片等,大量的数据形成图像数据,同时,在多维数据表中各属性值的数据可以从不同的角度去观察维度,从而对数据进行更深入的观察和分析。数据可视化技术广泛应用于自然科学,医学,工程技术,金融,通信,商业,石油和天然气勘探等领域。一些可视化软件的出现,提高了各行业的工作效率,也促进了可视化技术的发展。
数据可视化的优缺点
数据可视化是指用于沟通技巧进行编码,作为视觉对象的数据或信息(例如:点,线或条)中包含的图形。主要的数据可视化的目的是明确而有效地通过图形化的方法沟通消息。它不意味着数据可视化需要无聊的使功能化或者极其复杂的漂亮。为了有效地传达思想,审美的形式和功能需要齐头并进,提供洞察一个相当稀疏和复杂的数据集进行交流,它的关键因素在于一个更直观的方式。精心设计的数据可视化有助于发现趋势,实现见解,探索来源,和讲故事。数据可视化是信息图形,信息可视化,科学可视化,探索性数据分析和统计图形的密切相关。在未来千百年里,数据可视化已经成为一个活跃的研究领域,教学与发展。以后,它会包括统一的科学信息可视化。
数据可视化具有以下明显的优点:
1)方便快捷:对于一个大数据完全一窍不通的人来说,让数据实现可视化是对使用的人了解大数据最方便快捷的方法了,这样可以更贴近使用者的习惯和需求。
2)有效的传达数据信息:帮助用户理解信息,引起用户共鸣。
3)华丽的视觉:数据拥有华丽的视觉外观,被认为是理性与感性、“美”与“用”结合的一种视觉效应。
4)数据间关系清晰:数据间的包含,连接等关系一目了然,便于用户理解。
5)通用性:数据信息可以很方便的被用户接受。
6)传播速度快、范围广:图形语言更易被用户接受,传播速度迅速,比文字语言更易发展。
但对于相对复杂的可视化数据图表,必须要针对特定人群绘制才能降低成本,而在这一点上语言文字更具有普遍的适配性,并且数据可视化是一门综合学科,并不是单纯靠视觉上的表现能解决所有问题,它涉及的范围还包括:数据采集、统计学、三维建模等。
所以数据可视化虽然具有上述优势,但是实际应用中还存在下列问题:
1)成本过高:一旦要立项所涉及的成本过高,在项目中的任何一个环节都需要比较高的专业度去完成,这样才能拿出一个好的作品。
2)数据解读较为狭隘,结论不明确:对于多样的数据,我们必须了解怎样产生这些数据的,并知道在这当中可能发生的理解的误差甚至错误,只有全面了解数据中的信息,才能得出明确的结论。
3)制图的目标定位不清:可视化后得图形展示数据较多,所要呈现的主题和目标不明确。
对于数据可视化的优点我们需要加以完善,使其更加贴近用户,而对于数据可视化的缺点我们需要加以改进,需要从几个方面进行努力,1)加强技术投入 2)强化专业性,少犯一些低级抓住数据的核心信息,把握重点。
数据可视化的发展
数据可视化技术可在三个层次上实现,对应于三种处理方式,即后处理,跟踪和驾驭;它们的实现和计算机图形学、图象处理、人机交互、网络通讯等领域中许多技术问题息息相关,其中有代表性的主要体现在三个方面。
- 多维数据的可视化
体绘制技术是实现三维空间数据场整体显示的有效方法,它传统的表面绘制不同,无需构造中间几何图素,而是直接通过重新采样和图象结合产生二维彩色或灰度图象,可使研究人员准确观察到数据场的内部信息;结合透明性、交互和动态显示,体可视化能够提供新的理解,并且还能与图象处理结合起来。
体绘制的计算量十分巨大,研究与应用并行体绘制算法是提高它效率的有效性途径,交互式的体绘制技术还需要进一步开发,而实时体绘制目前还难以达到。更高维数据的可视化技术有许多探讨,但仍未成熟。
- 用户界面
可视化应用的系统要求具备优良人机交互界面,这不仅仅是跟踪与驾驭式可视化所必要的,也是可视化软件开发环境所追求所希望实现的目标。当前广为重视的AVS应用就是一个相当成功的可视化应用与开发环境的可视化系统,它不仅提供数据可视化分析功能,而且还具备创造性,用户通过它的界面可以选择和连接模块库中的各种模块,以及交互地建立形成自己的可视化应用软件。
- 负载分配与网络通讯
在分布式的计算环境越来越普遍的大环境下,科研人员都在超级计算机联网的工作站或直接在Pc机上工作。在网络资源中,如何有效分配工作负荷是一个具有挑战性的问题。其中,网络带宽就是个瓶颈。目前Ethernet传输速率为10Mb/s,FDDI则高一个数量级,这对于大型数据集的可视化显得太慢,美国的高性能计算规划中NREN(国家研究与教育网络)将在2000年提供3Gb/s的速度。
国外数据可视化发展
数据可视化技术是一种新的技术,但是,对于专做这个课题的研究学者来说,这项技术不仅能够帮助我们对数据进行处理和视图化,而且能够有效的帮助我们进行科学工程的计算处理。所以,这样技术已经成为科学技术中不能缺少的一部分。
这项技术被应用在了多个方面:
- 军事方面的应用
- 对于核武器的研究
通过对于数据集的处理,转化为一系列图像,传送到处理器上以动画的格式现实。这种数据处理的过程是一种连续不间断的过程。作为一种外部设备,如果要求来接受超级计算机的图片,会有很高的要求。而为了使得这个终端能够与其他工作站建立联系,从而可以进行交互。所以,可以在通道上装上帧缓冲器。而对于处理器组,也可以做同样的处理。
- 对于海军方面的研究
在海军研究方面,如果可以把数据可视化技术用到电子作战、水下情况分析等各个海军领域,则可以对现实中的实际数据进行可视化处理。所以,这项技术就显得尤为重要。
- 可视化相关产品的发展
- 可视化软件
为了更好的进行可视化处理,实验室开发出了一些软件来帮助图形的制作。如:国家超级计算应用中心开发的Image、DataScope、PalEdit、Composite Tool等,或是NASA Ames研究中心研发的Plot3D、Surf、GAS等。
- 可视化硬件
如建立工作站相关的硬件或是为了录制动画而采用的一些视频盘或录像带等等。
- 可视化媒体
通过可视化技术,可以把数据转化为一些图像的胶卷或录像,或是由此产生的动画,都是媒体产品。
- 其他科学上的一些应用:
在其他方面,数据可视化技术也有着很广泛的应用。如:磁聚变、激光聚变、同位素分离、以及生命与环境科学等方面的研究,或是气动力学的实验和研究。
- 其他发展:
除了基本的一些发展,还对技术提出了更高的要求:如要不断开发出新的工具和算法;如开发高性能的可视化软件和硬件;如要发展更多维的图形。
。
国内数据可视化发展
在对于数据可视化技术研究和对这项技术的研究中,国内相比于国外,还是有一定差距的。国内研究有以下几个特点:(1)国内研究起步晚,所以发展比较慢(2)国内数据可视化技术更多应用为项目的后期处理(3)国内研究的深度不够,不足以满足实际需求。
剩余内容已隐藏,请支付后下载全文,论文总字数:18888字
相关图片展示:
该课题毕业论文、开题报告、外文翻译、程序设计、图纸设计等资料可联系客服协助查找;