论文总字数：22697字

摘 要

随着数据信息的不断扩大，各领域需要对各类海量、异构数据进行一体化综合集成，实现多领域信息交联，并面向领域内应用软件和操控人员提供跨数据源的综合性信息检索。现有的技术体制存在明显的缺陷，各业务分系统所产生的数据量越来越大，彼此之间资源共享、数据互通、业务流程协同不够充分和完善；对海量的异构数据进行重复使用依赖于各个分系统所约定的数据查询，不能够从更高的层面上自定义查询。针对这些问题，本项目以全方位提升各领域数据整合利用能力为目标，遵循现有的业务体系和建设规划，引入异构数据资源管理与整合技术、数据仓库数据存储和检索、以及查询规则的定制技术建立异构数据仓库管理平台。建立多源异构数据分布式存储硬件资源空间，对系统内计算资源和存储资源进行整合，实现开放式资源共享。在硬件资源空间基础上，引入分布式存储技术，建立多源异构数据资源空间，实现对系统内海量异构数据的透明化存储与访问能力，并提供图形化人机交互界面。

关键词：异构，数据仓库管理平台，图形化，分布式存储

Abstract

With the expansion of the data and information, all fields need to be done to each kind of massive, heterogeneous data integration comprehensive integration, realize the domain information of crosslinking, and field oriented application software and operators to provide comprehensive information retrieval across data sources. Existing technology system has obvious flaws, amount of data produced by each business subsystem is more and more big, the resource sharing, data communication between each other, business processes, collaborative inadequate and perfect; Huge amounts of heterogeneous data reuse depends on each subsystem the appointment data query, will not be able to custom query from a higher level. To solve these problems, this project is to comprehensive promote each field data integration by using the ability as the goal, follow the existing business system planning and construction, the introduction of heterogeneous data resource management and integration technology, data warehouse, data storage and retrieval, and query rules of custom technology to establish heterogeneous data warehouse management platform. Establish a multi-source heterogeneous spatial data distributed storage hardware resources, computing resources and storage resources within the system integrating, implementing open resource sharing. On the basis of hardware resources space, the introduction of distributed storage technology, establish a multi-source heterogeneous spatial data resources, realize the system mass transparency of heterogeneous data storage and access, and provides a graphical man-machine interaction interface.

KEY WORDS: heterogeneous, Data warehouse management platform, Graphical, Distributed storage

目 录

摘 要 I

Abstract I

第一章 绪论 1

1.1项目概述 1

1.1.1项目背景 1

1.1.2项目简介 1

1.1.3项目目标 1

1.2论文主要内容 1

1.3论文章节安排 1

第二章 相关概念及技术 3

2.1系统开发环境 3

2.1.1 visual studio 2013功能和特点 3

2.1.2 Qt软件的功能和特点 3

2.1.3软总线架构 3

2.1.4 消息中间件 4

2.2异构数据库 5

2.2.1异构数据库基本概念 5

2.2.2异构产生的原因 5

2.2.3异构数据集成 5

2.2.4异构特性与异构技术 6

2.3本章小结 6

第三章 需求分析及方案 7

3.1需求分析 7

3.1.1功能分析 7

3.2实现方案 7

3.2.1多源异构数据整合 7

3.2.2统一数据模型 8

3.2.3数据资源管理 8

3.2.4数据资源检索 8

3.3本章小结 8

第四章 总体设计 10

4.1系统组成 10

4.1.1数据处理子系统 10

4.1.2模型管理子系统 10

4.1.3存储管理子系统 11

4.1.4系统支撑子系统 11

4.2数据处理流程 11

4.4内外部接口关系 11

4.3本章小结 12

第五章 详细设计 13

5.1数据处理子系统 13

5.1.1数据接入驱动模块 13

5.1.2数据源图形化配置管理模块 14

5.1.3元数据抽取模块 14

5.2模型管理子系统 16

5.2.1模型管理模块 16

5.2.2数据模型图形化管理模块 18

5.2.3查询主题图形化管理模块 19

5.2.4主题资源图形化查询模块 19

5.3存储管理子系统 19

5.3.1数据存储管理模块 19

5.4系统支撑子系统 20

5.4.1系统通讯管理模块 20

5.4.2系统资源管理模块 20

5.4.3作业调度管理模块 21

5.4.4数据作业图形化管理模块 23

5.5本章小结 23

第六章 功能测试 24

6.1主界面 24

6.2数据源建模界面 24

6.3模型建模界面 25

6.4查询建模界面 26

6.5作业建模界面 27

6.6资源搜索界面 28

6.7本章小结 29

第七章 结束语 30

7.1项目总结 30

7.2未来展望 30

参考文献 31

致 谢 33

第一章 绪论

1.1项目概述

1.1.1项目背景

随着时间的发展，各类异构数据变得越来越庞大，而现有的数据资源管理技术存在明显的缺陷。多源异构资源间的共享，互通还不够完善。在积累海量数据资源的同时，需要建立与之对应的管理和检索平台。同时，随着数据种类和规模的扩张，逐渐暴露出了一系列的问题。数据检索与整合能力差，多源实时资料处理性能差，各业务分系统各自“烟囱林立”，彼此间资源共享、数据互通、业务流程协同不够充分和完善。针对这些问题，提出了异构数据资源管理平台项目，引用异构数据资源管理整合技术、数据仓库数据存储和检索、以及查询规则的定制技术，结合对多源异构数据整合及综合集成检索的实际需求，建立异构数据仓库管理平台，以实现数据资源的有机整合与高效利用。

1.1.2项目简介

为了解决各类海量、异构数据的一体化综合集成、多领域信息交联、并面向应用软件和操控人员提供跨数据源的综合性信息检索问题，南京起源科技有限公司提出设计一款多源异构的数据仓库管理平台，目的是让用户能够高效的利用分布在不同环境下的异构数据，最大化实现数据资源的价值。

1.1.3项目目标

建立多源异构数据分布式存储硬件资源空间，对系统内计算资源和存储资源进行整合管理，实现开放式的资源共享。在硬件资源的基础上，引入分布式存储技术，建立多源异构的数据资源空间，实现对系统内海量异构数据的透明化存储与访问能力。以数据资源空间为支撑，面向业务应用提供多维度的数据查询接口，实现对数据资源空间提供图形化监控和管理工具。提供作业的概念，并对作业进行管理和调度。让数据的清洗、过滤、转换、提取、导入可以充分利用现有的资源去实时进行。提供元数据的管理并进行建模，在基础上进行自定义的查询。

1.2论文主要内容

本论文主要介绍了异构数据平台的后台功能实现，包含了项目涉及的背景，所涉及的技术，总体设计，详细设计，运行截图等多个方面的内容。

1.3论文章节安排

本论文主要分为七个章节，各章节的主要内容如下：

剩余内容已隐藏，请支付后下载全文，论文总字数：22697字