数据仓库数据仓库体系结构的设计

基于CW M的数据仓库体系结构设计

基于CWM的数据仓库体系结构设计北京邮电大学硕士学位论文i

基于CW M的数据仓库体系结构设计

目录

第一章绪论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .仁

1. 1课题背景. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1. .

1. 2工作内容及研究成果. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.

1. 3论文结构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.

第二章数据仓库、元数据、体系结构理论概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

2. 1数据仓库理论概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.

2. 1. 1弓I言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.

2. 1.2数据仓库的定义及特点. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

2. 1.3数据仓库的数据模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4

2. 1.4数据仓库的建设. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.

2. 1.5数据仓库的应用一OLAP. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2. 1.6国内数据仓库建设过程中的若干问题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6

2. 2元数据概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.

2. 2. 1 弓|言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.

2. 2. 2元数据的定义和分类. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

2.2.3元数据的建模. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8.

2.2.4元数据的标准化. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9.

2. 3体系结构概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9.

2. 3. 1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9.

2. 3. 2软件体系结构的概念. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.0

2. 3. 3几种主要的软件体系结构风格. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1 0

第三章 CWM及相关理论概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

3. 1引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

3. 2相关理论概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.2

3. 2. 1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.2

3. 2. 2 UML及其和CWM的关系. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

3. 2. 3 MOF及其和CWM的关系. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1 5

3. 2. 4 XMI及其和CWM的关系. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16

3. 3 CWM的组成结构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17

3. 4 CWM的特点. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19

3. 5 CWM的设计目标. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20

3. 6 CWM的应用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20

第四章基于CWM的企业数据仓库体系结构设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

4. 1引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

4. 2数据仓库体系结构的作用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

4. 3体系结构设计原则. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .24

4. 4基于CW M的体系结构设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

北京邮电大学硕士学位论文

2

基于CW M的数据仓库体系结构设计

4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4. 1

企业数据仓库体系结构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

4. 4.2体系结构组件及其接口描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .26

4. 4.3基于CW M的数据仓库体系结构的特点及优点. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .44

4. 4.4小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45

第五章电信领域数据仓库系统设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .46

5. 1系统简介. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .46

5. 1. 1项目背景. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .46

5. 1.2系统任务概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .47

5. 1.3开发运行环境. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .48

5. 2系统设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49

5. 2. 1体系结构设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49

5. 2.2系统部署. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .50

5. 2.3数据模型设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .51

5. 3系统特点分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .51

5. 4系统结果展示. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .53

北京邮电大学硕士学位论文

3

基于CW M的数据仓库体系结构设计

第一章绪论

1. 1课题背景

90年代末以来 国内外掀起了一股数据仓库的热潮数据仓库技术作为一种决策支持的手段为越来越多的企业接受。各大数据库公司纷纷开发自己的数据仓库产品还有很多公司开发了相关的分析工具。这些工具给用户带来了很大的方便但同时 由于它们都采用自己的数据格式和元数据表示方法 互相之间不能兼容企业的很多应用就要依赖于特定厂商的产品数据仓库的设计和实现受到很大的限制。所以搭建一个统一且易于扩展的数据仓库平台 并能实现其中不同工具之间的数据交换就成为亟需解决的问题。

电信行业是我国引入竞争相对较晚的一个行业 但竞争的激烈程度丝毫不亚于其他行业。各电信企业都积累了庞大的客户和业务资料库并纷纷开始搭建数据仓库以增加竞争优势。但由于电信行业数据庞杂、需求广泛且多变单一厂家的数据仓库工具很难满足要求。若采用多种工具系统的体系结构设计以及不同工具之间的数据交换就成为必须解决的关键问题。

一种解决方案是利用元数据。元数据是描述数据的数据是数据仓库系统不可或缺的重要部分。一般来说数据仓库中的元数据有两个用途首先它能提供基于用户的信息 比如记录数据项的业务描述元数据能帮助用户去使用信息 其次元数据能支持系统对数据的管理和维护如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。如果异质平台上不同的数据仓库工具之间能够实现所有这些元数据的交换实际上也就是实现了它们所描述数据的交换 从而解决异质工具之间的互通问题。

但元数据的交换涉及到很多问题比如元数据的表示形式以及交换机制等。为了解决这方面的问题 OMG在2000年提出了一套关于数据仓库元数据的CWM 通用仓库元模型规范其主要目的就是为了方便异质分布式系统中的数据仓库工具、数据仓库平台以及元数据库之间的元数据交换。而研究如何搭建电信领域基于CWM的数据仓库系统并实现不同工具之间的数据交换正是本论文展开研究的背景。

1. 2工作内容及研究成果

为了使构筑于数据仓库基础上的企业应用不再和具体的工具绑定 本文试图提出一种可行的基于CWM的数据仓库体系结构设计方案。结合这个目标本论文主要做了以下几方面的工作

调研包括目前一些企业已经实施的数据仓库的体系结构、现有工具产品、

北京邮电大学硕士学位论文

基于CW M的数据仓库体系结构设计

理论研究主要是对CWM、 UML、 MOF、 XMI等规范以及体系结构理论的研究并提出基于CWM的数据仓库体系结构

部分实现体系结构 由于目前尚无工具支持CW M所以只能部分实现本论文提出的体系结构搭建一个实用的数据仓库系统其中的接口部分作为下一步的工作。

在基本完成上述工作内容的情况下获得的主要成果是提出一种基于CWM的数据仓库体系结构并在电信领域得到初步应用。

1. 3论文结构

本论文的内容基本按照工作内容进行组织:

第二、三章作为核心内容的铺垫主要介绍了论文的理论基础。其中第二章首先介绍了数据仓库的相关理论包括数据仓库的定义、特点、数据模型、建设和应用等 。随后介绍元数据的定义、分类、建模和标准化。最后是体系结构的概念以及几种主要的风格。

第三章介绍了CWM相关理论。此章首先简单描述了CWM和UML、 MOF、 XMI等规范之间的关系然后介绍了CWM的组成结构、特点、设计目标及其适用范围。

第四章是本论文的核心部分提出一种基于CW M的企业数据仓库系统体系结构并详细介绍组件的功能、地位和接口这些组件包括数据源、 ETL、数据建模、中央元数据库、本地元数据库、ODS、中央数据仓库、数据集市、数据仓库管理以及一些前端分析应用等。

第五章介绍了在电信领域基于上述体系结构设计的一个数据仓库系统 具体内容包括该系统的任务概述、开发运行环境、体系结构设计、系统部署、数据建模以及系统优缺点分析。

第六章对本文作了简单总结并对进一步的研究工作提出了几个建议。

论文最后是致谢及参考文献列表。

第二章数据仓库、体系结构、元数据理论概述

2. 1引言

笔者系统地学习了数据仓库的基本理论、研究了目前的数据仓库元数据的内容、特点和交换机制最后参考目前几种典型的体系结构风格 并结合企业应用数据仓库的成功案例提出一种基于CWM的数据仓库体系结构。下面本章将简单介绍数据仓库、元数据和体系结构方面的理论知识 至于CW M规范 由于内容比较多所以单独作为一章介绍。

北京邮电大学硕士学位论文

2

基于CW M的数据仓库体系结构设计

2. 2. 1引言

随着市场竞争的日趋激烈人们越来越深刻地认识到信息对于企业的生存和发展所起的重要作用可以说谁先掌握了广泛而可靠的信息 谁就把握了企业发展的先机但信息来自何方

近年来很多企业都建立了较为完善的数据库系统用于存储信息的数据也不断膨胀但由于企业管理技术的落后对这些积累起来的海量数据远没有充分利用在这种背景下数据仓库技术应运而生。数据仓库建立在传统事务型数据库的基础之上为企业DSS 决策支持系统提供数据源。

2. 2.2数据仓库的定义及特点

目前大家公认的数据仓库创始人Wi l l iam H. Inmon在他所著的《建立数据仓库》一书中对数据仓库所下的定义是数据仓库是在企业管理和决策中面向主题的、集成的、不可更新的、随时间不断变化的数据集合。 由这个定义可以看出数据仓库主要有以下四个特点

面向主题主题是在一个较高层次上将数据进行综合、归类并进行分析利用的抽象。面向主题的数据组织方式就是在较高层次上对分析对象的数据的完整、一致的描述能统一地刻画各个分析对象所涉及的企业的各项数据 以及数据之间的关系

集成的 由于各种原因数据仓库的每个主题所对应的的数据源在原有的分散数据库中通常会有许多重复和不一致的地方 而且不同联机系统的数据都和不同的应用逻辑绑定所以数据在进入数据仓库之前必须统一和综合这一步是数据仓库建设中最关键、最复杂的一步

不可更新的数据仓库的数据反映的是一段相当长的时间内历史数据的内容主要供企业决策分析之用。与面向应用的事务数据库需要对数据作频繁的插入、更新操作不同数据仓库中的数据所涉及的操作主要是查询和新数据的导入一般不进行修改操作

随时间不断变化的数据仓库系统必须不断捕捉OLTP数据库中变化的数据并在经过统一集成后装载到数据仓库中。同时数据仓库中的数据也有存储期限会随时间变化不断删去旧的数据只是其数据时限远比操作型环境的要长比如根据需要可保存10年内的历史数据

北京邮电大学硕士学位论文

3

基于CW M的数据仓库体系结构设计

数据模型是对现实世界的一种抽象 根据抽象程度的不同也就形成了不同抽象层次上的数据模型。类似于操作数据库的数据模型数据仓库的数据模型也可分为三个层次概念模型逻辑模型和物理模型。

概念模型是客观世界到计算机系统的一个中间层次 它最常用的表示方法是E-R法实体-关系 。 目前数据仓库一般是建立在关系型数据库的基础之上所以其概念模型与一般关系型数据库采用的概念模型相一致。

逻辑模型指数据的逻辑结构如多维模型、关系模型、层次模型等。数据仓库的逻辑模型描述了数据仓库的主题的逻辑实现 即每个主题对应的模式定义。

物理模型则是逻辑模型的具体实现如物理存取方式、数据存储结构数据存放位置以及存储分配等。在设计数据仓库的物理模型时需要考虑一些提高性能的技术如表分区建立索引等。

目前对数据仓库模型的讨论大多集中在逻辑模型其中最常用的是多维模型。数据仓库的多维模型主要有如下几个概念

维维是人们观察数据的特定角度。比如企业常常关心不同销售数据随时间

的变化情况所以时间就是一个维

维的层次人们观察数据的某个特定角度还可以存在细节程度不同的多个描述

方面这就是维的层次。一个维往往有多个层次 比如描述时间维时可以从

年份、季度、月份、天等不同层次来描述那么年份、季度、月份和天就是时

间维的层次

维成员维的一个取值称为该维的一个成员。如果一个维是多层次的 那么该

维的成员就是在不同层次取值的组合。比如时间维有年份、月份和天这三个层

次那么分别在它们之上各取一个值组合起来就得到日期维的一个成员即“某

年某月某日”

度量度量描述了要分析的数值 比如销售额等

2. 2.4数据仓库的建设

企业级数据仓库的建设通常有两种途径一种是从建造某个部门特定的数据集市开始逐步扩充数据仓库所包含的主题和范围最后形成一个能够完全反映企业全貌的企业级数据仓库另外一种则是从一开始就从企业的整体来考虑数据仓库的主题和实施。

前一种方法类似于软件工程中的“自底向上”的思想投资少、周期短且易于见到成果但由于该设计开始时是以特定的部门级主题为框架的 向其它的部门和主题扩充往往比较困难。而最后一种方法恰恰相反 “自顶向下”投资大、

北京邮电大学硕士学位论文

4

基于CW M的数据仓库体系结构设计

周期长。在企业的实际应用中往往采用前一种方法。 “自底向上”地建设数据仓库并不意味着不需要在设计阶段的长远规划。采用逐步积累的方式建立数据仓库最大的问题就是已有的框架无法把新的业务集成进来。 因此在设计阶段就必须充分考虑这一点。例如部门级的主题是否有助于形成企业级的主题数据抽取模块是否能重用等。数据仓库的长远规划并不仅仅是技术部门的事情应当把数据仓库的构建作为企业发展战略的一个组成部分。在设计阶段需要不同部门的沟通和协调技术框架和系统设计必须从整个企业的角度来考虑 即使刚开始实施的时候是面向某个部门的。从这一点来看建立一个企业级的数据仓库主要的障碍不在于技术而是不同部门之间的组织、协调问题。

2. 2.5数据仓库的应用一OLAP

数据仓库作为决策支持系统的数据源其构建工作只是基础要想得到对决策有用的信息或对数据仓库中的数据作灵活、 多角度的探察还必须借助一些分析展示工具。

O LAP 在线分析处理是基于数据仓库的分析展示方法之一它建立在多维数据视图的基础上。主要有两个特点一是在线性体现为用户请求的快速响应和交互式操作二是多维分析这也是OLAP技术的核心所在。

根据数据组织方式的不同 OLAP可分为两种基于多维数据库的MD-OLAP和基于关系数据库的R-O LAP。前者响应速度快执行效率高但源于结构的局限灵活性不高。与之相比后者由于建立在大量现有数据库的基础上 灵活性、可扩展性要高的多并且支持大数据量和较多维数的能力也要强于前者。因此 虽然在相应速度和执行效率上差一点但仍然得到更广泛的应用。

O LAP对数据仓库中数据的操作是针对多维数据视图或称为立方体进行的。其中比较典型的有切片、切块以及旋转等。

切片指选定多维数组的一个二维子集

切块指选定多维数组的一个三维子集

旋转指改变一个立方体显示的维方向使人们可以从不同的角度更加清晰直观

地观察数据

2.2.6国内数据仓库建设过程中的若干问题

数据仓库的建设工作在我国起步较晚但是发展却极为迅速。笔者在做论文

之前参与了多个电信部门数据仓库项目的设计和开发 学到了很多知识 同时也深深体会到国内的企业在数据仓库基础设施以及行政支持方面与国外相比 仍然存在很多缺陷。首先是基础设施 国内企业的不足主要表现在数据的积累少而不全原有数据库系统设计比较混乱而且用户资料匮乏。 另外 由于数据仓库项目一般投资巨大

北京邮电大学硕士学位论文

5

基于CW M的数据仓库体系结构设计

成本回收周期长 中小企业一般无力做这方面的尝试 即使是大型企业也往往缺乏有长远战略眼光的领导大部分企业的决策者虽然也有建设数据仓库的实际需求但却很难善始善终地坚持下去。

当然数据仓库的建设在我国还处于起步和探索阶段难免会出现一些问题。随着国内外竞争的加剧企业必然会愈来愈充分地认识到信息以及提高决策水平的重要性因此数据仓库在中国必然会有很广阔的应用前景。

2.3元数据概述

2.3. 1引言

元数据通常的定义是“关于数据的数据” 比如传统数据库中的数据字典就是一种元数据。近年来随着计算机技术应用的广泛化元数据得到人们越来越多的关注这是由多方面的需求决定的。

首先是管理数据的需求。当系统数据量越来越大时检索、使用这些数据的效率就会降低通过存储关于系统和数据的内容、组织、特性等细节可以帮助有效地进行管理从而提高效率。

第二是系统分布、互通和重用的要求。目前信息系统一个共同的趋势就是信息共享要实现异构系统中的信息共享就需要描述数据语义、软件开发过程的元数据而且这些元数据必须标准化 以充分实现分布、互通和重用。

第三是元数据重用、综合的需求。 目前很少有单一工具能满足大型商业应用的需求用户常常需要使用多种工具的组合不同工具之间的数据交换的途径之一就是通过标准的元数据。这一点正是本论文的设计基础。

2.3.2元数据的定义和分类

元数据通常定义为描述数据的数据 旨在便利存取、管理、共享和处理大量结构化和/或非结构化的数据。在过去的几年里元数据的概念在现实中大量使用有时为了支持信息检索有时为了软件配置有时为了不同系统之间的数据交互。对于不同领域的专家元数据有着不同的应用但至少有两点是共同的 元数据对数据进行描述元数据的存在是为了更有效地使用数据。

对于元数据从不同的角度来观察可以划分为不同的类别。

1.按照与特定领域是否相关元数据可以分类为

与特定领域相关的元数据描述特定领域内数据在此特定领域内的公共属性

与特定领域无关的元数据描述所有数据的公共属性

与模型相关的元数据描述信息和元信息建模过程的数据。此类元数据又可分

北京邮电大学硕士学位论文

6