多维【精品文档】中国石油数据仓库解决方案

中油决策支持商业智能系统解决方案..........................................................................................2

中油决策支持系统需求分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

数据仓库基本结构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

商业智能方案实施原则. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

总体架构概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6

整体架构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

数据仓库软件平台. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

数据采集. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

数据整合—建立和管理数据仓库. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8

多维模型建立及数据分布. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

前端报表生成和业务分析工具. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11

扩展性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

性能/容量的扩展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

功能的扩展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

系统的安全管理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15

安全级别管理原则. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15

安全级别的技术实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15

商业智能实施方法论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16

数据仓库建立的重要环节. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21

综述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .24

附录1产品优势分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .26

IBM Warehouse Manager/Center(数据仓库管理器/中心). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .26

IBM OLAP Server(多维数据库服务器). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30

数据挖掘工具IBM Intelligent Miner. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31

IBM DB2 UDB. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .33

Brio.Enterprise 6.0. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .36

附录3 IBM公司概况. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .39

- 1 -

中油决策支持商业智能系统解决方案中油决策支持系统需求分析

目前中油管理信息系统 比较分散涉及各部门信息系统70多家、由于这些系统过去设计时都是自成体系 彼此之间的业务处理标准、软件和网络操作平台都存在很大差异因而不能实现资源共享和满足大量财务数据分析的需要更不便结合其他业务系统的数据进行综合分析同时这些存放在异构环境中的财务数据和将来要处于脱机状态的大量历史数据也不便于统一分析查询。所以当务之急是需要通过管理需求分析和业务流程描述对各部门数据和外部数据进行转化、综合整理借助一些工具建立基于数据管理及利用的综合性技术 既保证密集的数据更新处理性能、又能满足查询的快捷性、支持多维分析同时数据的描述方式还要适合非计算机专业人员进行业务上的分析和统计的数据仓库。

IBM商业智能解决方案就是针对中油决策支持系统需求的解决方案。

-2-

数据仓库基本结构

尽管商业智能系统的规模和特点由用户的需求来决定 但系统最终的基本结构往往包括以下几个部分

1 . 数据仓库 用于抽取、整合、分布、存储有用的信息。

一个企业的信息往往分布在不同的部门和分支机构 管理者要综观全局、运筹帷幄 必须能迅速地找到能反映真实情况的数据这些数据也许是当前的现实数据 也可能是过去的历史数据。 因此 有必要把各个区域的数据集合起来 取其精华、 去其糟粕将真实的、对决策有用的数据及时保留下来 随时准备管理人员使用。 因此 数据仓库不仅仅是个数据的储存仓库 更重要的是它提供了丰富的工具来清洗、转换和从各地提取数据 使得放在仓库里的数据有条有理 易于使用。

-3-

2. 多维分析 全方位了解现状。

管理人员往往希望从不同的角度来审视业务数值 例如从时间、地域、 功能来看同一类服务所带来的利润。每一个分析的角度可以叫做一个维 因此 我们把多角度分析方式称为多维分析。 以前 每一个分析的角度需要制作一张报表。 由此产生了在线多维分析工具 它的主要功能 是根据用户常用的多种分析角度 事先计算好一些辅助结构以便在查询时能尽快抽取到所要的信息并快速地从一维转变到另一维 将不同角度的信息以数字、直方图、饼图、 曲线等等方式展现在用户面前。

3. 前台分析工具。

提供简单易用的图形化界面给管理人员 由他们自由选择要分析的数据、 定义分析角度、显示分析结果。往往与多维分析工具配合 作为多维分析服务器的前台界面。

以上三部分是商业智能的基础。 它完成的是对用户数据的处理和整合可以说 它的工作是总结过去。在此基础结构之上商业智能可以发挥更进一步的作用利用数据开采技术发现问题、找出规律达到真正的智能效果 预测将来。

4. 数据开采

数据开采又叫数据挖掘 正如在矿井中可以开采出珍贵的矿石在数据仓库的数据里也常常可以开采出业务人员意想不到的信息。 它比多维分析更进一步。例如 如果管理人员要求比较各个区域某类储蓄在过去一年的情况 可以从多维分析中找答案。但是 如果管理人员要问为何一种储蓄在某地区的情况突然变得特别好或是不好 或者问该储蓄在另一地区将会怎么样 这时数据开采工具可以做出回答。

简单的说 数据挖掘是使用统计、分析等数学方法、 以及电脑学

-4-

习和神经网络等人工智能方式 从大量的数据中 找寻数据与数据之间的关系。这种关系 一般显示数据组之间相似或相反的行为或变化。一个细心的分析者 往往能从这些发掘出来的关系得到启示。而这种启示又很可能使得到它的业者 获得其他竞争者所没有的先机。数据开采要求有数据仓库作基础 并要求数据仓库里已经存有丰富的数据。 因此 在实施商业智能方案时 一般分两步走 第一步实现数据仓库和多维分析 构造商业智能的基础实现分析应用第二步实现数据开采发挥商业智能的特色。商业智能方案实施原则

实施商业智能方案项目工程 与实施传统的应用系统有很大的不同。其中最重要的是商业智能的实施是不断的交流过程只有双方紧密的合作才能取得实施的成功。我们建议工程实施上采取以下原则

 分阶段、循序渐进的原则

任何一个项目的实施都是一个发现问题解决问题积累经验又遇到新问题 再解决 再积累的循序渐进的过程。我们建议企业应根据现有的资源以及今后发展的方向 分阶段、循序渐进的实施商业智能方案。

 实用原则

在第一步实现数据仓库时 尽量针对当前用户最关心的主题并将该主题进行细致分析 尽可能用简单、统一、 易于使用的方式来实现 避免追求片面的复杂和完美。

 知识原则

普遍说来 由于商业智能技术相对而言比较新 企业的信息技术人员对数据仓库、 多维分析、数据开采等系统涉及的知识往往存在着不足或偏差 实际应用经验也很欠缺。 因此 我们建议在实施过程中结合专家培训和服务在商业智能系统的设计、

-5-

开发、 实施当中 逐步培养出企业自己的系统管理、维护和开

发人员。 当系统投入使用时 这些人员可以对系统进行维护和

管理 并负责对最终用户进行培训。

总体架构概述

IBM的数据仓库框架可以分为两个部分

第一部分为数据仓库的建立Build  即根据业务分析的需要从业务系统或其它第三方数据源中提取数据并且进行一系列的整理、转换、清洗的工作将数据存放在设计的数据仓库模型中。 同时 根据分析的具体需要 我们可以将数据加载到多维分析模型中从多个角度来分析数据。在这个过程中很重要的一点是进行元数据的管理 即通过信息编目  Information Catalog将数据仓库的相关信息如数据源、数据目标的描述数据转换的流程和转换的方法公式等等存储起来作为一个共享的资源。一方面可以方便系统管理员的日常维护工作另一方面最终用户可以利用它来查询数据仓库中可用的数据、 生成的报表等等。

第二部分为利用Use 一个成功的数据仓库必须具备良好的可用性。数据仓库所能提供的大量信息如果不能被业务人员和领导决策所利用那么它的价值就不能体现出来。 IBM的数据仓库方案为用户提供多种访问方式如传统的电子表格Excel/Lotus 1 -2-3 、Windows客户端、基于CGI或Java技术的Web访问方式。 同时支持数据以多种丰富的形式展现 如直方图、饼图、趋势图、信号灯等等。

方案由数据采集、数据仓库建立、 多维分析以及前端用户展现等几个部分组成 下面一一加以阐述。

-6-

整体架构

中油数据仓库体系分为两级 总部、勘探、 与生产、天然气与管道、炼油与销售为一级。它们地理上是分布 总部数据仓库可以全局存取。一级数据库下设数据集市。 如下图所示

数据仓库软件平台

中油总部数据仓库采用DB2企业扩展版。多维分析采用DB2OLAPServer。数据挖掘采用DB2 Intelligent Miner。

其它四个勘探与生产、天然气与管道、炼油与销售、化工与销售数据仓库采用DB2企业版。 多维分析采用DB2 OLAP Server。

数据仓库之间采用IBMMQSeries来完成数据通讯。

数据采集

建立数据仓库的先决条件是将各直属及下属企业的数据正确地采集上来。由于中油分布地域较广且分散我们建议使IBMMQSeries来完成各数据仓库与下属单位之间的数据通讯。

-7-

采用IBM MQSeries产品进行数据采集 详细请参见信息系统数据传输及企业业务整合方案建议。

数据整合—建立和管理数据仓库

在建造数据仓库模型的过程中 我们推荐使用IBM的DB2WarehouseManager(DWM)和DataWarehouseCenter(DWC) 。 DWM是IBM数据仓库的管理工具 它提供了元数据管理、数据转换例程

 transformer和跨平台的数据处理程序agent 。 DWC是IBM用来建立数据仓库的工具利用该工具我们可以方便、快捷地构造起数据仓库来。因为我们应该认识到数据仓库必须建立在一个开放的、可更改的结构上 以便能够处理数据和需求的不断膨胀。 DWM和DWC正是这样的工具。

如下图所示 在数据仓库系统中通过DWC可以方便地建立流程(process) 这些视图反映了业务数据的流程、规则。在商业视图中可以定义代理(agent)来自动运行数据传递、清洗和汇总功能这些视图可以按时间、事件运行 或由其它视图触发。代理可以运行在Warehouse Manager服务器上 并且可以有多个代理同时运行在不同平台上以提高效率。Warehouse Manager可通过非常直观的图形化方式管理数据仓库当业务需求发生变化时可以非常方便地修改商业视图 满足变化多端的商业竞争环境。

数据仓库系统可以作为一个开端 逐步完善、扩充后实现中油其它的商业智能应用。

Warehouse Manager管理器建立的数据仓库模型应符合以下设计原则数据仓库在设计过程中应本着主题分析至上而下项目实施至下而上的原则 即需求分析应从主题入手但具体实施应以建立数据仓库模型为基础。数据仓库模型划分的层次结构

第一层为基础层 可将从下属单位采集来的数据做简单过滤和整合后存入数据仓库的基础层基础层的结构与数据源大体保持一致

-8-

性这样做的好处是数据抽取过程中数据转换较少使得抽取处理速度加快 且不容易出错。

第二层为逻辑层 本层是在基础层的基础上 对数据仓库内的数据做进一步的整理 产生一个逻辑视图层。

第三层为应用层 本层在逻辑层的基础上 对数据仓库内的数据做最终的整合使其到达到应用的要求本层将作为多维数据库和生成报表所需的数据源。

数据仓库模型层次划分的好处是 数据仓库的结构清晰 易于维护。

Warehouse Manager详细介绍 请见附件。

多维模型建立及数据分布

建立数据仓库之后 根据需要分析的主题 从数据仓库的应用层抽取相关的数据到DB2 OLAP Server中形成多维模型利用DB2 OLAPServer的强大分析功能 给最终用户提供在线多维分析的功能 能够让最终用户从多个视角充分观察和挖掘数据中包含的信息。

多维模型的建立可以通过DB2 OLAP Server的ApplicationManager进行。 当确定了分析模型以后 我们可以通过建立规则 rule 的方法 即将数据仓库中的一些表映射为OLAP模型中的维 例如将数据仓库中的行所表映射为OLAP模型中的机构。

此多维模型的设计原则 在建立多维模型时 既要考虑到如何体现主题又要考虑到适当的维数尽量使结构紧凑。一个多维模型按一般的经验来看最好不要超过10个维。 因为当维数太多时其各维交叉数据的计算量将成指数倍增长多维数据库也将随之增大这样即耗存储资源、又占用过多的CUP时间且响应查询速度减慢。 当显示的分析结果过于复杂时前台人员也难于理解。所以一定要仔细分割需求功能巧妙组合在保证充分展示主题的同时尽量控制每个多维数据模型的维数。

-9-