数据仓库是什么为什么要建立数据仓库

典型的数据仓库系统包括哪几部分

?（一）数据源是数据仓库系统的基础，是整个系统的数据源泉。

通常包括企业内部信息和外部信息。

内部信息包括存放于rdbms中的各种业务处理数据和各类文档数据。

外部信息包括各类法律法规、市场信息和竞争对手的信息等等；（二）数据的存储与管理是整个数据仓库系统的核心。

数据仓库的真正关键是数据的存储和管理。

数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。

要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。

针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。

数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。

（三）olap(联机分析处理)服务器对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。

其具体实现可以分为：rolap（关系型在线分析处理）、molap（多维在线分析处理）和holap（混合型线上分析处理）。

rolap基本数据和聚合数据均存放在rdbms之中；molap基本数据和聚合数据均存放于多维数据库中；holap基本数据存放于rdbms之中，聚合数据存放于多维数据库中。

（四）前端工具主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以数据挖掘及各种基于数据仓库或数据集市的应用开发工具。

其中数据分析工具主要针对olap服务器，报表工具、数据挖掘工具主要针对数据仓库。

-----------------------------由安信公司历经4年研发的监测数据管理平台，采用独创的技术架构，在b/s架构上融入c/s模式，囊括了实验室管理系统、监测站公自动化、监测站综合业务管理系统、监测数据上报系统等诸多系统，把各个系统有机融合在一起，不同的业务科室展现不同工作页面，内部却又实现了数据共享。

系统页面简单大方，操作轻松方便，在不增加实验室工作量的情况下，能够让监测数据进入系统中，原始记录单等诸多实验室报表可协助生成（不完全生成，需人工签字），随后科室比如质控、综合、主管领导即可对数据进行多层次利用查询，并自动生成各类监测报表。

系统采用流程化工作模式，对不同监测任务实施不同工作流，保证工作的科学和严谨，对于单位内部职工每天待事宜清晰显示，让内部职工对每天工作都一目了然。

系统工作流程可自由配置，工作单可根据按照配置流转相应单位，并且可以对工作流程进行追踪查询，作为领导可以查看到每一项安排工作的流转情况、完成情况和监测结果。

系统支持短信功能，对于领导等科室一些紧急任务可在系统下达后，立刻用短信通知相应工作人员，对于单位紧急通知等也可以进行短信通知，让监测站的工作更加快捷高效。

系统提供深层次数据挖掘功能，能够根据监测数据，快速提供某监测点的多方位数据，比如历年来某月cod的监测数据变化，几年来某项监测数据的月平均值变化等等，为监测站领导决策提供科学依据。

系统生成报表功能强大，除自身已包含众多报表外，可迅速生成word下各种客户要求的监测报表，并且查阅维护方便。

系统作为平台拓展性强，可以融合其他系统与平台上，并且后期功能升级方便不影响前期功能。

目前系统已经在多个地方监测站运行，从使用效果来看是比较实用的。

数据仓库工程师是什么

"数据仓库工程师" 的概念比较笼统, 先解释"数据仓库" 吧, 顾名思义是近乎企业所有业务系统数据的集合体, 用于分析与决策支持. 而做与数据仓库的建设/维护项目相关的工作, 均可以称之为"数据仓库工程师" 常见的两类"数据仓库工程师" : ETL工程师: 主要负责数据从业务系统(数据源) 抽取/转换/加载 到数据仓库的实现 报表工程师: 主要负责数据从仓库到前台报表的展现

数据库是什么东西？有什么用？

数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，它产生于距今五十年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。

数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。

定义1 　　严格地说，数据库是“按照数据结构来组织、存储和管理数据的仓库”。

在经济管理的日常工作中，常常需要把某些相关的数据放进这样的“仓库”，并根据管理的需要进行相应的处理。

例如，企业或事业单位的人事部门常常要把本单位职工的基本情况(职工号、姓名、年龄、性别、籍贯、工资、简历等)存放在表中，这张表就可以看成是一个数据库。

有了这个"数据仓库"我们就可以根据需要随时查询某职工的基本情况，也可以查询工资在某个范围内的职工人数等等。

这些工作如果都能在计算机上自动进行，那我们的人事管理就可以达到极高的水平。

此外，在财务管理、仓库管理、生产管理中也需要建立众多的这种"数据库"，使其可以利用计算机实现财务、仓库、生产的自动化管理。

　　J.Martin给数据库下了一个比较完整的定义：数据库是存储在一起的相关数据的集合，这些数据是结构化的，无有害的或不必要的冗余，并为多种应用服务；数据的存储独立于使用它的程序；对数据库插入新数据，修改和检索原有数据均能按一种公用的和可控制的方式进行。

当某个系统中存在结构上完全分开的若干个数据库时，则该系统包含一个“数据库集合”。

定义2 　　数据库是依照某种数据模型组织起来并存放二级存储器中的数据集合。

这种数据集合具有如下特点：尽可能不重复，以最优方式为某个特定组织的多种应用服务，其数据结构独立于使用它的应用程序，对数据的增、删、改和检索由统一软件进行管理和控制。

从发展的历史看，数据库是数据管理的高级阶段，它是由文件管理系统发展起来的。

定义3 　　(伯尔尼公约议定书专家委员会的观点) 　　所有的信息(数据事实等)的编纂物，不论其是以印刷形式，计算机存储单元形式，还是其它形式存在，都应视为“数据库”。

　　数字化内容选择的原因有很多，概括起来主要有： 　　(1)存储空间的原因。

数字化的产品是通过网络被广大用户存取利用，而大家都知道数字化产品是存放在磁盘阵列上的，磁盘阵列由服务器来管理，磁盘空间是有限的，服务器的能力也是有限的，不可能无限量地存入数字资源，这就需要我们对文献资源数字化内容进行选择。

　　(2)解决数字化生产高成本和图书馆经费有限性之间矛盾的需要。

几乎没有图书馆有充足的资源来对整个馆藏进行数字化，内容选择不可避免。

　　(3)数字资源管理的需要。

技术的快速发展使数字化项目所生成的数字资源的生命周期越来越短，投入巨资进行数字迁移是延长数字资源生命的1个重要途径，昂贵的维护成本就必须考虑数字化的内容选择。

　　数据库发展史数据库技术从诞生到现在，在不到半个世纪的时间里，形成了坚实的理论基础、成熟的商业产品和广泛的应用领域，吸引越来越多的研究者加入。

数据库的诞生和发展给计算机信息管理带来了一场巨大的革命。

三十多年来，国内外已经开发建设了成千上万个数据库，它已成为企业、部门乃至个人日常工作、生产和生活的基础设施。

同时，随着应用的扩展与深入，数据库的数量和规模越来越大，数据库的研究领域也已经大大地拓广和深化了。

30年间数据库领域获得了三次计算机图灵奖（C.W. Bachman,E.F.Codd, J.Gray），更加充分地说明了数据库是一个充满活力和创新精神的领域。

就让我们沿着历史的轨迹，追溯一下数据库的发展历程。

　　传统上，为了确保企业持续扩大的IT系统稳定运行，一般用户信息中心往往不仅要不断更新更大容量的IT运维软硬件设备，极大浪费企业资源；更要长期维持一支由数据库维护、服务器维护、机房值班等各种维护人员组成的运维大军，维护成本也随之节节高升。

为此，企业IT决策者开始思考：能不能像拧水龙头一样按需调节的使用IT运维服务？而不是不断增加已经价格不菲的运维成本。

定义4 　　数据库（DataBase，DB）是一个长期存储在计算机内的、有组织的、有共享的、统一管理的数据集合。

它是一个按数据结构来存储和管理数据的计算机软件系统。

数据库的概念实际包括两层意思： 　　（1）数据库是一个实体，它是能够合理保管数据的“仓库”，用户在该“仓库”中存放要管理的事务数据，“数据”和“库”两个概念结合成为数据库。

　　（2）数据库是数据管理的新方法和技术，它能更合适的组织数据、更方便的维护数据、更严密的控制数据和更有效的利用数据。

为什么要建立数据仓库

（DDS）是在管理信息系统的基础上发展起来的，在数据仓库、OLAP技术和数据挖掘工具出现以前，就已经有DSS了，但其在实际应用开发过程中暴露出许多问题，Dw为克服传统DDS存在的问题提供了技术上的支持，基于DW上的DSS效果自然有很大提升），能帮助老板了解企业的整体全貌，看到数据仓库提供的经过整理统计归纳的数据后老板凭自己的管理经验可以发现企业问题或困 难或成功因素在哪一方面，然后可以不断的追溯数据，直到确定到最具体的细节上，这样能 够不断提升老板或管理层的管理水平，不断改善企业的管理。

我们知道的最好的一个例子就 是美国某大型超市啤酒和尿布的故事。

数据库是数据仓库的基础。

数据仓库实际上也是由数据库的很多表组成的 （这句话明显不成立，数据仓库里表分为事实表和维表，这和数据库里的表还是有本质区别的，组织方式完全不一样，一个是面向主题，一个是面向业务的）。

需要把存放大量操作性业务数据的数据库经过筛选、抽取、归纳、统计、转换到一个新的数据库中。

然后再进行数据展现。

老板关注的是数据展现的结果