数据内存数据库

收稿日期:2003-11-17;修返日期:2004-03-24面向流数据的数据管理系统的研究桂浩1,冯玉才1,李又奎2(1.
华中科技大学计算机学院,湖北武汉430074;2.
华为技术有限公司南京研究所,江苏南京210044)摘要:传统关系数据库系统通常用来存储没有时间概念的相对静止的数据,对于一些新的应用领域,信息是以数据序列的形式产生并且需要实时地、持续地进行处理,这就超出了传统系统的解决能力.
数据流数据管理系统是面向流数据而设计的数据管理系统,它能有效地处理输入流数据并提供持续检索的功能.
从整体上分析数据流管理系统的体系结构,重点讨论基于流数据的数据模型和流查询.
关键词:数据流管理系统;数据库;流查询中图法分类号:TP311文献标识码:A文章编号:1001-3695(2005)01-0088-03ResearchonStreamingData-OrientedDataManagementSystemGUIHao1,FENGYu-cai1,LIYou-kui2(1.
SchoolofComputerScience,HuazhongUniversityofScience&Technology,WuhanHubei430074,China;2.
ResearchInstituteofNanjingHuaweiTechnologies,NanjingJiangsu210044,China)Abstract:Usuallyweusetraditionaldatabasestostorerelativelystaticrecordswithoutthenotionoftimeforourapplications.
Butinformationnaturallyoccursintheformofasequence(stream)ofdatavaluesandneedsreal-time,continuousprocessingwhichtheoldsystemscan'tprovide.
DataStreamManagementSystem(DSMS)isandedicateddesignedenvironmentwhichhasthemechanismtomanagethestreamingdatawiththesupportingofpersistentqueries.
DelveintothearchitectureofDSMSwithanemphasisondatamodels,continuousqueries.
Keywords:DataStreamManagementSystem(DSMS);Database;ContinuousQueries1引言传统的数据库(如关系、对象数据库)存储的是相对静止的数据,在这类数据库系统中某一时刻数据的快照都是固定的"当前视图",即在数据库中的信息是其在一个非特别指定时刻的瞬像,但在一般情况下我们认为数据是"当前"的.
为了通过数据库系统中数据的变化来反映现实世界中事物的发展,需要采取一些相应的处理方法.
如在关系数据库管理系统中,用户可以在数据库记录中添加利用Datetime等数据类型定义与特定的应用相关的时间属性,以此将事物的发展和变化记录到数据库系统中.
但是,这样的存储方式以及能够提供的对基于时间的数据的管理能力是非常有限的,无法满足复杂应用的需求.
传统的数据库管理系统能够在其基础上通过逻辑模型、物理模型的设计建立许多复杂的应用系统,实现数据的永久化存储,但是对时态数据的处理能力低下,对于许多新的尤其是现代应用它是不够的[5].
在许多现代应用中,查询所得的"当前版本"甚至是毫无意义的.
在计量学、观察、策略分析等领域中,像股票的价格、传感器的输出、网络监听和流量监测、电话通信等方面,其时间特性是事物内在固有的.
在这些应用环境中,信息以流数据的形式输入,实时的、连续的、有序的数据序列不断抵达,没有终点.
我们把这种一系列连续且有序的点组成的序列(X1,…,Xi,…,Xn)称为数据流.
通常,按照其固定的次序对序列中的数据线性扫描,由于数据频繁的变化,一般只对数据进行一次或者几次读取.
由于数据对象和查询方式的显著的变化,需要一种新的数据模型、新的查询检索规范来分析和管理数据流信息,于是数据流数据管理系统(DSMS)就应运而生.
2数据流数据管理系统的概念和特点2.
1数据流管理系统概述数据流数据管理系统基本的体系结构如图1所示.
图1DSMS系统的基本结构输入控制器(InputController)的功能是调整输入数据流的速度,提供一定的缓冲功能.
用户的查询首先通过人机界面进行查询注册,统一存放在查询存储区中,查询计划一旦开始便持续运行.
数据流数据管理系统支持多个查询的并发执行,任一个查询对应着一个或多个基于流数据库查询的应用.
查询处理器通过与输入控制器的信息交互,可以根据输入数据流的速度或者其他的因素对查询进行优化处理.
不同于传统数据库管理系统的输入,待处理的信息以变化的、无终点的数据流形式进入系统,要想像在关系数据库将所有需要处理的输入信息以记录的形式全部保存是不现实的,但同时系统的联机决策功能又需要对历史信息进行查询.
通常,·88·计算机应用研究2005年陨灶责怎贼凿葬贼葬泽贼则藻葬皂陨灶责怎贼凿葬贼葬泽贼则藻葬皂韵怎贼责怎贼月怎枣枣藻则砸藻泽怎造贼凿葬贼葬泽贼则藻葬皂陨灶责怎贼糟燥灶贼则燥造造藻则匝怎藻则赠责则燥糟藻泽泽燥则杂怎皂皂葬则赠韵贼澡藻则杂贼燥则葬早藻葬则藻葬哉泽藻则匝怎藻则赠砸藻责燥泽蚤贼燥则赠匝怎藻则赠造燥葬凿藻凿哉泽藻则则藻早蚤泽贼藻则择怎藻则蚤藻泽DSMS中设有摘要信息存储区和其他信息存储区,这是一种折中的处理方式,根据系统能够利用的存储空间的大小,系统自动保存近似的历史摘要,摘要的准确程度与该存储区的大小直接相关,当然还需要有能对当前数据流信息和近似摘要信息进行查询的近似查询机制的支持,因为用到的历史信息的值不是完全精确的,所以这种查询的结果也是近似的.
通常,根据摘要缓存区大小和摘要信息数据结构的安排与设计,系统能够返回具有一定精度的查询结果.
数据流数据管理系统和传统的数据库管理系统从数据模型到功能上都有较大的区别,它们分别适用于各自特定的应用环境,如表1所示.
表1DSMS与传统DBMS系统的几点差别传统的数据库系统(DBMS)数据流管理系统(DSMS)设计原则旨在处理永久性数据,其设计与开发主要强调维护数据的完整性、一致性,不考虑与数据及其处理相关联的时限针对具有简单结构与联系、稳定和可预报数据(或资源)要求的任务的,支持数据及其处理的实时限制对象静态存储的信息,可在任何需要的时候进行存取、检索以连续的、有序的"流"形式输入,经过在线检索后,输入的数据被淘汰或者归档,其中被淘汰的数据无法进行二次检索典型操作在持久的关系上进行一次查询,可对欲检索的记录集随机存取对暂态的流数据进行持续的检索,对输入的流数据进行顺序扫描数据存储利用外存储器保持历史数据,容量近乎无限.
数据的存储由应用程序通过数据管理语言显式执行(被动方式)存储和处理都在有限的主存中进行,容量有限.
数据的摘要信息由系统提取并更新(主动方式),过期的历史数据不予保存数据有效性查询所得结果表示"当前状态",即有效数据没有"当前状态",数据序列中数据分量的到达时间及其到达顺序决定检索结果从表1分析介绍可知,DSMS是一种新的处理数据信息的思路,在技术上涉及到一系列的当代数据库技术,包括分布式数据库技术、内存数据库技术、主动数据库技术、时态数据库技术、实时数据库技术等,但又不可能被其中某一种所代替.
2.
2数据流管理系统应用实例及发展方向数据流管理系统具有强大的流数据建模和管理能力,随着数据流处理需求的日益增多,数据流管理系统在越来越多的应用领域开始崭露头角[1,2].
(1)传感器网络:数据对象—外界环境信息数据;查询—对多源信息聚集(Aggregate)和交(Join),获得运行状态,做决策分析.
(2)网络安全:数据对象—数据包流,用户的会话信息;查询—URL过滤,异常监测,网络攻击和病毒来源.
(3)网络流量:数据对象—流量矩阵,包括源目双方占用带宽、通信协议、地址及子网掩码;查询—确定网络可能发生拥塞的区域,分析Denial-of-Service攻击的发生.
(4)金融领域:数据对象—交易数据流,股票行情,消息反馈;查询—预测行情走势,分析套汇可能性,挖掘数据之间的相关性.
这几种典型的应用充分显示了数据流管理系统的应用前景和趋势,同时,DSMS的开发与数据流技术的研究也面临着前所未有的机遇和挑战.
在数据流管理系统的研究领域中,目前包括以下几个主要的研究方向:(1)流数据建模方法(StreamDataModel).
(2)流检索/查询建模(StreamQueryModel):①流查询技术(ContinuousQueries);②滑动窗口技术(SlidingWindows)(3)流数据挖掘(StreamDataMining):①流数据群集和摘要(Clustering&Summarization);②流数据相关性分析(Correla-tionofDataStreams);③流数据分类(ClassificationofStreamDa-ta).
3面向流数据处理的数据模型实时数据流是由以时间顺序到达的一系列的数据元素构成,由于数据序列的这种输入的特性和数据处理实时性的要求,通常仅对数据流进行一次或有限次的顺序扫描.
从逻辑上看,数据序列中的一个数据元素可能对应着关系数据库表中的一个元组或者是对象数据库中的一个对象的实例.
如何在有限次的顺序扫描中完成对流数据的相应操作,这是DSMS系统在处理持续的、大量的实时流数据对象时要解决的最关键的问题.
对于传统的关系数据库而言,数据存储在结构化的关系中,对其进行的查询操作是精确的;而对数据流管理系统,输入的流数据对应的是无穷的、快速变化、持续增长(AppendOnly)的实时信息,无法完成精确的查询处理,因为不可能存储所有的数据.
另一方面,由于数据信息的时效性,也没有必要去花费大量的空间和时间去管理已经过期的数据.
于是产生了数据流窗口的概念,即在某一时刻有效的数据是这个数据流输入序列的一个片段.
透过这个数据流窗口,我们所能看的这部分数据序列片段,就是系统当前进行处理的数据对象.
定义窗口数据模型,包括以下几个方面:(1)数据流窗口端点的移动方向.
①固定窗口:数据流窗口的两个端点均固定.
②滑动窗口:数据流窗口的两个端点同时向前或向后滑动(固定窗口大小),新的数据元素抵达时,窗口中最早的数据元素淘汰.
③界碑窗口:数据流窗口的一个端点固定,另一个端点向前或向后滑动.
(2)数据流窗口大小的量度.
①物理型:用时间差值来定义窗口的大小.
②逻辑型:用窗口中数据元素的个数来定义窗口的大小.
(3)更新间隔.
①主动更新:每当一个新的元素进入窗口,便认为窗口改变,进行相应的计算处理.
②懒惰更新:每当窗口中新的元素的个数大于指定值,才认为窗口改变,进行相应的计算处理.
4面向流数据的查询机制下面来对比一下传统数据库管理系统与数据流管理系统对输入数据和查询的处理过程.
如图2(a)所示,在传统的数据库模型中查询从应用程序发起,由DBMS的查询优化、执行机制来运行,然后从外存储器将中间结果载入主存中以便完成进一步的检索,最后将所需的结果返回给发起查询的应用程序.
而对于数据流管理系统而言,其查询的处理过程有所不同.
(1)传统查询只在某种预定义时刻或条件下(Pull-based)进行一次或几次数据检索;而流查询由输入的数据流驱动(Push-based),一旦开始则将持续执行,而输入数据流是无限·98·第1期桂浩等:面向流数据的数据管理系统的研究的、不断增长的数据序列.
图2两种系统对数据的处理过程(2)传统查询的产生和执行是动态的,其检索条件可能是随实际情况变化的;而流查询相比而言是静态的,其查询计划是在流查询开始执行之前就已经完成了定义工作.
(3)传统查询的数据对象是相对稳定的,至少在查询进行的过程中被认为是不变的;而流查询的数据对象则不断的变化,持续增长.
(4)传统查询执行的过程中可以利用索引等技术对数据对象进行随机存取,查询执行的次数完全取决于应用系统;而流查询对于持续输入的数据流只能采取线性扫描算法,在数据对象过期之前进行有限次数的查询.
在图2(b)中,输入和输出都是数据流,比较形象的理解可以将查询计划的执行看作一把筛子,将符合检索条件的输入数据流中的信息导出到输出数据流.
假设有查询SelectVISITERSwhoaccessSERVERwww.
hust.
edu.
cn.
当有客人访问www.
hust.
edu.
cn的主机SERV-ER的时候,他的信息便会被查询工作导向输出数据流.
图2中Store区域中存储的是历史信息,包括以前流数据信息的摘要和一些聚集函数的结果,如max(S),sum(S)等.
假设有SelectNumofVISITERSwhoaccessSERVERwww.
hust.
edu.
cninawholeday.
对于类似这样的查询计划,系统无法根据当前的流数据信息进行回答,必须等到一天工和结束后,根据全天的统计数据进行计算.
那么,每当一个客人访问www.
hust.
edu.
cn的主机SERVER时,就会保存VISITERS的信息摘要,并将VISITERS计数器加1.
Scratch区中保存的是参加运算的临时信息,比如查询计划的执行要进行两组元素的连接运算,那么会利用该区暂时保存一组参加运算的数据元素,直到另一组抵达后开始计算过程.
而过期的或是不与任何当前的查询计划相关的数据流信息则将被送往Throw区,淘汰出系统.
为了支持传统的应用模式,DSMS查询机制保留了对一次性查询计划(One-timeQueries)的支持,即在某个时间点对快照数据进行的一次查询,执行完毕后即从查询计划区中清除.
与它相对的就是前文中所提及的流查询(ContinuousQueries).
根据查询计划在系统中注册的时间和执行策略,查询计划又可以分为两种:①预定义查询(PredefinedQuery),在相关的流数据到来之前完成查询计划的制定,通常执行方式为流查询方式,即对输入流持续检索;②特定查询(AdhocQuery),在有些情况下,流数据输入开始后,根据需要可能要追加定义新的查询计划,这时制定的新的查询计划称为特定查询.
特定查询的执行方式可以为一次性查询或者是流查询.
特定查询的进入增加了DSMS系统在应用中的生命力,但也使得系统的实现变得更加复杂.
具体的流查询语言种类较多,代表性的有AQuery,Aurora,CQL,StreaQuel等,分别来自不同的DSMS系统[3].
根据查询规范大体可分为三类:基于关系的查询语言、基于对象的查询语言和程序性查询语言.
它们提供的具体查询操作不同,对流数据窗口的支持也有区别,在此不作详细的讨论.
无论是何种流查询语言,为了提供对流数据信息的有效查询检索,一些共同的问题是必须要考虑和解决的.
(1)非分块查询操作符(Non-blockingOperator)分块查询操作是指在检索数据的过程中,必须在对所有的输入数据完成扫描后才能计算输出的结果.
比如在传统的关系数据库管理系统中,两个表的连接操作的执行过程如下:首先在表1中找到第一个元组,然后从头开始扫描表2,逐一查找满足连接条件的元组,找到后就将表1中的第一个元组与该元组拼接起来,形成结果表中一个元组.
表2全部查找完后,再找表1中第二个元组,然后再从头开始扫描表2,…,重复上述操作,直到表1中的全部元组都处理完毕为止.
数据流管理系统中的查询计划不能使用分块查询操作符,扫描所有的输入信息在DSMS中是无法完成的,这是由输入流数据的性质决定的.
因此需要其他技术的引入,使得分块操作不必扫描所有输入,即转换为非分块操作.
通过定义窗口数据模型、使用增量计算方法和规定流数据约束条件,都可帮助系统进行非分块操作.
窗口数据模型用来将输入信息的扫描范围限定在窗口内,而增量计算使得操作符对新的增量信息是可计算的,这两种方法的结合便能有效地将分块操作(Blocking)转换为非分块操作(Non-blocking).
具体的实现过程也随不同的DSMS而不同,在本文中不作详细分析.
(2)近似算法(ApproximateAlgorithm)DSMS系统中近似算法在前文中已作大致讨论,其作用就是为系统提供输入数据约简和摘要、聚集信息生成的功能.
近似算法在系统中实际上指的是一系列算法,而不是具体的某一个,其中包括计数算法、哈希算法、采样算法和小波变换.
对用户而言,正确的使用适当的近似算法,才能使得应用系统能够产生符合精度的、有效的查询结果.
DSMS系统查询语言的研究并不仅限于此,各种技术不断涌现,比如有序性检测、数据流挖掘、分布式多数据流查询等.
而新的技术的产生无疑又能赋予数据流管理系统更强的信息处理能力,并同时拓宽其应用范围.
5总结计算机、网络、通信技术之间的相互渗透和信息技术发展的数据化、综合化已成趋势,传统的电路交换向分组交换演进,信息的传输、交换、处理逐渐融合.
传统的数据库管理系统对于许多现代应用已明显无法适应了.
在新的工程领域中新型的电子数据单元层出不穷,比如GPS和微传感器,它们不断从所处的外界环境中获得采样信息,持续的产生出大量的实时数据,而如何及时地、有效地对这样大量快速变化的异步数据流进行(24*7)的不间断处理正是相关应用中至关重要的环节,也是数据流数据管理系统(DSMS)致力解决的问题.
数据流数据管理系统是一种新的数据管理系统,是一种新的处理数据信息的方法,包括专门针对流数据(下转第133页)·09·计算机应用研究2005年阅葬贼葬蕴燥葬凿藻则匝怎藻则赠孕则燥糟藻泽泽燥则粤责责造蚤糟葬贼蚤燥灶匝怎藻则赠员匝怎藻则赠员噎噎砸藻葬怎造贼员砸藻葬怎造贼圆噎噎数据流员左数据流圆数据流灶匝怎藻则赠砸藻泽怎造贼杂贼则藻葬皂杂贼燥则藻杂糟则葬贼糟澡穴葬雪传统的数据库模型查询执行与数据存取流程穴遭雪数据流管理系统查询执行与数据存取流程猿园遭用时:①调用者将在私有UDDI注册中心中查询被调用者的EJWS;②调用者向被调用者发起商业调用.
整个通信过程采用JMS协议.
(2)而当企业客户从企业域外访问企业所提供的服务时,封装产生的EJWS将被发布到企业域外的公有UDDI注册中心之中.
企业客户在向EJWS发起调用之前,需要从公有UD-DI注册中心中查询被调用的EJWS,然后实行商业调用.
整个通信过程采用HTTP协议.
6结束语近年来WebService技术的研发与应用发展很快,如.
NET,SUNONE,IBM的动态电子商务等等,但这些工作的主体是把WebService作为一种Web组件的抽象接口来看待;企业级JavaWeb服务主要是通过将原有的WebService抽象接口映射成为一种分布式组件实体.
同时,企业级的应用要求WebService支持一对一/多、同/异步有响应、无响应的多种调用方式;支持访问过程中的状态保持;支持对多种异构遗留系统的集成.
因此本文首先通过定义了一个EJWS组件模型,对EJWS的静态结构和处理模式进行详细刻画和约束,来解决上述问题:EJWS定位为一种对话型组件,支持有/无状态的对话过程;基于HTTP和JMS协议来支持对Web服务的多种调用方式;利用灵活的配置来获得多种中间件服务的支持;并通过Web服务的包容性实现了对多种异构遗留系统的集成;然后基于此模型本文设计实现了一个企业级JavaWeb服务运行时系统,系统由客户端、消息中间件和运行时容器三部分组成,支持业务客户端与服务端EJWS的运行交互过程;最后描述了一种该系统的典型应用场景:企业域内基于面向消息中间件的SOA集成应用.
目前在本系统中,SOAP报文采用的传输协议只有HTTP/JMS协议,可以进一步扩展为基于SMTP及TCP/UDP等多种协议;而EJWS商业逻辑的实现形式也可在Java类,EJB/CORBA/COM组件的基础上进行进一步扩展,从而使本系统的集成适应能力更强.
同时,下一步还将该系统的性能优化和应用推广方面展开工作.
参考文献:[1]葛声,马殿富,等.
基于Web服务的网络软件运行平台研究与实现[J].
北京航空航天大学学报,2003,29(10):897-900.
[2]AustinD,etal.
W3CWebServicesArchitectureRequirements[EB/OL].
http://www.
w3.
org/TR/2002/WD-wsa-reqs,2002-04-29.
[3]W3CGroup.
SimpleObjectAccessProtocol(SOAP)1.
2Part0:PrimerW3CWorkingDraft[EB/OL].
http://www.
w3.
org/TR/2001/WD-soap12-part0,2001-12-17.
[4]W3CGroup.
SimpleObjectAccessProtocol(SOAP)1.
2Part1:MessagingFrameworkW3CWorkingDraft[EB/OL].
http://www.
w3.
org/TR/2001/WD-soap12-part1,2001-12-17.
[5]W3CGroup.
SimpleObjectAccessProtocol(SOAP)1.
2Part2:AdjunctsW3CWorkingDraft[EB/OL].
http://www.
w3.
org/TR/2001/WD-soap12-part2,2001-12-17.
[6]W3CGroup.
WebServicesDescriptionLanguage(WSDL)version1.
2,W3CWorkingDraft[EB/OL].
http://www.
w3.
org/TR/2002/WD-wsdl12,2002-07-09.
[7]UDDIOrg.
UDDIversion2.
04APISpecificationUDDIPublishedSpecification[EB/OL].
http://uddi.
org/pubs/ProgrammersAPI-v2.
04-Published-20020719.
pdf.
[8]SUNMicrosystemsInc.
EnterpriseJavaBeans(EJB)[EB/OL].
ht-tp://java.
sun.
com/products/ejb/.
[9]ObjectManagementGroup.
CORBA/CORBAComponentModel[EB/OL].
http://www.
omg.
org/docs/formal/02-06-71.
pdf.
[10]MicrosoftInc.
MTS/ComponentObjectModel(COM)[EB/OL].
ht-tp://www.
microsoft.
com/com/default.
asp.
[11]SunMicrosystemsInc.
JavaTM2PlatformEnterpriseEditionSpecifi-cationv1.
4[EB/OL].
http://java.
sun.
com/j2ee/1.
4/download.
html.
作者简介:王芝虎(1978-),男,四川人,硕士研究生,主要研究方向为分布式计算、电子商务和企业计算;葛声(1973-),男,安徽人,博士,主要研究方向为协同计算、电子商务;张力军(1971-),男,陕西人,副教授,博士,主要研究方向为计算机软件与网络.
(上接第90页)类型设计的数据模型、查询机制及其他算法.
在功能上和适用范围上与现代其他的数据库管理系统有所区别,但是在技术上又有着千丝万缕的联系.
在这种新生的数据管理系统中,能够发现如分布式数据库、内存数据库、主动数据库、时态数据库、实时数据库等不同数据库管理系统技术上的体现.
目前,DSMS技术的研究和系统的开发还处于一个相对无序的状态,大多数是针对某一特定领域的应用设计和开发的.
但从另一个角度来看,这却比较全面地从不同侧面展示了数据流数据管理系统的强大生命力,愈发激励着研究人员进一步探索的兴趣.
另一方面,DSMS相关领域的技术研究中又出现了更有前景的方向,那就是DSMS技术和XML技术的结合[4].
XML技术的引入,使得应用系统间进行复杂的实时流数据交换和处理成为可能,为DSMS系统有效地管理流数据提供了理论上和实际上的规范与指导.
参考文献:[1]tanZdonik.
TheAuroraandMedusaProjects[J].
BulletinoftheIEEEComputerSocietyTechnicalCommitteeonDataEngineering,2003,26(1):3-10.
[2]ChuckCranor.
TheGigascopeStreamDatabase[J].
BulletinoftheIEEEComputerSocietyTechnicalCommitteeonDataEngineering,2003,26(1):27-32.
[3]AbhinandanDas.
ApproximateJoinProcessingOverDataStreams[J].
ACMSIGMODRecord,SIGMOD,2003,(6):40-51.
[4]DanSuciu.
XMLStreamProcessing[EB/OL].
www.
cs.
washington.
edu/homes/suciu.
2003-10.
[5]刘云生.
现代数据库技术[M].
北京:国防工业出版社,2001.
作者简介:桂浩,男,博士,主要研究方向为XML数据库及XML数据流、网络数据库、数据挖掘领域研究;冯玉才,男,教授,博士生导师,主要研究方向为数据库理论研究;李又奎,男,硕士,主要研究方向为数据检测、数据挖掘领域研究.
·331·第1期王芝虎等:企业级JavaWeb服务的研究与实现