结构化基于laudms的云存储应用平台研究与支撑环境开发

基于LaUD MS的云存储应用平台研究与支撑环境开发

1立项依据与研究内容

2011年是我国“十二五”计划的开局之年也是孕育着重大历史发展机遇的一年。与此同时在物联网、云计算的世界背景下中国及全国各省都迎来了千载难逢的信息化和信息产业飞跃发展的历史机遇。在经历软件即是服务SaaS、云计算、物联网和智慧地球等诸多概念困惑之后我们冷静纵观西方发达国家、亚太地区、我国政府和东部沿海各省市以及世界著名软件服务厂商都在以云计算作为未来发展和腾飞的杠杆。然而云南省在信息化水平和信息化产业方面与东部沿海相比存在明显差距即使与中西部部分省市相比还存在不足。 “如何抓住这一历史跨越式发展的机遇 ”是我省迫切需要解决的问题。

在此背景下云南大学软件学院和清华大学软件学院联合提出《基于LaUD MS的云存储应用平台研究与支持环境开发》项目其中 LaUDMS是在清华大学孙家广院士主持的国家核高基项目——“非结构化数据管理系统”支持下集成Hadoop、 HBas e等开源云计算平台的基础上开发的一套可扩展的非结构化数据管理平台。该平台定位于面向云环境中的海量非结构化数据管理平台统一支持音频、视频、图像、文本等常见非结构化数据提供基于样例、基于关键词和基于逻辑表达式的数据检索与查询服务以满足海量数据的在线事务处理OLTP和在线分析处理OLAP等需求具有良好的伸缩性容错性和可扩展性等。云南大学软件学院是云南省唯一一所的全国首批35所示范性软件学院在软件开发以及信息系统开发与集成等方面具有雄厚的实力。因此该项目实施对于云南省信息化水平提升和信息化产业发展、全省电子政务发展和“两化融合”以及旅游信息化发展都具有深远的战略意义。

1.1项目的立项依据

1 云计算应用背景

目前云计算、物联网、智慧地球、 3G世界都是研究和探讨的热点。 2010年10月19日美国市场研究公司Gartner评出了2011年十大战略技术云计算排在第一位[1] 。当今的世界可谓是 “风起云涌”时代。

在美国[2]奥巴马政府宣布接受灵活的云计算技术来支持内部传统的IT部署。据华盛顿邮报报道联邦机构被告知从2012年起要默认使用基于云技术的解决方案——那些安全、可靠、低成本高效率的云解决方案。联邦政府首席信息官CIO Cicek Kundra表示 “随着向云迁移的默认政策政府应该在需要云服务的地方应用云技术提供服务而不是尽可能多的建立云应用。 ”联邦政府拟通过基于云技术采取一系列举措帮助政府实现“2015年前将目前的2100个数据中心减少40%”的目标。

在欧洲发达国家[3] 英国经济与商务研究中心Centre for Economics and BusinessResearch的一份报告显示如果欧盟五个最大的经济体在部分服务中采用云计算在未来五年间一共可以节省6450亿欧元。例如英国若能大力推广云计算 2015年前每年可节省250亿美元。来自英国经济与商务研究中心的经济学家Oliver Hogan说 “云计算不仅可以在微观层面上提高一家企业的IT投资效率和生存率还可以在当前不稳定的经济大环境下在宏观层面上发挥关键作用对欧洲经济的增长至关重要。云计算是将现代IT投资回报最

大化的主要方法之一。有望成为推动欧洲商业投资的重要力量并反过来拉动欧洲经济增长。 ”

在日本[4] 云计算市场正在迅速扩大。 2010年 “公共云计算”领域与2009年相比增长了42 “私有云计算”也实现了30多的年增长率。同时 日本政府致力于培育至2020年达到40万亿日元规模的新市场并开始着手于战略的实施。 2009年7月由日本经济产业省牵头成立由产业界、学术界专家组成的“云计算与日本竞争力研究会”并在2010年8月份推出了包含以下三大目标的研究报告

 开拓全球市场、扩大市场份

 至2020年培育超过40万亿日元的新型服务市场

 通过云计算技术实现二氧化碳相对于1990年减排7。

为了实现这些目标 日本经济产业省特意出台了“培育创新” 、 “完善制度” 、 “营建平台”等“三位一体”的推进政策。

在亚太地区[5] 云计算已成为一种新的时尚 Frost&Sullivan市场调查公司在8月至9月之间完成由约有330个高级IT经理参与的调查报告显示 50%的企业认为云计算技术要比传统IT管理方法更有助于减少成本23%的企业正在使用某种形式的云计算技术而61%的企业计划将于2011年增加这方面的开支。

在我国政府已认识到云计算的战略地位在2010年10月18日 国家发展和改革委员会、工业和信息化部联合印发《关于做好云计算服务创新发展试点示范工作通知》并且于2010年11月19日在“中国云计算标准研讨会”上工业和信息化部软件服务业司副司长陈英表示[6]  “云计算顺应了当前全球范围内整合计算资源和服务能力的需求是当前国际信息技术竞争的战略制高点。推动云计算健康发展既要努力抓住发展机遇也要冷静应对著眼长远统筹布局。软件服务业司将从六个方面积极推动云计算发展一是加强战略研究制定合理规划布局二是加强关键技术研发支持创新发展三是加快云计算标准推进工作促进产业健康发展四是开展应用试点示范以应用带动产业发展五是培育龙头企业打造产业链六是加强行业监管和环境建设规范市场行为。”

但是 目前国内云计算发展还处于初级阶段和教育阶段并且2010年云计算才从概念到实际落地[7] 。根据计世资讯的统计数据我国云计算发展阶段和特点如下表所示。

表1云计算发展阶段和特点

2 机遇和挑战

在我国中小企业创造了国内生产总值55.6%开发了80%以上的新产品 申请了65%的国家专利提供了75%以上的就业岗位而信息化的创新平台及管理平台维护是他们发展的瓶颈[8] 。他们需要云计算应用平台提升竞争力。2010年11月29日赛迪顾问发布《中国云计算产业发展白皮书》预计在未来三年云计算应用将以政府、 电信、教育、医疗等行业为重点在中国市场逐步被越来越多的企业所采用市场规模也将从2009年的92.23亿元增长到2012年的606.78亿元。因此未来五年 中国将成为全球重要的需求和应用市场。

云计算平台是未来物联网的基础[9] 而云计算需要将数据迁移到云计算运营商的平台上安全和隐私是其首要解决的问题。这些问题将关系到我国的安全和未来的发展。例如2008年底 Google的Gmail服务在中国拥有大约10%的市场占有率即2000多万左右的中国用户而截至2010底已有9100万中国用户[8] 。但是在公共云服务领域 IBM、谷歌和微软是处于垄断局面而在私人云服务领域 IBM、惠普和EM C/VMWare最具有代表。并且根据赛迪顾发布的数据 2009年IBM在中国云计算市场上的份额达到19.1%超过第二名12个百分点处于绝对领导地位。

因此我国亟需研发拥有自主产权和能够产业化的云计算平台的核心技术。

3 非结构数据研究现状

随着Web上新兴应用的日益丰富以及企业信息化建设的不断发展 出现了大量的非结构化数据。相对于以关系数据为代表的结构化数据而言非结构化数据没有明确的结构约束如Web环境中出现的海量的HT M L与XM L等格式的数据 多媒体数据如声音、影片、 图形等企业信息化建设中合同文本、电子表格、简报档案、电子邮件数据、产品设计文档等。据研究报告显示非结构化数据占全部数据总量的80%以上。这些非结构化的数据都无法用传统的关系数据库系统进行管理也就难以获得数据库的诸多优点例如丰富的查询能力、精确的反馈结果、多用户并发和事务控制、高效的数据分析、故障恢复能力等。

同时存储技术与网络传输技术的迅速发展带来了互联网等应用中数据、用户与服务数目的激增。在搜索引擎、网络社区、电子商务等新兴应用中系统的计算需求的核心主要体现在海量数据处理其服务质量很大程度上依赖于系统所能够处理的数据规模以及数据处理的及时性、有效性等。

这两方面为数据管理领域提出了新的技术挑战。大规模非结构化数据管理的研究显得非常的重要主要表现在以下方面

 国家重大应用领域迫切需要非结构化数据管理。信息技术特别是互联网技术的飞

速发展使得各种类型的非结构化的数据大量涌现并为大家所共享。调查数据表明

各类组织包括大型企业中80%的数据都是非结构化数据。管理这些规模庞大

的信息资源付出了巨大的社会代价包括人力资源和技术资源。如何有效地管理海

量非结构化数据成为现实迫切需求和技术发展趋势。

 非结构化数据管理是技术上的巨大挑战并成为重要的新的研究方向。非结构化数

据是相对以属性值对为特征的关系数据而言的并没有明确的定义一般认

为包括图形、图像、视频、音频、HTML/XML页面、电子邮件、文本文件、word

文档、工作流程文件、 P PT文档、演示动画、源程序代码、二进制代码函数库等等。

不同于关系数据有统一、标准的关系操作非结构化数据通常根据类型的不同有

完全不同的处理操作。 目前的做法是各自为政这使得在关系数据库中被证明是行

之有效的一些技术和工具在遇到非结构化数据的时候都束手无策了加之其海量的

数据规模高度动态的数据特性多样的应用场景统一的联合访问需求使得非

结构化数据管理面临巨大挑战。管理非结构化的数据是一个巨大挑战。国内外科研

机构纷纷展开研究取得了一些有意义的进展但目前尚无成熟的非结构化数据管

理理论和关键技术方法。

目前信息检索技术如Web搜索引擎虽然可以通过构造非结构化数据关键特征的索引支持高效的、多种类型非结构化数据的统一查询但此类方法的缺点是非结构化数据中蕴含的丰富知识无法得到充分利用用户也无法表达比关键字查询更加准确的关系查询同时很难与现有的结构化数据管理系统进行有机集成。

基于数据库管理技术通过在数据库中扩展新的数据对象如文本对象、XML对象、视频对象等利用对象之上系统内置或用户自定义的函数来管理非结构化数据。虽然该类方法能够有效集成非结构化数据和结构化数据但其缺点在于忽略了非结构化数据查询频繁而更新较少发生的特点受限于关系数据库的框架在系统可扩展性方面存在不足采用对象方法来操纵非结构化数据很难利用现有关系数据库的查询优化机制提高非结构化数据管理的效率。

综合1 ~ 3所述本项目提出基于清华大学非结构化数据管理LaUDMS核心技术和开源云计算平台的技术上研究云存储的核心技术并开发其原型进行应用验证 以取得创新性技术成果。

1.2项目的研究内容、研究目标,以及拟解决的关键问题

本项目是在合作方清华大学验证的非结构化数据管理平台LaUDMS基础上研究整个云存储应用平台的核心技术并开发其支撑环境。其中 LaUDMS平台是定位于面向云环境中的海量非结构化数据管理平台统一支持音频、视频、图像、文本等常见非结构化数据提供基于样例、基于关键词和基于逻辑表达式的数据检索与查询服务以满足海量数据的在线事务处理OLTP和在线分析处理OLAP等需求具有良好的伸缩性容错性和可扩展性等。 目前 LaUD MS平台2.0版本[10, 11]  已满足基本的非结构化管理需求并初步形成基于La UD M S平台研制领域应用系统的解决方案。云南大学软件学院将与清华大学继续完善的LaUDMS平台3.0版本的体系的结构并提升性能和构建非结构化数据的laS QL引擎同时联合开展一体化的非结构化数据模型、大规模非结构数据管理系统体系结构和非结构数据的查询与访问方法方法的研究。

1.2.1 研究内容

本项目的研究内容主要涉及存储资源虚拟层 LaUDMS层、云存储应用层和云存储服务保障层其中下层为上层提供服务如下图所示。并且研究整个面向非结构化数据的云存储应用平台原型。其中

图1研究内容层次框架

 存储资源虚拟层主要涉及数据中心DataCenter存储资源的虚拟化集成技术和管理

技术方面的研究。具体包括

1 数据中心存储资源虚拟化集成技术研究

数据中心存储资源虚拟化是云计算环境、物联网环境和海量存储分析的基础是未来大型企业信息化、 电子商务、 电子政务和信息化服务平台的基础是合理利用计算存储资源、节能和减少硬件投资的基础。因此解决数据中心存储资源虚拟化是面向未来应用环境的关键问题是解决可扩展存储的和快速规模变化的基础[10] 。

2 虚拟化存储资源管理技术研究

虚拟化存储资源的调度、负载均衡和管理是实现计算存储资源高效利用、合理配置和节能的关键。因此研究虚拟化存储资源的调度策略、负载均衡和跟踪监控是解决性能不可测性、定位大型分布式系统中的错误的关键[10] 。

 LaUDMS层在对大规模非结构化数据管理和应用的需求进行分析凝练的基础上充

分考虑非结构化数据管理的特点面向云计算环境研究大规模非结构化数据管理的基

础理论和方法,重点突破大规模非结构化数据管理统一数据模型、系统体系结构、查询

访问机制包括存储、索引、并发控制、查询处理和优化、一致性管理等关键技术。

具体包括

1 一体化的非结构化数据模型研究

非结构化数据模型是整个非结构化数据管理系统的基础和非结构化数据管理系统满足用户需求的能力密切相关。非结构化数据模型的设计面临三个问题。首先非结构化数据模型应该足够灵活能够适应不同类型的非结构化数据并适应非结构化数据管理需求的不断变化。其次非结构化数据模型之上的操作应符合业界标准能够与不同的应用场景、异构的数据管理系统有效集成保护客户现有投资。最后非结构化数据模型应该简单,以支持在海量数据环境中的高效数据操作并方便用户理解、掌握与使用。因此探索如何建立高效的非结构化数据模型是本项目需要解决的首要问题。

2 大规模非结构数据管理系统体系结构研究

面向大规模数据的非结构化数据管理层首先需要解决的问题就是设计合适的体系结构。从系统架构上来讲需要考虑如何支持PB级的存储和大规模的并发用户如何在最大化保护用户已有投资的情况下提供可扩展空间以满足未来更高的数据存储需求以及支持新的非结构化数据类型。就软件层次而言体系结构需要考虑如何划分非结构化数据管理系统内部的层次明确不同层次功能和不同层次之间的数据与功能关联。因此如何设计面向大规模数据的非结构化数据管理层的架构是本项目要研究的关键内容。本项目将基于存储资源虚拟层面向云存储应用层研究构造非结构化数据管理层并将扩展分布式计算原语实现支持数据管理专用的操作原语支持云计算环境中的高效数据操作。

非结构化数据的大规模存储和控制是大规模非结构化数据管理的基础本项目将深入研究大规模非结构化数据的存储和控制策略使之支持海量非结构化数据、特征数据和元数据的存储特征数据的索引维护以及非结构化数据操作的并发控制等。

3 非结构数据的查询与访问方法研究

为了满足大规模非结构数据管理应用环境下多租户的不同数据访问需求本项目将研究在分布式体系下多租户对非结构化数据的访问模型分析非结构化数据的多副本多版本一致性、多数据一致性与数据可用性availab ility、访问响应时间之间的权衡tradeoff关系实现面向多租户不同访问需求的可配置一致性。

为了满足大规模非结构化数据管理需求本项目还将研究大规模非结构化数据的查询和检索方法尤其是关键字检索和近似查询算法提供高效的大规模非结构化数据查询服务服务能力提高用户体验支持面向最终用户的类SQL查询语言。

 云存储应用层主要涉及面向云存储服务框架、云存储服务可用性和云存储服务标准化

方面的研究。具体包括

1 面向云存储服务框架的研究

研究云存储服务的封装模式和访问模式为云存储的应用提供一个开放的服务框架。云存储服务框架的可访问性、可集成性和扩展性是重点研究的内容。

2 云存储服务可用性研究

云计算应用平台的服务可用性是云计算增长面临的10个困难之一[10] 。因此研究云存储服务可用性具有重要的理论意义和应用价值。

3 云存储服务标准化研究

数据锁定Data Lock-In是云计算环境下服务迁移的重要困难之一[10] 。如何标准化云计算服务的API Application Programming Interface是解决云间InterCloud服务共享的关键问题。

 云存储服务保障层主要涉及云存储服务层次管理、访问安全和数据安全方面的研究。

具体包括

1 云存储服务层次管理研究

云存储服务层次管理SLA:Servic e Leve l Management主要解决服务的监控、性能、可用性和能力方面的问题是实现个性化的和QoS Quality of Servic e差异化的云存储服务的关键。

2 访问安全和数据安全研究

云计算应用平台的数据保密和审计是云技术增长面临的10个困难之一[10] 。如何解决云存储和访问的安全性是制约云存储应用的关键问题。因此研究整体研究云存储数据的安全策略具有重要的理论意义和应用价值。

 应用原型研发主要涉及整体架构模式、虚拟层架构模式、非结构化数据存储模式和云

存储应用模式方面的研究。具体包括

1 整体架构模式研究

在研究存储资源虚拟层、 LaUDMS层和云存储应用层研究的基础上 结合各层的内容和特点研究整个面向云计算环境的系统的架构模式和集成模式。整体架构模式的研究有利于整个系统应用原型的实现和重用并且是决定云存储的服务的可用性、安全性、效率、可扩展性的关键。

2 虚拟层架构模式研究

研究虚拟层架构模式有利于解决数据中心计算存储资源的集成、可扩展、调度策略、负载均衡和跟踪控制等的具体实现是整体架构模式实现的基础。

3 非结构化数据存储模式研究

研究非结构化数据存储模式有利于非结构数据的存储和访问等的具体实现有利于存储模式的重用是整体架构模式实现的基础。

4 云存储应用模式研究

研究云存储应用模式有利于云存储服务封装、访问和集成的具体实现是面向服务架构实现的关键是整体架构模式实现的基础。

1.2.2 研究目标

本项目存储资源虚拟层、 LaUDMS层和云存储应用层解决的具体问题如下图所示。并且开发面向云计算环境的非结构化数据存储应用平台原型。其中

图2项目分层研究目标框架

 存储资源虚拟层完成数据中心存储资源集成方案、调度策略和算法、负责均衡策略和

算法和资源跟踪策略的设计。

 LaUDMS层完成非结构化数据存储、访问和搜索的设计。

 云存储应用层完成面向非结构化数据云存储服务的发布策略、访问策略和集成访问的

设计。

 云存储服务保障层完成服务层次管理策略、访问安全策略和数据安全策略的设计。 云存储应用平台原型在上述各层设计的基础上完成存储资源虚拟层设计模式、

La UD M S层设计模式、云存储应用层设计模式和整个面向非机构化数据存储的整体架

构设计模式并实现该应用平台的原型。

1.2.3 拟解决的关键问题

在存储资源虚拟层主要集中在数据中心存储资源集成策略、调度策略和负载均衡策略上。这些问题的解决关系到存储资源的利用效率、节能和可扩展性是云存储应用的基础和关键。

在LaUDMS层主要集中在非结构化数据统一模型的设计、非结构化数据存储、查询和访问这些问题的解决直接关系到云存储的可应用性。

在云存储应用层主要集中在中在面向云服务环境的服务架构的设计和服务发布策略、访问策略和集成策略上。这些问题决定服务的可访问性、集成性和系统的可扩展性。

在云存储服务保障层主要集在服务层次管理、数据安全和访问安全上。这问题决定服务的可用性、可定制性和安全性是保障云存储服务的关键是提供差异性和个性化云存储服务的关键。

1.3拟采取的研究方案及可行性分析

 项目研究层次分析

来自美国加州大学的Berkeley RADReliab le Adaptive Distributed系统实验室将云计算划分为云供应商、 SasS Software as an Service软件即是服务供应商/云用户和SaaS用户三层其中云供应商向SaaS供应商和云用户提供效用计算SaaS供应商和云用户向SaaS用户提供Web应用结构层次如下图所示。

图3 Berkeley云计算层次图[10]

本项目将存储资源虚拟层、 LaUD MS层、云存储应用层和云存储服务保障层是一个完整的云存储应用框架。

 存储资源虚拟层研究分析

在研究VMWare ESX、微软的Hyper-V和C itrix的Xen的虚拟机产品的基础上重点基于开源的Xen等研发存储资源虚拟化集成方案、调度算法、负载均衡算法和跟踪控制策略。I BM云计算架构就是基于开源的操作系统L inux和Xen的虚拟架构如下图所示。

图4 IBM云计算架构体系[1 1]

因此采用开源的Xen等构建存储资源虚拟层在技术和应用上具有可行性并且有利于形成核心的自主知识产权。

 LaUDMS层研究分析

项目合作方清华大学软件学院已经实现了LaUDMS平台2.0版本 已满足基本的非结构化管理需求初步形成基于LaUDM S平台研制领域应用系统的解决方案。正研发的LaUDMS平台3.0版本主要是体系的完善和性能的提升、构建非结构化处理和管理非结构化数据的laSQL引擎。 LaUDMS平台现在已经可以公开对外服务 相关的用户说明文档及

客户端可以所列网页上访问下图显示的是LaSQL客户端。

图5 LaSQL客户端使用截图

LaUDMS平台的体系结构下图其主要模块如下

图6 LaUDMS平台架构

 客户端包括系统管理工具和用户访问API该API类似JDBC这样的驱动可以让用户连接到平台进行相应的读写请求。

 LaSQL引擎首先需要对客户端的请求连接进行管理其次对请求的查询进行一定的处理 比如优化等然后调用底层的存储访问API特征抽取和数据检索等计算功能完成相关的任务。

 云存储层其中HDFS提供了分布式的文件存储功能在此之上的HBase提供了大规模的结构化数据存储然后Map Reduc e在分布式存储的基础上则提供分布式计算功能。Katt a则负责文本分布式索引的建立更新和检索等这些文本可以是多种格式的 比如txt xml html pdf offic e文档等。

该系统平台具有如下特性

 支持主流非结构化数据类型包括音频如MP 3、WAV等、图像如BMP、 J P G等、视频如AVI,MPEG等、文本如HTM L、Offic e文档、 PDF、纯文本等。 提供对非结构化数据的解析、抽取、查询、 内容检索、分析挖掘、导入/导出等对