数据云操作系统

2013年2月解决方案简介云中大数据:融合技术如何运用基于云的大数据分析,创造商业竞争优势2013年2月解决方案简介云中大数据:融合技术如何运用基于云的大数据分析,创造商业竞争优势为何阅读本文档本文档将为您阐述云计算与大数据技术如何交相融合,最终形成一种更经济的交付模式,供您进行基于云计算的大数据分析.
本文档还包括下列内容:云计算如何成为针对大数据进行高级分析的推动力IT如何成为云服务经纪人并在企业内主导基于云的大数据分析面向基于云的大数据分析的AaaS(分析即服务)模式实用步骤助您轻松启动基于云的大数据分析项目2IntelITCenter解决方案简介|云中大数据目录3云计算成为大数据分析的推动力6大数据和云:绝佳组合10IT化身云服务经纪人13IT的未来举措3IntelITCenter解决方案简介|云中大数据云计算成为大数据分析的推动力如今,大数据分析和云计算是全球企业最为关注的两大IT话题.
大数据分析提供独具价值的洞察,帮助企业打造竞争优势,启迪创新,推动收益增长.
作为IT服务的交付模式,云计算可以增强业务灵活性,提高生产力,同时增加效率、降低成本.
两种技术均在不断发展.
目前,企业所探寻的核心问题,已经从采用何种介质和怎样存储大数据,转变为如何通过有效的分析方法来应对实际业务需要.
随着云计算技术的成熟,越来越多的企业开始创建高效、灵活的云环境,同时云提供商也在不断增加服务项目.
因此IT企业应将云计算作为支持大数据项目的基础架构.
对于大数据环境而言,需要服务器集群支持多种工具,以处理大容量、高速度、多样性的大数据.
云已经部署在服务器池、存储器和联网资源上,并能根据实际需要伸缩自如.
云计算提供了一种更经济的方法,它可以支持大数据技术和高级分析应用,推动业务价值增长.
本文档将会阐述:云计算如何成为高级分析技术及大数据的推动力IT如何成为云服务经纪人并在企业内主导基于云的大数据分析面向基于云的大数据分析的分析即服务模式实用步骤助您轻松启动基于云的大数据分析项日大数据趋势为何云计算是面向大数据分析的更经济的交付模式大数据和云技术如何融合,才能让大数据分析成为云环境中的合理选择对于大数据分析而言:数据越来越有价值.
今天所关注的话题正在从"我们应该存储哪些数据"转变为"我们应该如何利用数据"企业渴望释放数据中隐藏的潜力并获取竞争优势.
据Gartner咨询公司预测,2011至2015年企业数据将增长800%,其中80%是非结构化数据(如电子邮件、文档、视频、图像和社交媒体内容),20%是结构化数据(如信用卡交易信息和联系信息).
1由于大型数据所蕴涵的洞察能够提升竞争力,所以公司需要寻找新方法来处理、管理和分析数据,包括传统关系数据库管理系统(RDBMS)中的结构化数据,以及更多样化的非结构化数据.
另外,通过巧妙组合不同数据源和数据类型,可以揭示极具价值的未知模式与关系.
大数据分析是什么Big大数据是指庞大的数据集,它们与以往个人或企业处理的数据集相比,具有更大规模数量级(容量)、更加多样化,包括结构化、半结构化和非结构化数据(多样性),且以比以往更快的速度生成(生成速度).
这种数据洪流由联网设备生成,包括计算机、智能手机,以及RFID设备和交通摄像头等传感器设备.
大数据为异构数据,具有多种格式,包括文本、文档、图像、视频等.
大数据的真正价值在于有待分析和提炼的宝贵洞察,包括发现的模式、实现的价值、决策的指示,最终呈现为以更大智慧应对世界变化的能力.
大数据分析是一套先进技术,用于处理大容量异构数据.
它运用复杂的定量方法来探索数据、发现相互关系和模式,其中应用到的有机器学习、神经网络、机器人技术、计算数学和人工智能.
4IntelITCenter解决方案简介|云中大数据数据分析正从批处理转向实时.
2012年,英特尔在针对200位大型企业IT经理的调査中发现,目前批处理与实时处理的数量平分秋色,预计至2015年实时处理将增加到全部数据管理的三分之二.
2同时,实时信息或准实时信息处理技术也从过去的宣传造势趋向初步成熟.
实时支持预测分析.
预测分析让企业有机会提前了解未来发生的事,并为企业提供激动人心的机会,令其从大数据中攫取价值.
借助实时数据,可以快速、精准、灵活地进行预测分析,以快速适应持续变化的业务环境.
数据分析速度越快、分析结果就越及时,预测价值就越大.
大数据分析范围不断扩大.
早期,人们对大数据的关注,主要集中于业务和社交数据源,如电子邮件、视频、Twitter微博客、Facebook*发帖、评论和网络行为.
目前,大数据分析关注范围不断扩大,涉及到源自智能系统(如车载娱乐系统、信息亭、智能仪表等)和网络边缘设备传感器所产生的数据——这些数据成为最大容量、最快速度的流信息和最复杂的大数据的重要组成部分.
无处不在的连接性以及传感器和智能系统数量的增加,开启了全新的信息价值宝库.
随着企业试图更经济地获得更快速、更翔实的洞察信息,以便能强化机器辅助决策能力,并打造个性化客户体验,如何运用大数据分析技术来处理传感器和智能系统数据渐渐成为关注的热点.
实际环境中的大数据:城市智能化示例除由人生成的交易、社交和位置数据外,设备传感器也在实时生成飞速增长的大数据.
借助预设的嵌入式、云或专用IT基础架构与存储和高性能计算方案,能够对这些重要数据源进行处理和分析.
智慧城市智能楼宇传感器智能电网传感器气象传感器污染传感器智能医院智能楼宇传感器移动式医疗影像服务智能道路智能手机传感器车载传感器交通摄像头感应传感器智能工厂工业自动化传感器智能仪表5IntelITCenter解决方案简介|云中大数据云技术的成熟对于许多企业而言,云计算正在走进现实,并通过部署私有云引领时代潮流.
随着改进安全性和数据整合,以及IT组织对云计算交付的持续支持,云技术正在逐步成熟并扫清应用障碍.
因而,企业越来越信任云服务交付模式.
例如,英特尔最近发布的针对200位IT经理的调查表明:未来五年,近三分之二的企业将采用云作为关键任务系统的交付模式.
3企业正将越来越多的数据存储于云环境中,这意味着庞大的信息价值有待挖掘.
另外,云可让业务用户根据需要增減资源.
基于英特尔至强处理器的最新服务器、存储系统以及英特尔固态硬盘、云环境中使用的英特尔万兆网络资源,与大数据处理工具(如ApacheHadoop*软件的英特尔分发版)的完美结合,为更有效、更经济地分析大型数据提供了所需的高性能计算能力.
借助VMwareSerengeti*等多个开源项目,虚拟环境中运行Hadoop*的技术也不断发展成熟.
6IntelITCenter解决方案简介|云中大数据大数据和云:绝佳组合GigaSpaces最近的一项调査表明,在所有认为大数据处理具有重要意义的IT管理者之中,有80%考虑在公司大数据分析中采用一种或多种云交付模式.
4云交付模式具有超凡的灵活性,能让IT根据每一位公司用户的需求来评估最佳实践方案.
例如,已支持内部私有云环境的企业可选择添加大数据分析至内部服务,也可使用提供商的云服务,或是创建混合云来一方面保护私有云中的敏感数据,另一方面利用公有云中的重要外部数据资源和应用程序.
利用云基础架构分析大数据非常有价值,因为:投资大数据分析极具意义并可推动建设高效、经济的基础架构.
支持分布式计算模式的资源,往往位于企业内部的大中型数据中心内.
私有云能够提供更高效、更经济的模式,以实现在企业内部分析数据,同时借助公有云服务补充内部资源.
对于某些分析项目(如短期项目),这种混合云的选择能让公司通过公有云服务使用即需即用的存储空间和计算能力,并能根据需要提供附加容量和规模.
大数据可以混合内部和外部数据源.
企业常将最敏感的数据保存于内部,而将企业自有或第三方生成的大型数据存储于外部,其中部分数据已存储于云环境中.
在防火墙后迁移相关数据源需要投入大量资源.
无论数据是在内部或公共数据中心,还是位于边缘系统和客户端,就地分析数据常常更具合理性.
攫取大数据价值需要数据服务.
根据需求和应用场景,对IT预算的最佳利用可能是重点实施分析即服务(AaaS),因为它既支持内部私有云、公有云,也支持混合云.
释放云中大数据的潜力云计算模式有助于促进释放可扩展分析方案的潜能.
在数据存取、洞察发掘和创造价值方面,云能提供绝佳的灵活性和高效性.
虽然如此,基于云的大数据分析并非放之四海而皆准的解决方案.
运用云基础架构来提供AaaS(分析即服务)的企业拥有多种选择.
通过权衡工作负载、成本、安全和数据互操作性系数,IT可选择利用私有云来降低风险和进行控制;利用公有云基础架构、平台或分析服务继续提升扩展性能;或使用组合有私有云和公有云资源和服务的混合模式.
最重要的是,无论是哪种交付模式最适合您的企业,拥有不同需求和预算的企业都能在云环境中释放大数据的潜力.
7IntelITCenter解决方案简介|云中大数据分析即服务洞察架构借助基于云的AaaS(分析即服务),您可满足用户各方面的需求,包括数据交付、管理和数据应用.
通过开发全面的基于云的大数据战略,您可确定洞察架构,并将企业数据的总体价值最大化.
AaaS洞察架构包含下列核心功能:从可信赖的数据源中捕获和提取结构化和非结构化数据,包括优先处理最重要数据、确定需保留的内容和保留时长依照全球企业的综合政策和处理准则并根据特定行业的要求管理并核查数据整合、分析、转换和可视化数据,保证在正确地点和时间交付适宜的信息AaaS的云服务类型AaaS能够部署在基于多种服务类型的云环境中.
确立最适合的服务组合模式,需要考虑现有资源—如私有云环境,并根据需求而定.
就分析即服务而言,基本的云服务类型包括基础架构即服务(IaaS)、平合即服务(PaaS)以及软件即服务(SaaS).
基础设施服务(IaaS)依托本地部署或通过云提供商,IaaS可让您及时分配或购买共享服务器资源(常为虚拟资源),以处理大数据分析计算和存储需求.
云操作系统能够管理高性能服务器、网络和存储资源.
IaaS为公司的多项云服务提供了基础.
即使如此,仍需在大数据分析的实施过程中增加对IT的投入.
您的企业需要安装软件(如Hadoop架构)或NoSQL数提库(如ApacheCassandra*、MongoDB*或Couchbase*).
另外,您的团队需要负责管理分配的资源,借助用于管理和资源业务流程的自动化工具,即可轻松完成相关任务.
基础架构即服务(IaaS)示例下列是提供商的IaaS方案在云技术生态系统中的示例.
Amazon*Web服务Citrix*CloudPlatformWindowsAzure*和Microsoft*SystemCenterOpenStack*软件Rackspace*Savvis*Verizon*Terremark*VMwarevCloud*套件8IntelITCenter解决方案简介|云中大数据平台即服务(PaaS)PaaS提供了多种工具和库,方便开发员在云基础架构中创建、测试、部署和运行应用程序.
由于无需将Hadoop实施组件和服务器配置、扩展为高级分析应用开发平合,所以PaaS大大降低了管理工作负载.
软件即服务(SaaS)适合基于云的大数据分析的特定应用可通过SaaS提供.
若要满足业务用户在各种场景下的需求,您可能要使用多个SaaS应用.
例如,适于情感分析的软件不能用于风险管理或资产绩效管理.
SaaS既可作为独立的应用程序使用,也可作为更庞大云提供商解决方案的组成部分.
例如,Karmasphere推出了一款即付即用(pay-as-you-go)应用程序,借助它可使用AmazonElasticMapReduce来分析存储在Amazon*S3中的数据.
平台即服务(PaaS)示例下列是提供商的PaaS方案在云技术生态系统中的示例.
Force.
comGoogle*AppEngineRedHat*OpenShift*VMwareCloudFoundryWindowsAzure*软件即服务(SaaS)示例下列是提供商的SaaS方案在云技术生态系统中的示例.
Amazon*ElasticMapReduceCetas*byVMWare*分析服务Google*BigQuery服务Rackspace*Hadoop*服务WindowsAzure*HDInsight*适用于云和大数据分析的英特尔基础架构技术基于英特尔至强E5和E7系列处理器的服务器是基础架构的核心,完美支持云环境和大数据环境,能够提供业界领先的高效率、高性能计算结果.
另外:存储服务器基于英特尔至强E5系列处理器,支持高级存储功能,包括压缩、加密、数据自动分层、重复数据删除、删除码和精筒配置等,是存储和处理大型数据的理想选择.
通过降低存储占用,这些计算密集型存储任务可以提供更高安全性、更大效率和更佳的总体拥有成本.
英特尔固态硬盘(SSD)是具有高吞吐量和耐用度的驱动器,适于原始存储.
英特尔万兆以太网融合网络适配器能为大型数据集提供稳定的高吞吐连接.
9IntelITCenter解决方案简介|云中大数据英特尔与ApacheHadoop*框架ApacheHadoop*框架是一款开源软件,它已成为管理规模化大数据的准标准平合.
借助简单编程模型,Hadoop*软件能够轻松处理整个计算机集群间的庞大数据集.
ApacheHadoop*软件的英特尔分发版包含ApacheHadoop软件和其它软件组件,这些组件已由英特尔进行了硬件性能增强和安全功能优化.
它设计用于在ApacheHadoop上进行更大范围的数据分析,同时优化ApacheHive*査询,并为统计处理配置了R*语言接口.
另外借助IntelGraphBuilderforApacheHadoop软件能够进行图像分析,此软件可将大数据集构建至图形中,有助于形象化数据间的关系.
IntelManagerforApacheHadoop包含在英特尔分发版内,配有管理控制台,可以简化部署配置过程,而且能够监控Hadoop的部署.
英特尔分发版正在全球范围内公测.
目前仅在美国、中国和新加坡提供技术支持,预计今年稍晩时候扩展到更多国家或地区.
了解更多有关英特尔发行版的信息.
IntelDistributionsoftware.
10IntelITCenter解决方案简介|云中大数据IT化身云服务经纪人云计算和企业可以使用的多种公有云服务,让两类分析应用的重度用户—即企业所有者和首席营销官—能够更加容易地绕过IT来直接购买服务.
然而缺乏了解的商业用户可能会被"即时分析"所诱惑并甘愿购买,然而为整个企业部署公有云服务的某些方法可能会产生诸多严重问题,比如选择了不合适的提供商、无法控制敏感数据、投资回报率低等.
IT能够提供专业的服务、视角和技能,帮助企业降低公有云使用风险,并充分利用现有私有云资源.
大数据还要求企业具备一套新技能,而许多技能是关于IT的.
IT部门能够提供专业的技术知识,帮助云计算和大数据能够顺利地应用到企业中,包括Hadoop管理员与开发员,以及Hadoop组件(例如ApacheHBase*数据库等)的专业技术人才.
大数据分析项目涉及多部门团队,IT成员需要与数据科学家和其他大数据相关人员积极协作.
数据科学家要将大数据应用到复杂的业务难题中,并确保取得有价值的成果.
他们是企业的一员,所以也可成为IT组织的一部分.
11IntelITCenter解决方案简介|云中大数据作为云服务经纪人,IT需要与企业用户共同协作,致力于实现基于云的最佳分析方案.
尤其需要重点考虑的是以下一些领域:相关领域问题机构数据管理应当评估云提供商的哪些方面如果数据由多家提供商存储、管理和分析,同时没有采取任何监督措施,将会存在极大的风险.
数据所有权谁拥有提供商存储和管理的数据您的公司是否保留所有权安全您能得到怎样的安全级别位于解决方案堆栈的哪一层将安全措施深深地植入到基础架构、平台和应用层中的提供商,能够提供更大的安全保障.
合规性是否总体上解决了合规问题是否解决了您所在行业的特殊问题如何匿名处理数据以保护隐私数据整合如何整合数据,成本如何数据迁移需要迁移多少数据,成本如何从云中移动大量数据或移动大量数据至云中,可能会产生高昂的成本.
数据流数据源是否实时提供信息管理实时数据需要大量的资源,连续流动的数据最好在内部处理.
技术评估您可以选择哪些大数据存储、处理和分析方案如何优化组件才能实现最大性能技能要求确定合适的数据源、采用正确的统计和分析模型以及转译结果需要哪些技能服务提供商提供技术和分析支持吗哪一级别如何与内部技能相互补充投资回报率技术、交付模式、安全和数据整合方法的投资回报率如何12IntelITCenter解决方案简介|云中大数据IT借力大数据分析取胜在越来越多的公司中,企业用户早已将IT视为一种服务.
IT将继续在协调基于云的数据分析服务方面扩大自己的影响.
作为云服务的经纪人,您的角色是权衡用户需求与企业可用交付选项之间的关系.
这就意味着需要开发适用于私有云、公有云和混合云服务的战略;推行云服务提供商遴选规则;与潜在云服务提供商沟通并建立联系,以及其他类似的任务.
从组织角度而言,这些措施可以降低风险,更好地将现有投资应用至私有云技术中.
通过获得符合自身需求的解决方案,每位用户均能从中受益.
借助与用户携手实施下列措施,IT能够快速展现对业务的价值:通过确定技术需求、评估风险并根据公司管理政策和法定合规要求,根据自身需要选择私有云或公有云的实施方式.
例如,部分工作负载可能需要在特定地点的私有云中进行管理.
根据需求与技术伙伴有效合作,共同开发服务.
评估和审核外部设计、交付、定制、定价、隐私、整合、安全和支持服务.
从内部和外部资源提供服务,保证服务与用户无缝衔接.
发展与合格服务提供商的关系.
管理现有服务,包括服务等级协议(SLAs)和服务生命周期.
作为服务经纪人,IT通过于业务人员紧密协作,依靠技术实现竞争优势.
借助基于云的大数据分析,该目标必须能够按照公司管理政策、现有IT资源、绩效要求和总体业务目的,为用户提供满足需求的合适方案.
在当今大多数IT部门中,提供这种咨询性质的服务需要IT进行重组架构,去除本位主义,招募或发展拥有新技能的团队成员,并鼓励他们与业务人员密切合作.
特别对于大数据分析项目而言,这样做的结果非常具有成效,因为此类项目需要相关人员相互合作,包括IT技术专家、企业用户、数据科学家和其他协助开发分析方案和数据提取算法的人员.
13IntelITCenter解决方案简介|云中大数据IT的未来举措IT在企业中担当着与众不同的角色.
面对数据爆炸性增长,新兴技术不断涌现和环境快速变革,您需要在企业内领导实施大数据分析.
首先,您需要思考IT如何在企业中成为经纪人,推动基于云的大数据分析服务.
另外,您还需要:立即与企业主合作,协助其确定如何使用大效据,以解决企业业务难题并应对机遇.
作为全力参与的合作伙伴,您可协助评估和影响技术选择,并成就最佳实践.
探索基于云的大数据分析技术方式,包括私有云、公有云和混合云交付模式.
紧跟最新趋势,深入观察市场并熟知成本.
创建或更新现有大数据战略,确定IT参与到大数据分析项目的实施过程中.
切记,您需要让用户能够轻松快速地推动业务,否则业务部门就会自行主导实施.
思考如何协调IT,使其与业务人员更好地配合,并就大数据项目进行合作和协商.
如需详细了解大数据和云计算更多详情,请您利用英特尔IT中心的资源.
访问intel.
com/bigdata和intel.
com/cloudcomputing.
14IntelITCenter解决方案简介|云中大数据尾注1.
Groenfeldt,Tom.
"BigData-BigMoneySaysItIsaParadigmBuster.
"福布斯(2012年1月6日).
forbes.
com/sites/tomgroenfeldt/2012/01/06/big-data-big-money-says-it-is-a-paradigm-buster/2.
大数据分析-英特尔就企业如何使用大数据对IT经理的调研英特尔IntelIT中心(2012年8月).
http://www.
intel.
cn/content/www/cn/zh/big-data/hadoop-idh/inr20002-bigdata-peerresearch-final-sw-cs.
html3.
同行研究:关键业务工作负载迁移(英文版).
英特尔(2012年1月)intel.
com/content/www/us/en/risc-migration/mission-critical-workload-migration-peer-research-report.
html4.
Gardner,Dana.
"GigaSpaces调查显示快速建设大数据需要相关工具,人们对云中的大数据充满兴趣.
"ZDNetBriefingsDirect(2012年12月10日).
zdnet.
com/gigaspaces-survey-shows-need-for-tools-for-fast-big-data-strong-interest-in-big-data-in-cloud-7000008581/5.
在性能测试中使用的软件及其负载可能为英特尔微处理器的性能进行了优化.
诸如SYSmark和MobileMark等测试均系基于特定计算机系统、硬件、软件、操作系统及功能,上述任何要素的变动都有可能导致测试结果的变化.
请参考其他信息及性能测试(包括结合其他产品使用时的运行性能)以对目标产品进行全面评估.
与同事共享本白皮书仅用于参考目的.
本文件以"概不保证"方式提供,英特尔对此不做任何形式的保证,包括对适销性、不侵权性,以及适用于特定用途的担保,或任何由建议、规范或范例所产生的其它担保.
英特尔不承担因使用本信息所产生的任何责任,包括对任何知识产权的侵犯.
本文不代表英特尔公司或其它机构向任何人明确或隐含地授予任何知识产权行为.
版权所有2013英特尔公司.
所有权保留.
英特尔、Intel标识、英特尔酷睿和IntelCore、IntelSponsorsofTomorrow.
、英特尔与你共创明天.
、IntelSponsorsofTomorrow.
标识、至强和Xeon是英特尔在美国和/或其他国家的商标.
*其他的名称和品牌可能是其他所有者的资产.
Microsoft是微软公司在美国和/或其他国家(地区)的注册商标.
0313/RF/ME/PDF-USA328762-001