英特尔oceanbase

案例研究英特尔固态硬盘英特尔至强处理器分布式数据库性能和总体拥有成本驱动海量结构化数据"基于英特尔至强处理器和英特尔320系列固态硬盘搭建的淘宝新一代OceanBase高性能分布式数据库系统,借助英特尔固态硬盘在随机读取性能,25nmMLC技术,断电保护技术以及内置冗余技术等多个技术强项,以及英特尔至强处理器强大的处理性能,这些帮助OceanBase高性能分布式数据库系统发挥出了最大性能,使其具备了高性能,高容量,高可靠性和低TCO的特质.
"阳振坤博士高级研究员淘宝英特尔固态硬盘和英特尔至强处理器为淘宝OceanBase*数据库满足高性能,高容量,高可靠性和低总体拥有成本(TCO)的需求挑战新数据库系统:随着业务的发展,海量的数据令淘宝使用的传统的关系数据库不堪重负,需要一种新的数据库系统来应对这一挑战.
新硬件平台:新的OceanBase高性能分布式数据库系统需要一个强有力的新硬件平台予以支撑.
解决方案强有力的新硬件平台:淘宝部署了包含英特尔固态硬盘和英特尔至强处理器的新硬件平台.
影响为未来注入动力:OceanBase数据库系统的成功搭建,为淘宝提供了高性能、高容量、高可靠性和低TCO的新硬件平台,使得淘宝对海量数据的处理能力获得了质的飞跃,为电子商务更好的为用户提供优质服务提供了助力.
淘宝网(taobao.
com)是中国深受欢迎的网购零售平台,目前拥有近5亿的注册用户数,每天有超过6000万的固定访客,同时每天的在线商品数已经超过了8亿件,平均每分钟售出4.
8万件商品.
截止2011年年底,淘宝网单日交易额峰值达到52亿元,创造270万直接就业岗位.
随着淘宝网规模的扩大和用户数量的增加,淘宝也从单一的C2C网络集市变成了包括C2C、团购、分销、拍卖等多种电子商务模式在内的综合性零售商圈.
目前已经成为世界范围的电子商务交易平台之一.
借助于互联网技术的高速发展,电子商务这一新兴的商务活动也正蓬勃发展,使得购物更加快速,便捷以及低成本.
而作为该领域的佼佼者,淘宝正以每分钟数万宗交易的速度为数亿用户提供着快捷便利的互联网商务服务.
正因为有着如此庞大的交易规模,淘宝的商业数据总量也正急剧膨胀,数据量从百GB增加到数TB乃至数十TB,未来还可能增加到数百TB.
数据是电子商务的灵魂和生命,而传统的关系型数据库已经无法承担如此海量的数据,如何构建一个新的数据库来有效应对这一海量数据正成为淘宝面临的重大挑战.
为了应对这个挑战,从2010年开始,淘宝自主研发了OceanBase高性能分布式数据库系统,其实现了数千亿条记录、数百TB数据级别的跨行跨表事务,从而成为淘宝应对未来业务发展的全新动力.
但是,随着新的新数据库系统的逐步部署,其对淘宝的硬件平台也提出了更高要求.
传统的基于SAS*(串行连接SCSI*)机械硬盘的硬件平台显然已经无力应对新的数据库系统处理海量数据所要求的高性能、高容量、高可靠性和低TCO(总体拥有成本)的要求,因此,如何为OceanBase高性能分布式数据库系统打造一个强有力的新硬件平台,已经成为淘宝亟待解决的问题.
为了应对这一挑战,英特尔为淘宝提供基于固态硬盘(SSD-SolidStateDrives)和英特尔至强处理器的全新硬件平台.
"我们所要解决的问题,就是在淘宝的数据规模不断增长的情况下,提供高容量、低成本、高一致性、高可靠的结构化数据的存储和访问服务.
"淘宝高级研究员,OceanBase高性能分布式数据库系统的架构师阳振坤博士这样说道,"淘宝先前采用的关系数据库,由于其本质上是一个单机系统,因此,尽管有各种方式的扩展,它仍然会受到规模的限制,要打破这个瓶颈,分布式的系统是一个很好的选择.
淘宝是从事电子商务的,用户的商品、交易都不能遗漏和出错,页面的展示要尽可能地快,因此,我们需要更高的数据一致性和更快的数据库系统;此外,数量庞大的小额交易意味着每一笔交易的成本必须尽可能的低.
我们在基于英特尔320系列固态硬盘硬件平台上开发了OceanBase高性能分布式数据库系统,这个新的数据库系统一是在性能上得到突破,二是在数据规模上可以达到关系数据库几十倍几百倍的规模,通过采用固态硬盘,查询性能以及响应时间得到了保障,最后,从节约成本,环保节能的角度上来看,也有着优异的表现.
"高性能在电子商务的过程中,每一次交易都是通过互联网上高速往来的数据来完成,每一个比特都需要强大有力的后台数据库系统来进行处理.
对于淘宝这样庞大的交易规模来说,是否具有高性能的处理能力无疑是衡量新一代OceanBase高性能分布式数据库系统能力的重要指标.
通过配置了英特尔至强处理器和英特尔320系列固态硬盘,新系统无疑在这方面有着优异的表现.
淘宝自行测试结果表明:与传统硬盘相比较,在硬盘数目缩减四分之一的情况下,处理性能反而提升了5倍.
高容量为了应对淘宝所面临的海量数据,OceanBase高性能分布式数据库系统对硬件平台的容量也有着要求,借助于业界领先的25nm多层单元(MLC)技术,英特尔320系列固态硬盘以其大容量和低成本优势为淘宝搭建新数据库系统.
与以往的单层单元(SLC)相比,采用MLC技术的固态硬盘的存储容量将大出一倍,这就可以大大提升新的OceanBase高性能分布式数据库系统的存储容量并大大降低成本.
高可靠性数据是电子商务企业的生命和灵魂所在,因此能否保证数据库系统的安全可靠性是硬件平台的一大挑战.
而英特尔320系列固态硬盘无疑在这方面有着突出的表现.
Intel拥有业界领先的NAND/SSD生产以及质量管控技术,此外,英特尔在320系列固态硬盘产品上也引入了企业级应用环境所必需的断电保护、内置冗余两项重要技术.
断电保护技术可以帮助数据库系统在在遇到电力意外中断时防止数据丢失,即便在电力中断时也可以完成所有的写入过程.
而内置冗余技术是在规定的存储容量之上配备了冗余的NAND闪存阵列,在发生故障之时,可以自动重新配置故障NAND闪存阵列,从而降低了数据丢失的可能性,进一步提升了数据库系统的可靠性.
同时,与其他产品通常3年的保质期相比,英特尔为其固态硬盘提供了5年的更长保质期,给予用户更强的质量保证.
低TCO"淘宝的收藏夹数据库之前使用了16台服务器*2(双机房),配置为英特尔至强L5630处理器和300G*10SASHDD硬盘,现在改用了12台服务器*2(双机房),配置为英特尔至强E5520处理器和300G*10英特尔320系列固态硬盘.
"OceanBase项目负责人李震这样提到,"SSD硬盘的特质使我们的数据库系统在提升性能的同时减少了机器的数量,单台服务器的功耗也大大降低,降低了我们的TCO.
此外,淘宝的业务在高速增长,数据量和访问量在加速增长,但电力和机房资源不可能同样的持续高速增长,从现在起,我们就必须在提升服务能力和性能的同时降低服务器数量的增长速度,否则不仅成本我们无法承受,机房和机架也无法找到.
从节省能源的角度来说,我们也必须要低碳环保.
"找到适合于您公司的解决方案.
请与您的英特尔代表联系,访问英特尔IT管理成功案例(www.
intel.
com/itcasestudies)或访问英特尔IT中心网站(http://www.
intel.
com/itcenter)OceanBase高性能分布式数据库系统特点:功能OceanBase系统支持数千亿条记录和数百TB数据,实现了包括跨行跨表事务、范围查询、联表(join)等在内的关系数据库的主要功能,支持服务器故障自动容错和在线扩容,摒弃了分库分表.
特点作为一个分布式系统,OceanBase在多个服务器(通常是3~4个)上复制数据,从而在使用普通服务器的同时获得了高端服务器的高可靠性.
城域网/广域网多机群的实时/准实时同步能够有助于抵御各类人为或自然灾害;磁盘随机写的摒弃能够帮助固态硬盘与OceanBase达到完美匹配;而OceanBase内部自动分表使得从使用者的角度来看无需再分库分表.
基于英特尔固态硬盘和英特尔至强处理器硬件平台的OceanBase高性能分布式数据库系统的成功搭建,将帮助淘宝向用户提供更优质服务提供助力.
1英特尔不控制或审核本文中引用的第三方基准测试数据或网站的设计或实施.
英特尔鼓励其所有客户访问参考的网站或其他公布了类似性能基准数据的网站,确认参考的基准数据是否准确地反映可选购系统的性能.
本文档及其信息供英特尔客户的便利之用,"按现状"提供,不作任何明示或暗示的担保,包括任何可销售、适用于特定目的以及不违反知识产权的暗示保证.
收到或拥有本文档不代表授予任何由此所描述、显示或包含的知识产权.
英特尔产品未计划用于医学、救生、生命维持、关键控制、安全系统或核设施应用.
英特尔公司2012年版权所有.
所有权保留.
英特尔、英特尔标识、至强和XeonInside均是英特尔在美国和/或其他国家的商标.
*其他的名称和品牌可能是其他所有者的资产.
0822/JUX/PMG/XX/PDF327966-001CN