服务器基于一致性哈希算法云存储服务器容错性研究权威资料

基于一致性哈希算法的云存储服务器容错性研究[权威资料]

基于一致性哈希算法的云存储服务器容错性研究

本文档格式为WORD,感谢你的阅读。

摘要:HDFS架构下的云环境服务器拥有成本低、易扩展、传输效率高等诸多优点但节点选择策略易造成存储负载不均从而影响系统性能针对这一问题结合一致性哈希算法综合多个因素提出了一种服务器改进方案用以缓解中小企业服务器端压力。

关键词:云存储;负载均衡;节点分配;哈希环

TP333

随着近年来网络应用的不断扩充 网络数据交换量正在迅猛增长作为网络服务提供方Web服务器承受着庞大的数据流压力。Web服务器和数据库服务器的反应速度一再成为阻碍网络通信发展的难题大量数据流请求使得数据库服务器必须尽快提供数据处理服务。 由于硬件和操作系统等软件的原因当大量的访问到达时服务器不能够及时处理所有的请求造成应答延迟。尽管计算机学术界已提出使用各项算法实现负载均衡(Load Balancing)与虚拟服务器集群等技术用以解决该问题但仍存在诸多弊端如DNS负载均衡技术无法按照Web服务器的处理能力分配负载可靠性不强集群服务器的高成本与能量消耗问题。随着Google推出云计算[1]概念大量云计算中心在各地落成云存储[2]成为一种新兴的网络服务器技术在实际应用中结合云存储的处理特点使用Hadoop搭载平台合理利用一致性哈希算法(Consistent hashing) 可以较好的解决上述问题。

1云存储与负载均衡机制

1.1云存储的特点

作为云计算的延伸云存储采用基于对象存储[3-5]的分布式非对称架构是一个具有高可靠性、高性能、高扩展性的分布式存储系统能提供高吞吐量的数据访问、在线存储和在线备份。其应用前景十分广阔云存储系统的体系架构如图1所示。

除此之外云存储还拥有易操作性后台对用户透明等特点用户只需通过Web-bas ed应用程序即可上网直接存取数据实时面对需求。从广义讲任何基于We b的服务都可称之为云服务。

由于云计算采用分布式存储方式来存储数据需要将分布式应用部署到大型廉价集群上从而实现对海量数据信息的存储所以从本质上讲云存储仍是一种基于服务器集群模式的系统模型称之为云存储模型[6]。

1.2云存储的负载均衡机制

在云存储环境中存储设备数量庞大并多分布在不同的地域如何实现多台设备间的存储虚拟化管理、最优化利用存储节点使各服务器有效协同提供服务便成了云存储发展环节中的重中之重。

在云存储模型中云存储可将工作量均匀分配到不同的存储服务器上避免个别存储服务器因工作负荷过大造成瓶颈使存储系统能够发挥最大效能。

2一致性哈希算法在云存储中的应用

2.1服务器分布式缓存问题

由于云存储可以看做网格计算演化可伸缩性强所以能够随机应变的提供资源与服务利用这点构建相对平衡的系统需要每个节点参与管理而如何才能结合现有算法实现平衡稳定的服务器模式呢,

举例说明假设有虚拟服务器M台需要映射对象OBJ至M台存储上一般来讲我们会采用hash(OBJ)%M的方法计算OBJ的hash值然后将其均匀映射给N个存储此为正常状况。

而在实际应用中我们需要考虑当服务器访问量加重时需要添加存储设备此时公式演变为hash(OBJ)%(M-1) 。

而当其中一台服务器N失效此时映射至服务器N的对象失效公式即演变为hash(OBJ)%(M-1)。

在实际应用中一旦出现如上情况服务器的存储分配机制就会全部失效庞大的信息流将直接冲击后台服务器造成严重后果。

为避免这种事故需要has h结果保证原有已分配的内容不被映射至旧缓冲集合中的其他缓冲区上面提到的简单has h算法显然无法满足单调性要求。

2.2一致性哈希算法的应用原理

一致性哈希算法(Consistent Hashing)最早在David Karger Eric Lehman等人的论文中被提出是当前较主流的分布式哈希表协议之一对简单哈希算法进行了修正。

透过一致性哈希我们可以实现处理服务器的选择不再仅仅依赖key的hash本身而是将服务实例(节点)的配臵也进行has h运算。

首先我们求出各服务节点的hash将其配臵到一个0,2^23的圆环(continuum)区间上。其次使用同样的方法求出你所需要存储的key的hash也将其配臵到这个圆环(continuum)上。然后从数据映射到的位臵开始顺时针查找将数据保存到找到的第一个服务节点上。如果超过2^32仍然找不到服务节点将会保存至第一个memcached服务节点上数据图例如下:

当服务节点增加时:

一致性哈希算法最大程度的避免了key在服务节点列表上的重新分布其他附带的改进就是有的一致性哈希算法还增加了虚拟服务节点的方法也就是一个服务节点在环上有多个映射点这样就能抑制分布不均匀最大限度地减少

服务节点增减时的缓存重新分布。实际应用中能取得较好效果。

2.3基于MD 5调用hash部分的实现(J ava版本)/**

*Calculates the ketama hash value for a string

*@param s

*@returnpublic static Long md5HashingAlg(String key) {if(md5==null) {try{md5=MessageDigest.getInstance

("MD5");catch(NoSuchAlgorithmException e) {log.error( "++++no md5 algorythm found");throw new IllegalStateException( "++++no md5algorythm found");md5.re s et();md5.update(key.getBytes());byte[]bKey=md5.digest();long res=((long)(bKey[3]

0xFF)<<24) | ((long)(bKey[2]

0xFF)<<16) | ((long)(bKey[1]

0xFF)<<8) | (long)(bKey[0]

0 xFF);return res;

3结束语

本文针对云环境下服务器易发生的失效问题运用一致性哈希算法将对象映射至哈希空间从而使容错性得到提升使其在调用模式下一旦一台服务器失效则受影响的数据仅仅是失效服务器与其环空间中前一台服务器间数据其余服务器不受影响。 目前针对云存储的研究仍处于起

步阶段随着研究的深入传统存储技术势必会被云存储技术取代云存储的应用将日益普遍。

参考文献:

[1]赵培.云计算技术及其应用[J].中兴通讯技术 2010(04):11.

[2]郭凌翔.浅谈云存储及其安全性[J].福建电脑 2010(05):3.

[3]MesnierM G anger G R RidelE.Object basedstorage[J].IEEE Com 2003 15(04):84.

[4]Sakar K.An analysis of object storagearchitecture[J].IEEE Comp 2003 2(03):23.

[5]王红艳薛智峰.一种新型的面向对象存储文件系统[J].高性能计算技术2006(02):45.

[6]张建勋古志民郑超.云计算研究进展综述[J].计算机应用研究 201027(02):429-433.

作者简介:于亚舟(1993-) 男黑龙江人学士学位研究方向:物联网云存储技术方向;滕海坤(1983-) 男黑龙江人讲师硕士研究生研究方向:嵌入式系统。

作者单位:黑河学院计算机科学与信息工程系黑龙江黑河164300

文档资料:基于一致性哈希算法的云存储服务器容错性研究完整下载完整阅读全文下载全文阅读免费阅读及下载

阅读相关文档:远程医疗服务对促进新型社区医疗体系建设的意义新时期高校思想政治理论课课堂教学方法探析新疆维吾尔自治区图书馆创新服务思考BP神经网络在人脸识别中的应用研究基于Zigbee的无线智慧校园网设计基于Arc Engine的矿产资源规划管理信息系统的建立大数据时代传统媒体的生存之道基督教对维特根斯坦的影响以培养创新实践能力为核心的“参与式”教学研究移动互联网技术的发展与安全分析我国农村服务体系建设的内容及存在的问题分析PC软件开发技术的应用及未来

发展研究网银互联对接管理系统的研究与应用基于嵌入式的远程图像采集传输系统的研究A RI MA季节乘积模型预测

最新最全【学术论文】 【总结报告】 【演讲致辞】 【领导讲话】 【心得体会】 【党建材料】 【常用范文】 【分析报告】 【应用文档】免费阅读下载*本文收集于因特网所有权为原作者所有。若侵犯了您的权益请留言。我将尽快处理多谢。 *