服务器基于一致性哈希算法云存储服务器容错性研究权威资料

如何使用云存储  时间:2021-01-22  阅读:()

基于一致性哈希算法的云存储服务器容错性研究[权威资料]

基于一致性哈希算法的云存储服务器容错性研究

本文档格式为WORD,感谢你的阅读。

摘要:HDFS架构下的云环境服务器拥有成本低、易扩展、传输效率高等诸多优点但节点选择策略易造成存储负载不均从而影响系统性能针对这一问题结合一致性哈希算法综合多个因素提出了一种服务器改进方案用以缓解中小企业服务器端压力。

关键词:云存储;负载均衡;节点分配;哈希环

TP333

随着近年来网络应用的不断扩充 网络数据交换量正在迅猛增长作为网络服务提供方Web服务器承受着庞大的数据流压力。Web服务器和数据库服务器的反应速度一再成为阻碍网络通信发展的难题大量数据流请求使得数据库服务器必须尽快提供数据处理服务。 由于硬件和操作系统等软件的原因当大量的访问到达时服务器不能够及时处理所有的请求造成应答延迟。尽管计算机学术界已提出使用各项算法实现负载均衡(Load Balancing)与虚拟服务器集群等技术用以解决该问题但仍存在诸多弊端如DNS负载均衡技术无法按照Web服务器的处理能力分配负载可靠性不强集群服务器的高成本与能量消耗问题。随着Google推出云计算[1]概念大量云计算中心在各地落成云存储[2]成为一种新兴的网络服务器技术在实际应用中结合云存储的处理特点使用Hadoop搭载平台合理利用一致性哈希算法(Consistent hashing) 可以较好的解决上述问题。

1云存储与负载均衡机制

1.1云存储的特点

作为云计算的延伸云存储采用基于对象存储[3-5]的分布式非对称架构是一个具有高可靠性、高性能、高扩展性的分布式存储系统能提供高吞吐量的数据访问、在线存储和在线备份。其应用前景十分广阔云存储系统的体系架构如图1所示。

除此之外云存储还拥有易操作性后台对用户透明等特点用户只需通过Web-bas ed应用程序即可上网直接存取数据实时面对需求。从广义讲任何基于We b的服务都可称之为云服务。

由于云计算采用分布式存储方式来存储数据需要将分布式应用部署到大型廉价集群上从而实现对海量数据信息的存储所以从本质上讲云存储仍是一种基于服务器集群模式的系统模型称之为云存储模型[6]。

1.2云存储的负载均衡机制

在云存储环境中存储设备数量庞大并多分布在不同的地域如何实现多台设备间的存储虚拟化管理、最优化利用存储节点使各服务器有效协同提供服务便成了云存储发展环节中的重中之重。

在云存储模型中云存储可将工作量均匀分配到不同的存储服务器上避免个别存储服务器因工作负荷过大造成瓶颈使存储系统能够发挥最大效能。

2一致性哈希算法在云存储中的应用

2.1服务器分布式缓存问题

由于云存储可以看做网格计算演化可伸缩性强所以能够随机应变的提供资源与服务利用这点构建相对平衡的系统需要每个节点参与管理而如何才能结合现有算法实现平衡稳定的服务器模式呢,

举例说明假设有虚拟服务器M台需要映射对象OBJ至M台存储上一般来讲我们会采用hash(OBJ)%M的方法计算OBJ的hash值然后将其均匀映射给N个存储此为正常状况。

而在实际应用中我们需要考虑当服务器访问量加重时需要添加存储设备此时公式演变为hash(OBJ)%(M-1) 。

而当其中一台服务器N失效此时映射至服务器N的对象失效公式即演变为hash(OBJ)%(M-1)。

在实际应用中一旦出现如上情况服务器的存储分配机制就会全部失效庞大的信息流将直接冲击后台服务器造成严重后果。

为避免这种事故需要has h结果保证原有已分配的内容不被映射至旧缓冲集合中的其他缓冲区上面提到的简单has h算法显然无法满足单调性要求。

2.2一致性哈希算法的应用原理

一致性哈希算法(Consistent Hashing)最早在David Karger Eric Lehman等人的论文中被提出是当前较主流的分布式哈希表协议之一对简单哈希算法进行了修正。

透过一致性哈希我们可以实现处理服务器的选择不再仅仅依赖key的hash本身而是将服务实例(节点)的配臵也进行has h运算。

首先我们求出各服务节点的hash将其配臵到一个0,2^23的圆环(continuum)区间上。其次使用同样的方法求出你所需要存储的key的hash也将其配臵到这个圆环(continuum)上。然后从数据映射到的位臵开始顺时针查找将数据保存到找到的第一个服务节点上。如果超过2^32仍然找不到服务节点将会保存至第一个memcached服务节点上数据图例如下:

当服务节点增加时:

一致性哈希算法最大程度的避免了key在服务节点列表上的重新分布其他附带的改进就是有的一致性哈希算法还增加了虚拟服务节点的方法也就是一个服务节点在环上有多个映射点这样就能抑制分布不均匀最大限度地减少

服务节点增减时的缓存重新分布。实际应用中能取得较好效果。

2.3基于MD 5调用hash部分的实现(J ava版本)/**

*Calculates the ketama hash value for a string

*@param s

*@returnpublic static Long md5HashingAlg(String key) {if(md5==null) {try{md5=MessageDigest.getInstance

("MD5");catch(NoSuchAlgorithmException e) {log.error( "++++no md5 algorythm found");throw new IllegalStateException( "++++no md5algorythm found");md5.re s et();md5.update(key.getBytes());byte[]bKey=md5.digest();long res=((long)(bKey[3]

0xFF)<<24) | ((long)(bKey[2]

0xFF)<<16) | ((long)(bKey[1]

0xFF)<<8) | (long)(bKey[0]

0 xFF);return res;

3结束语

本文针对云环境下服务器易发生的失效问题运用一致性哈希算法将对象映射至哈希空间从而使容错性得到提升使其在调用模式下一旦一台服务器失效则受影响的数据仅仅是失效服务器与其环空间中前一台服务器间数据其余服务器不受影响。 目前针对云存储的研究仍处于起

步阶段随着研究的深入传统存储技术势必会被云存储技术取代云存储的应用将日益普遍。

参考文献:

[1]赵培.云计算技术及其应用[J].中兴通讯技术 2010(04):11.

[2]郭凌翔.浅谈云存储及其安全性[J].福建电脑 2010(05):3.

[3]MesnierM G anger G R RidelE.Object basedstorage[J].IEEE Com 2003 15(04):84.

[4]Sakar K.An analysis of object storagearchitecture[J].IEEE Comp 2003 2(03):23.

[5]王红艳薛智峰.一种新型的面向对象存储文件系统[J].高性能计算技术2006(02):45.

[6]张建勋古志民郑超.云计算研究进展综述[J].计算机应用研究 201027(02):429-433.

作者简介:于亚舟(1993-) 男黑龙江人学士学位研究方向:物联网云存储技术方向;滕海坤(1983-) 男黑龙江人讲师硕士研究生研究方向:嵌入式系统。

作者单位:黑河学院计算机科学与信息工程系黑龙江黑河164300

文档资料:基于一致性哈希算法的云存储服务器容错性研究完整下载完整阅读全文下载全文阅读免费阅读及下载

阅读相关文档:远程医疗服务对促进新型社区医疗体系建设的意义新时期高校思想政治理论课课堂教学方法探析新疆维吾尔自治区图书馆创新服务思考BP神经网络在人脸识别中的应用研究基于Zigbee的无线智慧校园网设计基于Arc Engine的矿产资源规划管理信息系统的建立大数据时代传统媒体的生存之道基督教对维特根斯坦的影响以培养创新实践能力为核心的“参与式”教学研究移动互联网技术的发展与安全分析我国农村服务体系建设的内容及存在的问题分析PC软件开发技术的应用及未来

发展研究网银互联对接管理系统的研究与应用基于嵌入式的远程图像采集传输系统的研究A RI MA季节乘积模型预测

最新最全【学术论文】 【总结报告】 【演讲致辞】 【领导讲话】 【心得体会】 【党建材料】 【常用范文】 【分析报告】 【应用文档】免费阅读下载*本文收集于因特网所有权为原作者所有。若侵犯了您的权益请留言。我将尽快处理多谢。 *

PIGYUN:美国联通CUVIPCUVIP限时cuvip、AS9929、GIA/韩国CN2机房限时六折

pigyun怎么样?PIGYunData成立于2019年,2021是PIGYun为用户提供稳定服务的第三年,目前商家提供香港CN2线路、韩国cn2线路、美西CUVIP-9929、GIA等线路优质VPS,基于KVM虚拟架构,商家采用魔方云平台,所有的配置都可以弹性选择,目前商家推出了七月优惠,韩国和美国所有线路都有相应的促销,六折至八折,性价比不错。点击进入:PIGYun官方网站地址PIGYUN优惠...

CYUN(29元/月)美国、香港、台湾、日本、韩国CN2,续费原价

关于CYUN商家在之前有介绍过一次,CYUN是香港蓝米数据有限公司旗下的云计算服务品牌,和蓝米云、蓝米主机等同属该公司。商家主要是为个人开发者用户、中小型、大型企业用户提供一站式核心网络云端部署服务,促使用户云端部署化简为零,轻松快捷运用云计算。目前,CYUN主要运营美国、香港、台湾、日本、韩国CN2线路产品,包括云服务器、站群服务器和独立服务器等。这次看到CYUN夏季优惠活动发布了,依然是熟悉的...

Ceranetworks顶级合作伙伴 香港E3 16G 299元 香港E5 32G 650元 美国E3 16G 650元

提速啦(www.tisula.com)是赣州王成璟网络科技有限公司旗下云服务器品牌,目前拥有在籍员工40人左右,社保在籍员工30人+,是正规的国内拥有IDC ICP ISP CDN 云牌照资质商家,2018-2021年连续4年获得CTG机房顶级金牌代理商荣誉 2021年赣州市于都县创业大赛三等奖,2020年于都电子商务示范企业,2021年于都县电子商务融合推广大使。资源优势介绍:Ceranetwo...

如何使用云存储为你推荐
唐人社美国10次啦我看到罗显琪第一眼就喜欢他了!当中我们一共见过10次面,也发生过两次关系! 但是他有女朋友对我也只是一时兴起吧,所以第十次见面之后,我们再没有联系,但是现在我大姨妈晚了很多天了,我担心是否怀孕,如果有的话,我又不想打掉,该找他吗?手机浏览器哪个好目前手机浏览器哪个最好电视直播软件哪个好电视直播软件哪个好音乐播放器哪个好目前音质最好的音乐播放器英语词典哪个好什么英语词典好?海克斯皮肤哪个好诺手二周年皮肤好不好,和海克斯那个比哪个好,二周年属于稀有吗播放器哪个好手机本地视频播放器哪个好用清理手机垃圾软件哪个好清理手机垃圾的软件哪个好yy空间登录怎么登陆YY空间qq空间登录界面我的手机QQ打开应该是九个选项,什么空间,但是现在打开怎么直接是QQ登录界面,这个撇手机
cm域名注册 万网域名解析 cpanel la域名 香港机房托管 英文简历模板word 新世界电讯 圣诞节促销 个人域名 idc是什么 流媒体加速 东莞idc 网页提速 阿里云免费邮箱 全能空间 php服务器 腾讯网盘 cdn服务 xshell5注册码 512内存 更多