数据提高网速软件

计算机工程与应用2005.
101引言随着文件大小和数据规模逐步达到TB和PB,网络存储在高性能集群系统中已经变得越来越重要,这种趋势会随着高速网络技术的发展而变得更加明显.
传统的存储技术已经无法满足需要,于是出现了许多新型的已被普遍接受的网络存储技术(如NAS和SAN)NAS技术成本低廉,但是却受到带宽消耗的限制,无法完成大容量存储的应用,而且系统无法满足开放性的要求.
SAN目前有两种解决方案:基于光纤通道(FiberChannel)的SAN(FC6SAN)和基于7P的SAN(7P6SAN).
其中FC6SAN远距离光纤通道价格昂贵,使得其应用领域十分狭窄.
而7P和89herne9技术的成熟,使得基于7P的存储网络能够很好地满足用户的投入、高性能的存储要求.
在7P6SAN中iSCS7是应用最广泛的技术.
iSCS7协议定义了在TCP:7P网络发送、接收bl;NB在集群环境中以一种完全不同的机制来实现数据的访问.
提供标准的块设备接口,89her>NB的客户端和服务器都实现在核心内部,以模块的形式动态按需插入,多线程池和任务队列,构建在b@AAerNB由两部分组成:客户端(89her>NBClien9)和服务器(89her>NBSerBer).
客户端接收上层应用(主要是文件系统)对某一个89her>NB设备上的数据块的读写请求,并将这种请求发送给物理设备所在的服务器.
服务器处理客户端的请求.
图1所示为其整体结构.
如图所示,89her>NB的客户端驻留在核心的b@AAerNB的服务器端模块,建立在b@AAeriENB,并说明详细的设计和实现,通过比较证明89her>NB在性能上有显著的提高,能够更好地适应大规模的集群环境.
关键词网络存储SANiSCS7集群系统NFS文章编号1002>CDD1>(2005)10>00F1>02文献标识码A中图分类号TPD1*t#012*33+4t05+6789t+%-+t:;%1$=;3t:>%$>@1A018;BC>@1D;@13$@1EF0;@1G0@EH>@I2028>EJ>@1K0@B1(SNt:Ni9h9heLeBel;MGen9;ACl@E9erSKE9eG,Ne9O;r=S9;raHeS;A9OareMlaKEaniniEENB,9;He9herOi9hi9PELe9aileLLeEiHnGen9anLiGMleGen9arebr;@Hh9;@9in9hiEar9iNBE),男,硕士生,主要从事网络存储系统的研究.
唐荣锋(1FUF>),男,博士生,主要从事集群文件系统的相关研究.
熊劲(1FRF>),女,副研究员,主要从事集群文件系统的相关研究.
范志华(1FUC>),男,博士生,主要从事集群文件系统的相关研究.
王沁(1FR1>),女,教授,博士生导师,主要从事计算机体系结构与微处理器芯片设计、操作系统与软件支撑环境、计算机体系结构、微处理器芯片设计.
912005.
10计算机工程与应用图1ether-NBD的整体结构2.
1客户端与服务器端设计实现Ether-NBD的客户端和服务器都实现在核心内部,以模块的形式动态按需插入.
这种实现方式避免了核心到用户空间之间的转换,减少了不必要的开销.
Ether-NBD在客户端和服务器上都有一个由一定数量的服务线程(核心线程)构成的线程池,所有的请求工作都由这些线程来完成.
同时,维护一个任务队列(TaskQueue),任何当前没有处理的请求都按照FIFO的规则挂在该队列上.
Ether-NBD直接接收和处理buffercache层提交的请求.
这种请求都是针对以bufferhead结构描述的一个固定大小的数据块的读写操作.
也就说,从buffercache层开始,使用Ether-NBD设备的数据流与其它的设备的数据流就已经分开来:客户接收请求,发送给服务器,服务器找到对应的数据块在该系统中的buffer,将之从中读出发送给客户端,客户端将数据直接接收到buffer中(客户端读操作);直接将客户端发送过来的数据接收到该buffer中(客户端写操作).
这种实现策略的好处在于:首先,避免了额外的开销,比如,对unh-iSCSI来说,上层的请求一直深入到scsi层,然后再封装成scsi命令包,发给服务器,服务器需要重新解析命令包,然后完成命令指定工作;其次,可以充分利用服务器端的缓存.
2.
2通信层设计与实现在通信层上Ether-NBD是直接建立在以太网数据帧的基础上进行通信,发送端通过将数据直接封装到以太网数据帧中,数据帧格式如图2,并将接收主机网络设备Mac地址(DA)、发送主机网络设备Mac地址(SA),以太网数据帧类型(EtherType),Ether-NBD的以太网数据包头结构(ENHead)等信息添入数据帧中,其中由于以太网的数据帧要小于1500bytes,所以传输的数据(ENData)必须小于1488bytes,在核心中通过调用网卡的发送函数将数据发送到接收端.
当接收端收到数据包后,进行组装并将数据传送给处理程序.
这样就可以避免TCP/IP协议中数据的多次拷贝和TCP和IP包头的开销进而提高传输效率.
图2ether-NBD数据帧结构通过以太网数据帧来传输数据是Ether-NBD性能提高的主要因素之一.
在处理写请求时,客户端将要发送的数据按照图2中的数据结构拆分为一组数据帧,在ENHead结构中包括本次写请求的编号(ReqKNL),起始块号(BMLckNL),要处理的总块数(BMLcks),还有数据帧在本组中的帧序号(FraNeNL),服务器端将接收到的属于本次写请求的数据帧放到一个双向链表中,并判断数据是否已接收完整,并给客户端发送应答信息.
当写请求的数据都已收到后,服务器就会根据请求中的起始块号(BMLckNL)和块数(BMLcks)找到所有相应数据块在内存中的bufferKhead,并将链表中数据帧中的数据按照FraNeNL的顺序拷贝到相应bufferKhead的数据域上.
读请求与写请求类似,只是发送端变成了服务器,接收端为客户端.
在ENHead结构中还包括一些用于处理安全和控制的数据结构,主要用来保证数据传输的安全性和正确性,由于Ether-NBD是在封闭的集群内部运行,所以这部分结构较简单,传输中所占的网络带宽相对于TCP/IP协议就比较少,进而可以提高Ether-NBD数据传输中的效率和性能.
O性能与评价这部分将通过和其他网络存储系统进行对比来给出Ether-NBD的效率和性能评价.
unhKiSCSI和NFS都是现在使用较广泛的网络存储软件.
unhKiscsi是由新罕布什尔大学协同工作性实验室(PNHIOQ)开发的.
他由一个启动器(initiatLr)和一个目标器(tarReteNuMatLr)构成并且完全在遵守互联网工程任务小组IETF(InSternetEnRineerinRTaskFLrce)中有关存储区域网络(SAN)的协议以及IETF中iSCSI网络存储标准.
启动器和目标器被分别安装在客户端和服务器端,当客户端连接到服务器端后将在两端分别产生两个线程分别用来处理读写请求.
NFS就是"网络文件共享"(NetTLrkFiMeSharinR)的简写,他是一个通讯协议,最初由SunMicrLsysteNs公司发展出来的.
他是一个多部机器之间共享文件的方法,所共享文件就好像放在机器本身的系统上一样.
客户端会将服务器端"共享出来(eUpLrted)"的文件系统"安置(NLunts)"在自己的文件系统下.
所安置的文件系统在用户端机器上看起来,就好像是机器本身的文件系统一样.
O.
1试验环境与测试工具为了验证Ether-NBD的性能,该文将在100M以太网上对其进行了测试,客户端和服务器端都是采用在系统核心中运行的程序.
测试是在两台通过IP交换机连接起来的曙光服务器上进行的,其中一台作为客户端,另一台作为服务器.
两台机器的配置相同:CPP为InteMPentiuNIII1VMHW、内存1VMHW,100兆网卡连接,操作系统位RedHadX.
O.
测试工具选用dd,dd为MinuU操作系统自带的系统内部命令,主要用来对磁盘数据的访问.
O.
2和unhKiSCSI的性能比较下面将把Ether-NBD和unhKiSCSI的读写性能以不同的记录数据块大小进行比较,并对其进行分析.
图OunhKiSCSI和Ether-NBD之间记录块为Y4k时写性能的比较(下转1Y8页)922005.
10计算机工程与应用图4unh*+,-,.
和/0h123456之间记录块为748时读性能的比较从图9,图4可以看出由于/0h123456无论在读请求还是在写请求上性能都有所提高,尤其是当读写的数据增加时性能会有显著的提高.
从前面内容中已经了解到/0h123456的客户端和服务器端都是直接工作在系统缓存上,使得系统的效率有了明显的提高,同时/0h123456在通信上通过以太网数据帧的原始连接来传送数据,这样就避免了协议中额外的网络带宽的消耗,同时减少了数据在多层网络协议之间的传送,在通信上相对提高了网络带宽,更好地利用了网络资源.
9.
9和4=,的性能比较这部分通过将/0h123456的读写性能和现在应用比较广泛的4=,进行比较,并给出分析结果.
图54=,和/0h123456之间记录块为748时写性能的比较通过图5和图7中的数据,可以看出/0h123456在读写性能上和4=,相比有较大的提高.
4=,是通过数据共享的方式来使客户端能够对服务器端的数据进行访问,它是建立在文件1.
)的读写方式上的,而/0h123456是建立在块设备.
(5@A8.
)读写方式上的,所以与4=,系统相比较/0h123456更加适合于大规模高性能的集群系统.
4结论和进一步的工作该文介绍了一种为大规模集群系统设计的网络存储软件/0h123456,/0h123456是为网络环境比较安全稳定的集群系统而开发的,由以上数据可以看出/0h123456在性能上有很大的提高,基于以太网数据帧的通信设计保证了其能够最大限度地利用网络带宽,提高网络存储的效率.
在以后的工作中笔者会在基于/0h123456的基础上,开发出在千兆以太网以及BC2+n10网络协议中运行的高效的网络存储软件.
(收稿日期:2004年11月)参考文献1.
4=,D12E+@n4;2@0@A@F,G.
H=-9010,20003122.
h00I:,;21EE,20093014.
SCI12,-,.
;2@0@A@,I1A+T+AN0+@nF,R.
B-,P,6N0N,0@2NO1.
nE0+0u01,,+nONI@21,h00I:<KE+.
N3E0N2.
1Ku.
EOh0M5.
BN2A=N21C著.
孙功星,蒋文保,范勇等译.
,P4存储区域网络FBR.
北京:机械工业出版社,2001301图74=,和/0h123456之间记录块为748时读性能的比较(上接U2页)入相应的模板语法树就可以识别出与其相应的句式.
通过分析以上测试用例,获知用例1与图9表示的语法树吻合.
并且,由于图9表示的语法树采用了递归算法允许针对多个字段进行查询,因此用例2也与图9表示的语法树吻合.
与用例1和用例2相比,用例9比较复杂,涉及到了,VW中的嵌套语句,它的执行方式在前面的,VW语句生成算法的例9中已有详细的说明.
用例9也可以正确地识别出查询语句所涉及的表名、查询条件和查询结果.
当然,由于4W65V系统采用的数据词典针对的是特定的数据库,数据词典内容和结构有限,很多新词系统都不能将其正确切分出来,而且在设计模板语法树的过程中,采用的是忽略未知词的方式,所以对这种语句系统将得不到正确的结果.
这是系统中一个需要改进的地方.
4结束语4W65V可以对绝大部分比较规范的查询语句得到准确的,VW语句,并且具有良好的可扩展性.
该系统的设计使用了先进的技术和工具,并充分利用了.
n012n10庞大的知识库,查阅了大量的参考资料,保证了先进性.
(收稿日期:2005年1月)参考文献1.
周经野.
基于自然语言计算模型的汉语理解系统FXR.
软件学报,1UU9;4(7):4Y1472.
-u+nOT@2KH,PB,5N2ZN2NX510N1KE.
H1NK+nOE+n4N0u2NWNn3OuNO1;2@A1EE+nOFBR.
B@2ONn[NuTMNnn,W@EP0@E,1U\79.
刘挺.
最大概率分词问题及其解法FXR.
哈尔滨工业大学学报,1UU\;90(7)4.
]NhE012].
:h1H@1@T4N0u2NWNnOuNO1+nPKDNnA1K[n@J1KO15NE1K,CE01MEF-R.
.
n:]+n012S1K.
P20+T+A+N.
n01+O1nA1NnKNn3BN3Ah+n1,512+n:,I2+nO123^12NO,1U\75.
梁南元.
书面汉语自动分词综述QXR.
计算机应用与软件,1U\_;4(9)7.
WC@nEX.
.
n02@KuA0+@n0@:h1@210+ANW+nOu+E0+AEQBR.
W@nK@n:-NMZ2+KO1'n+D12E+0C;21EE,1U\7_.
谭琼,史忠植.
分词中的歧义处理QXR.
计算机工程与应用,2002;9\(11):125Y12_168