并行文件系统的应用探讨

刘明1,张军平2**|1|刘明|LIUMing|北京邮电大学信息与通信工程学院,北京100876|SchoolofInformationandCommunicationEngineering,BeijingUniversityofPostsandTelecommunications,Beijing100876|刘明(1984-),男,助理工程师,数字电视|北京市海淀区西土城路10号学3楼520室|100876|mliu@bupt.
edu.
cn|010-62285829|15801371644|2|张军平|ZHANGJunping|中国航天二院信息技术中心,北京100854|InformationTechnologyCenter,ThesecondAcademyofChinaAerospace,Beijing100854|张军平(1970-),男,高级工程师,数据存储和备份|北京市142信箱32分箱|100854|jqsq@163.
com|010-68763030|13261099192并行文件系统的应用探讨|TheresearchintheapplicationofParallelFileSystem|(1.
北京邮电大学信息与通信工程学院,北京100876;2.
中国航天二院信息技术中心,北京100854)摘要:信息技术中心管理着大量的服务器,这些服务器上需要部署很多的应用系统,而不同的应用系统需要采取不同的部署方法.
在服务器上部署并行文件系统能够提高数据I/O的性能和科学计算程序的计算速度,但是并行文件系统并不一定适合于所有的应用系统.
本文采用一款非常优秀的文件系统测试软件IOzone,测试了不同服务器上的文件系统性能,得到大量的测试数据,通过图像化的表示方法分析测试结果,得出结论:和小文件读写的应用系统相比,并行文件系统更适合于部署在大文件读写的应用系统上.

关键词:计算机应用技术;并行文件系统;文件系统测试软件IOzone;大文件读写速率;小文件随机读写速率中图分类号:TP338.
6TheresearchintheapplicationofParallelFileSystemLIUMing1,ZHANGJunping2(1.
SchoolofInformationandCommunicationEngineering,BeijingUniversityofPostsandTelecommunications,Beijing100876;2.
InformationTechnologyCenter,ThesecondAcademyofChinaAerospace,Beijing100854)Abstract:TheInformationTechnologyCentermanagesalargenumberofservers,manyapplicationsystemsaredeployedintheseservers,differentdeploypoliciesarefitfordifferentservers.
AlthoughParallelFileSystemisabletoimproveI/Operformanceandcalculationspeedofscientificcalculationprogram,itisnotappropriateforallapplicationsystems.
Inthispaper,anexcellentfilesystembenchmarktoolIOzoneisintroduced,whichisusedtotestfilesystempeoformanceindifferentservers.
Thenplentyofdataaregathered,whicharedescribedinmanydifferenthistograms.
Wecangettheconclusionfromthesehistogramsthatparallelfilesystemissuitablefortheapplicaionsysteminreadingandwritinglargefiles,butnotfitfortheapplicationsysteminreadingandwritingsmallfiles.
Keywords:computerapplicationtechnology;parallelfilesystem;IOzone;readandwritespeedsoflargefiles;randomreadandwritespeedsofsmallfiles引言信息化试点工作给企业的发展既带来难得的机遇,也带来一定的挑战.
信息化建设是适应国际发展趋势、适应国家政策方向、适应行业发展需要,确保企业实现既定战略目标的重要标志和内在需要;同时,信息化建设的周期长、难度大、实施过程复杂,还有可能遇到很多意想不到的情况.

在实施企业信息化[1]的过程中,信息技术中心的建设起着举足轻重的作用.
信息技术中心是企业内部网络的枢纽,各信息点的信息交互都是通过信息技术中心的不同应用服务器[2]实现的.
信息技术中心的应用服务器包括邮件系统服务器、财务系统服务器、人事系统服务器、审计系统服务器、OA服务器[3]和视频会议系统服务器等功能各异的服务器.
由于不同的应用服务器需要实现不同的功能,所以需要对不同的应用服务器采用不同的部署[4]方法.
比如邮件系统中数据的特点是小文件多、目录多、读写删除操作非常频繁[5],因此邮件系统服务器要达到磁盘读写速度快、I/O丰富、缓存较大等要求;而视频会议系统传输的都是多媒体信息[6],因此要求磁盘满足容量大、连续处理能力强等要求.

本文作者工作于信息技术中心,管理着大量的服务器和软件平台,借助优秀的硬盘性能测试工具IOzone,作者搭建了几种单机服务器系统和并行文件系统[7]进行实际测试,通过分析测试结果得到了相关结论,为部署应用系统服务器提供了重要的依据.

测试工具IOzone介绍IOzone是一款非常好的文件系统测试工具.
这款工具能够进行多种文件操作.
IOzone可以安装在不同的计算机和操作系统上.
IOzone在分析计算机的文件系统性能方面是很有用的,可以对文件系统进行读写方面的一些测试.

人们使用计算机都是出于某一方面的应用考虑的,并且这种应用以后会发生变化.
许多计算机提供商考虑到一些常用的应用,会加强操作系统某些方面的性能.
尽管这种方式提高了一些应用方面的性能,但是很可能对其他方面的应用没有起到太好的作用.
可以用数据库方面的应用来解释一下.
许多操作系统会选择好的文件系统,这是为了提升数据库应用的性能.
这样做使数据库应用方面的性能提高了,可是其他应用方面的性能可能就降低了.
计算机管理员可能会在装有数据库的计算机上再安装一些办公自动化的软件,这时候计算机的工作就从随机读改成了按顺序读.
用户会发现这时候计算机的性能非常差,很难令人满意.
通过使用IOzone测试文件系统的读写性能,可以得到更加全面的测试结果,从而综合考虑文件系统的I/O性能.

文件系统测试测试环境HP并行文件系统两台HPBL460C刀片服务器(8核8GB内存)配置4GBHBA卡,直连HPEVA8100光纤磁盘阵列,安装并行文件系统.
IBM单机系统一台IBMX460服务器(4核8GB内存)配置4GBHBA卡,直连IBMDS4300光纤磁盘阵列,配置10块FC磁盘.
HP单机系统一台HPBL460C刀片服务器(8核8GB内存)配置4GBHBA卡,直连HPEVA8100光纤磁盘阵列.
注:以上环境均安装WINDOWS2003R2企业版操作系统.
大文件读测试结果大文件的I/O操作主要是按顺序读写磁盘,所以只需给出大文件读写的速率.
由于测试软件IOzone要求测试文件的大小至少是服务器内存大小的两倍,所以大文件测试时使用的文件大小是16GB.
测试文件块的大小从64KB到4096KB.
测试并行文件系统时,测试了两台服务器同时读写文件和单台服务器读写文件两种情况.

表1大文件读测试Tab.
1readtestoflargefiles64kB128kB256kB512kB1024kB2048kB4096kBHP并行文件系统(双)241.
18257.
524142.
428157.
352163.
491183.
372237.
623HP并行文件系统(单)217.
86031.
02796.
818123.
203146.
428171.
250211.
577IBM单机系统21.
38640.
74946.
51152.
46856.
11263.
76572.
190HP单机系统46.
80149.
79862.
86971.
097117.
06497.
53196.
145注:表1中第1行的数据表示文件块大小,以下各表第1行的数据都表示文件块大小.

表1中测试数据的单位都是MB/s,如无特殊说明,全文中测试数据的单位都是MB/s.

大文件写测试结果表2大文件写测试Tab.
2writetestoflargefiles64kB128kB256kB512kB1024kB2048kB4096kBHP并行文件系统(双)287.
395103.
851127.
483138.
583212.
037162.
338274.
772HP并行文件系统(单)251.
12679.
78192.
124111.
067192.
863136.
260231.
294IBM单机系统22.
86534.
45236.
8162.
7691.
5791.
0201.
491HP单机系统104.
607231.
86775.
49252.
98770.
78367.
33063.
873小文件随机读测试结果小文件的I/O操作主要是跳跃式的读写磁盘,所以只需给出小文件随机读写的速率.
由于测试软件IOzone要求测试文件的大小至少是服务器内存大小的两倍,所以小文件测试时使用的文件大小是40MB,且同时运行250个线程.
测试文件块的大小从64KB到1024KB.
测试并行文件系统时,也测试了两台服务器同时读写文件和单台服务器读写文件两种情况.

表3小文件随机读测试Tab.
3randomreadtestofsmallfiles64kB128kB256kB512kB1024kBHP并行文件系统(双)77.
952241.
986421.
131191.
474290.
746HP并行文件系统(单)34.
64283.
569218.
483177.
049162.
423IBM单机系统65.
95027.
46926.
51726.
19526.
532HP单机系统157.
465105.
181207.
495218.
385185.
697小文件随机写测试结果表4小文件随机写测试Tab.
4randomwritetestofsmallfiles64kB128kB256kB512kB1024kBHP并行文件系统(双)188.
292163.
662218.
755211.
159318.
179HP并行文件系统(单)109.
825122.
637149.
201171.
424207.
351IBM单机系统14.
28310.
97113.
78312.
5168.
785HP单机系统69.
81996.
152105.
06670.
01037.
967测试结果分析大文件读测试结果分析以文件块大小为横坐标,大文件读速率为纵坐标,把表1中的数据统计成柱状图1.

图1大文件读测试柱状图Fig.
1readtesthistogramoflargefiles在读大文件时,文件块大小从64KB增加到4MB,HP并行文件系统的I/O性能最好,明显高于IBM单机系统和HP单机系统.
就HP并行文件系统本身而言,双机同时读磁盘的性能要优于单台服务器读磁盘的性能.

大文件写测试结果分析以文件块大小为横坐标,大文件写速率为纵坐标,把表2中的数据统计成柱状图2.

图2大文件写测试柱状图Fig.
2writetesthistogramoflargefiles在写大文件时,文件块大小从64KB增加到4MB,HP并行文件系统除在文件块大小为128KB时的写磁盘性能不理想之外,在其他文件块大小时的测试结果明显高于IBM单机系统和HP单机系统.
就HP并行文件系统本身而言,双机同时写磁盘的性能要优于单台服务器写磁盘的性能.

小文件随机读测试结果分析以文件块大小为横坐标,小文件随机读速率为纵坐标,把表3中的数据统计成柱状图3.

图3小文件随机读测试柱状图Fig.
3randomreadtesthistogramofsmallfiles在随机读小文件时,文件块大小从64KB增加到1MB,HP并行文件系统的I/O性能和HP单机系统的I/O性能差不多,而且HP单机系统的I/O性能比HP并行文件系统更稳定,但IBM单机系统的I/O性能要差很多.
就HP并行文件系统本身而言,双机同时读磁盘的性能要优于单台服务器读磁盘的性能.

小文件随机写测试结果分析以文件块大小为横坐标,小文件随机写速率为纵坐标,把表4中的数据统计成柱状图4.

图4小文件随机写测试柱状图Fig.
4randomwritetesthistogramofsmallfiles在随机写小文件时,文件块大小从64KB增加到1MB,HP并行文件系统的I/O性能最好,HP单机系统的I/O性能次之,IBM单机系统的I/O性能最差.
就HP并行文件系统本身而言,双机同时写磁盘的性能要优于单台服务器写磁盘的性能.

结论本文测试了并行文件系统和单机系统的磁盘读写性能.
并行文件系统在多机并发测试时,性能上升较快,写性能尤其明显.
因此,只要把用户访问请求均衡分布到多台I/O节点上,并行文件系统的优势就可以得到充分体现.
而且,和小文件读写的应用系统相比,并行文件系统更适合于部署在大文件读写的应用系统上.