并行文件系统的应用探讨

西安服务器  时间:2021-01-03  阅读:()

刘明1,张军平2**|1|刘明|LIUMing|北京邮电大学信息与通信工程学院,北京100876|SchoolofInformationandCommunicationEngineering,BeijingUniversityofPostsandTelecommunications,Beijing100876|刘明(1984-),男,助理工程师,数字电视|北京市海淀区西土城路10号学3楼520室|100876|mliu@bupt.
edu.
cn|010-62285829|15801371644|2|张军平|ZHANGJunping|中国航天二院信息技术中心,北京100854|InformationTechnologyCenter,ThesecondAcademyofChinaAerospace,Beijing100854|张军平(1970-),男,高级工程师,数据存储和备份|北京市142信箱32分箱|100854|jqsq@163.
com|010-68763030|13261099192并行文件系统的应用探讨|TheresearchintheapplicationofParallelFileSystem|(1.
北京邮电大学信息与通信工程学院,北京100876;2.
中国航天二院信息技术中心,北京100854)摘要:信息技术中心管理着大量的服务器,这些服务器上需要部署很多的应用系统,而不同的应用系统需要采取不同的部署方法.
在服务器上部署并行文件系统能够提高数据I/O的性能和科学计算程序的计算速度,但是并行文件系统并不一定适合于所有的应用系统.
本文采用一款非常优秀的文件系统测试软件IOzone,测试了不同服务器上的文件系统性能,得到大量的测试数据,通过图像化的表示方法分析测试结果,得出结论:和小文件读写的应用系统相比,并行文件系统更适合于部署在大文件读写的应用系统上.

关键词:计算机应用技术;并行文件系统;文件系统测试软件IOzone;大文件读写速率;小文件随机读写速率中图分类号:TP338.
6TheresearchintheapplicationofParallelFileSystemLIUMing1,ZHANGJunping2(1.
SchoolofInformationandCommunicationEngineering,BeijingUniversityofPostsandTelecommunications,Beijing100876;2.
InformationTechnologyCenter,ThesecondAcademyofChinaAerospace,Beijing100854)Abstract:TheInformationTechnologyCentermanagesalargenumberofservers,manyapplicationsystemsaredeployedintheseservers,differentdeploypoliciesarefitfordifferentservers.
AlthoughParallelFileSystemisabletoimproveI/Operformanceandcalculationspeedofscientificcalculationprogram,itisnotappropriateforallapplicationsystems.
Inthispaper,anexcellentfilesystembenchmarktoolIOzoneisintroduced,whichisusedtotestfilesystempeoformanceindifferentservers.
Thenplentyofdataaregathered,whicharedescribedinmanydifferenthistograms.
Wecangettheconclusionfromthesehistogramsthatparallelfilesystemissuitablefortheapplicaionsysteminreadingandwritinglargefiles,butnotfitfortheapplicationsysteminreadingandwritingsmallfiles.
Keywords:computerapplicationtechnology;parallelfilesystem;IOzone;readandwritespeedsoflargefiles;randomreadandwritespeedsofsmallfiles引言信息化试点工作给企业的发展既带来难得的机遇,也带来一定的挑战.
信息化建设是适应国际发展趋势、适应国家政策方向、适应行业发展需要,确保企业实现既定战略目标的重要标志和内在需要;同时,信息化建设的周期长、难度大、实施过程复杂,还有可能遇到很多意想不到的情况.

在实施企业信息化[1]的过程中,信息技术中心的建设起着举足轻重的作用.
信息技术中心是企业内部网络的枢纽,各信息点的信息交互都是通过信息技术中心的不同应用服务器[2]实现的.
信息技术中心的应用服务器包括邮件系统服务器、财务系统服务器、人事系统服务器、审计系统服务器、OA服务器[3]和视频会议系统服务器等功能各异的服务器.
由于不同的应用服务器需要实现不同的功能,所以需要对不同的应用服务器采用不同的部署[4]方法.
比如邮件系统中数据的特点是小文件多、目录多、读写删除操作非常频繁[5],因此邮件系统服务器要达到磁盘读写速度快、I/O丰富、缓存较大等要求;而视频会议系统传输的都是多媒体信息[6],因此要求磁盘满足容量大、连续处理能力强等要求.

本文作者工作于信息技术中心,管理着大量的服务器和软件平台,借助优秀的硬盘性能测试工具IOzone,作者搭建了几种单机服务器系统和并行文件系统[7]进行实际测试,通过分析测试结果得到了相关结论,为部署应用系统服务器提供了重要的依据.

测试工具IOzone介绍IOzone是一款非常好的文件系统测试工具.
这款工具能够进行多种文件操作.
IOzone可以安装在不同的计算机和操作系统上.
IOzone在分析计算机的文件系统性能方面是很有用的,可以对文件系统进行读写方面的一些测试.

人们使用计算机都是出于某一方面的应用考虑的,并且这种应用以后会发生变化.
许多计算机提供商考虑到一些常用的应用,会加强操作系统某些方面的性能.
尽管这种方式提高了一些应用方面的性能,但是很可能对其他方面的应用没有起到太好的作用.
可以用数据库方面的应用来解释一下.
许多操作系统会选择好的文件系统,这是为了提升数据库应用的性能.
这样做使数据库应用方面的性能提高了,可是其他应用方面的性能可能就降低了.
计算机管理员可能会在装有数据库的计算机上再安装一些办公自动化的软件,这时候计算机的工作就从随机读改成了按顺序读.
用户会发现这时候计算机的性能非常差,很难令人满意.
通过使用IOzone测试文件系统的读写性能,可以得到更加全面的测试结果,从而综合考虑文件系统的I/O性能.

文件系统测试测试环境HP并行文件系统两台HPBL460C刀片服务器(8核8GB内存)配置4GBHBA卡,直连HPEVA8100光纤磁盘阵列,安装并行文件系统.
IBM单机系统一台IBMX460服务器(4核8GB内存)配置4GBHBA卡,直连IBMDS4300光纤磁盘阵列,配置10块FC磁盘.
HP单机系统一台HPBL460C刀片服务器(8核8GB内存)配置4GBHBA卡,直连HPEVA8100光纤磁盘阵列.
注:以上环境均安装WINDOWS2003R2企业版操作系统.
大文件读测试结果大文件的I/O操作主要是按顺序读写磁盘,所以只需给出大文件读写的速率.
由于测试软件IOzone要求测试文件的大小至少是服务器内存大小的两倍,所以大文件测试时使用的文件大小是16GB.
测试文件块的大小从64KB到4096KB.
测试并行文件系统时,测试了两台服务器同时读写文件和单台服务器读写文件两种情况.

表1大文件读测试Tab.
1readtestoflargefiles64kB128kB256kB512kB1024kB2048kB4096kBHP并行文件系统(双)241.
18257.
524142.
428157.
352163.
491183.
372237.
623HP并行文件系统(单)217.
86031.
02796.
818123.
203146.
428171.
250211.
577IBM单机系统21.
38640.
74946.
51152.
46856.
11263.
76572.
190HP单机系统46.
80149.
79862.
86971.
097117.
06497.
53196.
145注:表1中第1行的数据表示文件块大小,以下各表第1行的数据都表示文件块大小.

表1中测试数据的单位都是MB/s,如无特殊说明,全文中测试数据的单位都是MB/s.

大文件写测试结果表2大文件写测试Tab.
2writetestoflargefiles64kB128kB256kB512kB1024kB2048kB4096kBHP并行文件系统(双)287.
395103.
851127.
483138.
583212.
037162.
338274.
772HP并行文件系统(单)251.
12679.
78192.
124111.
067192.
863136.
260231.
294IBM单机系统22.
86534.
45236.
8162.
7691.
5791.
0201.
491HP单机系统104.
607231.
86775.
49252.
98770.
78367.
33063.
873小文件随机读测试结果小文件的I/O操作主要是跳跃式的读写磁盘,所以只需给出小文件随机读写的速率.
由于测试软件IOzone要求测试文件的大小至少是服务器内存大小的两倍,所以小文件测试时使用的文件大小是40MB,且同时运行250个线程.
测试文件块的大小从64KB到1024KB.
测试并行文件系统时,也测试了两台服务器同时读写文件和单台服务器读写文件两种情况.

表3小文件随机读测试Tab.
3randomreadtestofsmallfiles64kB128kB256kB512kB1024kBHP并行文件系统(双)77.
952241.
986421.
131191.
474290.
746HP并行文件系统(单)34.
64283.
569218.
483177.
049162.
423IBM单机系统65.
95027.
46926.
51726.
19526.
532HP单机系统157.
465105.
181207.
495218.
385185.
697小文件随机写测试结果表4小文件随机写测试Tab.
4randomwritetestofsmallfiles64kB128kB256kB512kB1024kBHP并行文件系统(双)188.
292163.
662218.
755211.
159318.
179HP并行文件系统(单)109.
825122.
637149.
201171.
424207.
351IBM单机系统14.
28310.
97113.
78312.
5168.
785HP单机系统69.
81996.
152105.
06670.
01037.
967测试结果分析大文件读测试结果分析以文件块大小为横坐标,大文件读速率为纵坐标,把表1中的数据统计成柱状图1.

图1大文件读测试柱状图Fig.
1readtesthistogramoflargefiles在读大文件时,文件块大小从64KB增加到4MB,HP并行文件系统的I/O性能最好,明显高于IBM单机系统和HP单机系统.
就HP并行文件系统本身而言,双机同时读磁盘的性能要优于单台服务器读磁盘的性能.

大文件写测试结果分析以文件块大小为横坐标,大文件写速率为纵坐标,把表2中的数据统计成柱状图2.

图2大文件写测试柱状图Fig.
2writetesthistogramoflargefiles在写大文件时,文件块大小从64KB增加到4MB,HP并行文件系统除在文件块大小为128KB时的写磁盘性能不理想之外,在其他文件块大小时的测试结果明显高于IBM单机系统和HP单机系统.
就HP并行文件系统本身而言,双机同时写磁盘的性能要优于单台服务器写磁盘的性能.

小文件随机读测试结果分析以文件块大小为横坐标,小文件随机读速率为纵坐标,把表3中的数据统计成柱状图3.

图3小文件随机读测试柱状图Fig.
3randomreadtesthistogramofsmallfiles在随机读小文件时,文件块大小从64KB增加到1MB,HP并行文件系统的I/O性能和HP单机系统的I/O性能差不多,而且HP单机系统的I/O性能比HP并行文件系统更稳定,但IBM单机系统的I/O性能要差很多.
就HP并行文件系统本身而言,双机同时读磁盘的性能要优于单台服务器读磁盘的性能.

小文件随机写测试结果分析以文件块大小为横坐标,小文件随机写速率为纵坐标,把表4中的数据统计成柱状图4.

图4小文件随机写测试柱状图Fig.
4randomwritetesthistogramofsmallfiles在随机写小文件时,文件块大小从64KB增加到1MB,HP并行文件系统的I/O性能最好,HP单机系统的I/O性能次之,IBM单机系统的I/O性能最差.
就HP并行文件系统本身而言,双机同时写磁盘的性能要优于单台服务器写磁盘的性能.

结论本文测试了并行文件系统和单机系统的磁盘读写性能.
并行文件系统在多机并发测试时,性能上升较快,写性能尤其明显.
因此,只要把用户访问请求均衡分布到多台I/O节点上,并行文件系统的优势就可以得到充分体现.
而且,和小文件读写的应用系统相比,并行文件系统更适合于部署在大文件读写的应用系统上.

天上云:香港大带宽物理机服务器572元;20Mbps带宽!三网CN2线路

天上云服务器怎么样?天上云是国人商家,成都天上云网络科技有限公司,专注于香港、美国海外云服务器的产品,有多年的运维维护经验。世界这么大 靠谱最重,我们7*24H为您提供服务,贴心售后服务,安心、省事儿、稳定、靠谱。目前,天上云香港大带宽物理机服务器572元;20Mbps带宽!三网CN2线路,香港沙田数据中心!点击进入:天上云官方网站地址香港沙田数据中心!线路说明 :去程中国电信CN2 +中国联通+...

Sharktech$129/月,1Gbps不限流量,E5-2678v3(24核48线程)

Sharktech最近洛杉矶和丹佛低价配置大部分都无货了,只有荷兰机房还有少量库存,商家又提供了两款洛杉矶特价独立服务器,价格不错,CPU/内存/硬盘都是高配,1-10Gbps带宽不限流量最低129美元/月起。鲨鱼机房(Sharktech)我们也叫它SK机房,是一家成立于2003年的老牌国外主机商,提供的产品包括独立服务器租用、VPS主机等,自营机房在美国洛杉矶、丹佛、芝加哥和荷兰阿姆斯特丹等,主...

racknerd新上架“洛杉矶”VPS$29/年,3.8G内存/3核/58gSSD/5T流量

racknerd发表了2021年美国独立日的促销费用便宜的vps,两种便宜的美国vps位于洛杉矶multacom室,访问了1Gbps的带宽,采用了solusvm管理,硬盘是SSDraid10...近两年来,racknerd的声誉不断积累,服务器的稳定性和售后服务。官方网站:https://www.racknerd.com多种加密数字货币、信用卡、PayPal、支付宝、银联、webmoney,可以付...

西安服务器为你推荐
linux虚拟主机windows虚拟主机和linux虚拟主机有什么区别网络服务器租用网络公司租用什么服务器好(想开个网络公司,租用服务器,但是不知道哪个好?什么价位?求高手指导。)中文域名注册查询中文域名注册怎么查询网站域名网站域名是什么国内免费空间国内有没有好的免费空间啊便宜的虚拟主机哪儿有便宜的虚拟主机?美国服务器托管美国网站服务器去哪里租?100m网站空间100M的最好的网站空间价格多少?重庆网站空间重庆建网站的公司 我司准备建一个好点的网站,求推荐什么是虚拟主机虚拟主机是什么
warez 163网 网站实时监控 彩虹ip 域名转接 域名接入 可外链相册 四川电信商城 shuang12 西安主机 双11促销 免费的加速器 ncp是什么 gotoassist rewrite规则 瓦工招聘 ddos攻击软件 隐士ddos 电脑主机 深圳服务器维护 更多