并行文件系统的应用探讨

西安服务器  时间:2021-01-03  阅读:()

刘明1,张军平2**|1|刘明|LIUMing|北京邮电大学信息与通信工程学院,北京100876|SchoolofInformationandCommunicationEngineering,BeijingUniversityofPostsandTelecommunications,Beijing100876|刘明(1984-),男,助理工程师,数字电视|北京市海淀区西土城路10号学3楼520室|100876|mliu@bupt.
edu.
cn|010-62285829|15801371644|2|张军平|ZHANGJunping|中国航天二院信息技术中心,北京100854|InformationTechnologyCenter,ThesecondAcademyofChinaAerospace,Beijing100854|张军平(1970-),男,高级工程师,数据存储和备份|北京市142信箱32分箱|100854|jqsq@163.
com|010-68763030|13261099192并行文件系统的应用探讨|TheresearchintheapplicationofParallelFileSystem|(1.
北京邮电大学信息与通信工程学院,北京100876;2.
中国航天二院信息技术中心,北京100854)摘要:信息技术中心管理着大量的服务器,这些服务器上需要部署很多的应用系统,而不同的应用系统需要采取不同的部署方法.
在服务器上部署并行文件系统能够提高数据I/O的性能和科学计算程序的计算速度,但是并行文件系统并不一定适合于所有的应用系统.
本文采用一款非常优秀的文件系统测试软件IOzone,测试了不同服务器上的文件系统性能,得到大量的测试数据,通过图像化的表示方法分析测试结果,得出结论:和小文件读写的应用系统相比,并行文件系统更适合于部署在大文件读写的应用系统上.

关键词:计算机应用技术;并行文件系统;文件系统测试软件IOzone;大文件读写速率;小文件随机读写速率中图分类号:TP338.
6TheresearchintheapplicationofParallelFileSystemLIUMing1,ZHANGJunping2(1.
SchoolofInformationandCommunicationEngineering,BeijingUniversityofPostsandTelecommunications,Beijing100876;2.
InformationTechnologyCenter,ThesecondAcademyofChinaAerospace,Beijing100854)Abstract:TheInformationTechnologyCentermanagesalargenumberofservers,manyapplicationsystemsaredeployedintheseservers,differentdeploypoliciesarefitfordifferentservers.
AlthoughParallelFileSystemisabletoimproveI/Operformanceandcalculationspeedofscientificcalculationprogram,itisnotappropriateforallapplicationsystems.
Inthispaper,anexcellentfilesystembenchmarktoolIOzoneisintroduced,whichisusedtotestfilesystempeoformanceindifferentservers.
Thenplentyofdataaregathered,whicharedescribedinmanydifferenthistograms.
Wecangettheconclusionfromthesehistogramsthatparallelfilesystemissuitablefortheapplicaionsysteminreadingandwritinglargefiles,butnotfitfortheapplicationsysteminreadingandwritingsmallfiles.
Keywords:computerapplicationtechnology;parallelfilesystem;IOzone;readandwritespeedsoflargefiles;randomreadandwritespeedsofsmallfiles引言信息化试点工作给企业的发展既带来难得的机遇,也带来一定的挑战.
信息化建设是适应国际发展趋势、适应国家政策方向、适应行业发展需要,确保企业实现既定战略目标的重要标志和内在需要;同时,信息化建设的周期长、难度大、实施过程复杂,还有可能遇到很多意想不到的情况.

在实施企业信息化[1]的过程中,信息技术中心的建设起着举足轻重的作用.
信息技术中心是企业内部网络的枢纽,各信息点的信息交互都是通过信息技术中心的不同应用服务器[2]实现的.
信息技术中心的应用服务器包括邮件系统服务器、财务系统服务器、人事系统服务器、审计系统服务器、OA服务器[3]和视频会议系统服务器等功能各异的服务器.
由于不同的应用服务器需要实现不同的功能,所以需要对不同的应用服务器采用不同的部署[4]方法.
比如邮件系统中数据的特点是小文件多、目录多、读写删除操作非常频繁[5],因此邮件系统服务器要达到磁盘读写速度快、I/O丰富、缓存较大等要求;而视频会议系统传输的都是多媒体信息[6],因此要求磁盘满足容量大、连续处理能力强等要求.

本文作者工作于信息技术中心,管理着大量的服务器和软件平台,借助优秀的硬盘性能测试工具IOzone,作者搭建了几种单机服务器系统和并行文件系统[7]进行实际测试,通过分析测试结果得到了相关结论,为部署应用系统服务器提供了重要的依据.

测试工具IOzone介绍IOzone是一款非常好的文件系统测试工具.
这款工具能够进行多种文件操作.
IOzone可以安装在不同的计算机和操作系统上.
IOzone在分析计算机的文件系统性能方面是很有用的,可以对文件系统进行读写方面的一些测试.

人们使用计算机都是出于某一方面的应用考虑的,并且这种应用以后会发生变化.
许多计算机提供商考虑到一些常用的应用,会加强操作系统某些方面的性能.
尽管这种方式提高了一些应用方面的性能,但是很可能对其他方面的应用没有起到太好的作用.
可以用数据库方面的应用来解释一下.
许多操作系统会选择好的文件系统,这是为了提升数据库应用的性能.
这样做使数据库应用方面的性能提高了,可是其他应用方面的性能可能就降低了.
计算机管理员可能会在装有数据库的计算机上再安装一些办公自动化的软件,这时候计算机的工作就从随机读改成了按顺序读.
用户会发现这时候计算机的性能非常差,很难令人满意.
通过使用IOzone测试文件系统的读写性能,可以得到更加全面的测试结果,从而综合考虑文件系统的I/O性能.

文件系统测试测试环境HP并行文件系统两台HPBL460C刀片服务器(8核8GB内存)配置4GBHBA卡,直连HPEVA8100光纤磁盘阵列,安装并行文件系统.
IBM单机系统一台IBMX460服务器(4核8GB内存)配置4GBHBA卡,直连IBMDS4300光纤磁盘阵列,配置10块FC磁盘.
HP单机系统一台HPBL460C刀片服务器(8核8GB内存)配置4GBHBA卡,直连HPEVA8100光纤磁盘阵列.
注:以上环境均安装WINDOWS2003R2企业版操作系统.
大文件读测试结果大文件的I/O操作主要是按顺序读写磁盘,所以只需给出大文件读写的速率.
由于测试软件IOzone要求测试文件的大小至少是服务器内存大小的两倍,所以大文件测试时使用的文件大小是16GB.
测试文件块的大小从64KB到4096KB.
测试并行文件系统时,测试了两台服务器同时读写文件和单台服务器读写文件两种情况.

表1大文件读测试Tab.
1readtestoflargefiles64kB128kB256kB512kB1024kB2048kB4096kBHP并行文件系统(双)241.
18257.
524142.
428157.
352163.
491183.
372237.
623HP并行文件系统(单)217.
86031.
02796.
818123.
203146.
428171.
250211.
577IBM单机系统21.
38640.
74946.
51152.
46856.
11263.
76572.
190HP单机系统46.
80149.
79862.
86971.
097117.
06497.
53196.
145注:表1中第1行的数据表示文件块大小,以下各表第1行的数据都表示文件块大小.

表1中测试数据的单位都是MB/s,如无特殊说明,全文中测试数据的单位都是MB/s.

大文件写测试结果表2大文件写测试Tab.
2writetestoflargefiles64kB128kB256kB512kB1024kB2048kB4096kBHP并行文件系统(双)287.
395103.
851127.
483138.
583212.
037162.
338274.
772HP并行文件系统(单)251.
12679.
78192.
124111.
067192.
863136.
260231.
294IBM单机系统22.
86534.
45236.
8162.
7691.
5791.
0201.
491HP单机系统104.
607231.
86775.
49252.
98770.
78367.
33063.
873小文件随机读测试结果小文件的I/O操作主要是跳跃式的读写磁盘,所以只需给出小文件随机读写的速率.
由于测试软件IOzone要求测试文件的大小至少是服务器内存大小的两倍,所以小文件测试时使用的文件大小是40MB,且同时运行250个线程.
测试文件块的大小从64KB到1024KB.
测试并行文件系统时,也测试了两台服务器同时读写文件和单台服务器读写文件两种情况.

表3小文件随机读测试Tab.
3randomreadtestofsmallfiles64kB128kB256kB512kB1024kBHP并行文件系统(双)77.
952241.
986421.
131191.
474290.
746HP并行文件系统(单)34.
64283.
569218.
483177.
049162.
423IBM单机系统65.
95027.
46926.
51726.
19526.
532HP单机系统157.
465105.
181207.
495218.
385185.
697小文件随机写测试结果表4小文件随机写测试Tab.
4randomwritetestofsmallfiles64kB128kB256kB512kB1024kBHP并行文件系统(双)188.
292163.
662218.
755211.
159318.
179HP并行文件系统(单)109.
825122.
637149.
201171.
424207.
351IBM单机系统14.
28310.
97113.
78312.
5168.
785HP单机系统69.
81996.
152105.
06670.
01037.
967测试结果分析大文件读测试结果分析以文件块大小为横坐标,大文件读速率为纵坐标,把表1中的数据统计成柱状图1.

图1大文件读测试柱状图Fig.
1readtesthistogramoflargefiles在读大文件时,文件块大小从64KB增加到4MB,HP并行文件系统的I/O性能最好,明显高于IBM单机系统和HP单机系统.
就HP并行文件系统本身而言,双机同时读磁盘的性能要优于单台服务器读磁盘的性能.

大文件写测试结果分析以文件块大小为横坐标,大文件写速率为纵坐标,把表2中的数据统计成柱状图2.

图2大文件写测试柱状图Fig.
2writetesthistogramoflargefiles在写大文件时,文件块大小从64KB增加到4MB,HP并行文件系统除在文件块大小为128KB时的写磁盘性能不理想之外,在其他文件块大小时的测试结果明显高于IBM单机系统和HP单机系统.
就HP并行文件系统本身而言,双机同时写磁盘的性能要优于单台服务器写磁盘的性能.

小文件随机读测试结果分析以文件块大小为横坐标,小文件随机读速率为纵坐标,把表3中的数据统计成柱状图3.

图3小文件随机读测试柱状图Fig.
3randomreadtesthistogramofsmallfiles在随机读小文件时,文件块大小从64KB增加到1MB,HP并行文件系统的I/O性能和HP单机系统的I/O性能差不多,而且HP单机系统的I/O性能比HP并行文件系统更稳定,但IBM单机系统的I/O性能要差很多.
就HP并行文件系统本身而言,双机同时读磁盘的性能要优于单台服务器读磁盘的性能.

小文件随机写测试结果分析以文件块大小为横坐标,小文件随机写速率为纵坐标,把表4中的数据统计成柱状图4.

图4小文件随机写测试柱状图Fig.
4randomwritetesthistogramofsmallfiles在随机写小文件时,文件块大小从64KB增加到1MB,HP并行文件系统的I/O性能最好,HP单机系统的I/O性能次之,IBM单机系统的I/O性能最差.
就HP并行文件系统本身而言,双机同时写磁盘的性能要优于单台服务器写磁盘的性能.

结论本文测试了并行文件系统和单机系统的磁盘读写性能.
并行文件系统在多机并发测试时,性能上升较快,写性能尤其明显.
因此,只要把用户访问请求均衡分布到多台I/O节点上,并行文件系统的优势就可以得到充分体现.
而且,和小文件读写的应用系统相比,并行文件系统更适合于部署在大文件读写的应用系统上.

Spinservers:美国独立服务器(圣何塞),$111/月

spinservers是Majestic Hosting Solutions,LLC旗下站点,主营美国独立服务器租用和Hybrid Dedicated等,spinservers这次提供的大硬盘、大内存服务器很多人很喜欢。TheServerStore自1994年以来,它是一家成熟的企业 IT 设备供应商,专门从事二手服务器和工作站业务,在德克萨斯州拥有40,000 平方英尺的仓库,库存中始终有数千台...

恒创科技SonderCloud,美国VPS综合性能测评报告,美国洛杉矶机房,CN2+BGP优质线路,2核4G内存10Mbps带宽,适用于稳定建站业务需求

最近主机参考拿到了一台恒创科技的美国VPS云服务器测试机器,那具体恒创科技美国云服务器性能到底怎么样呢?主机参考进行了一番VPS测评,大家可以参考一下,总体来说还是非常不错的,是值得购买的。非常适用于稳定建站业务需求。恒创科技服务器怎么样?恒创科技服务器好不好?henghost怎么样?henghost值不值得购买?SonderCloud服务器好不好?恒创科技henghost值不值得购买?恒创科技是...

GigsGigsCloud(年付26美元)国际线路美国VPS主机

已经有一段时间没有听到Gigsgigscloud服务商的信息,这不今天看到商家有新增一款国际版线路的美国VPS主机,年付也是比较便宜的只需要26美元。线路上是接入Cogentco、NTT、AN2YIX以及其他亚洲Peering。这款方案的VPS主机默认的配置是1Gbps带宽,比较神奇的需要等待手工人工开通激活,不是立即开通的。我们看看这款服务器在哪里选择看到套餐。内存CPUSSD流量价格购买地址1...

西安服务器为你推荐
独立ip主机有用过独立IP主机吗海外主机美国主机与国内主机有哪些区别网站空间商个人网站备案如何从空间商到备案深圳网站空间怎么样建立网站虚拟主机管理系统推荐几个适合windows的免费虚拟主机管理系统1g虚拟主机我要做一个下载资料类网站,刚买了一个虚拟主机1G的,提供商说一次,只能上传一个小于10M的文件1g虚拟主机打算买个1G的虚拟主机,用来做什么好?郑州虚拟主机请问郑州哪家公司可以做网站还有相应服务器服务的?云南虚拟主机大家觉得云南天成科技服务器租用给力吗?域名邮箱如何注册域名邮箱
泛域名解析 抢票工具 轻量 佛山高防服务器 空间合租 百度云1t umax120 Updog 申请免费空间和域名 raid10 台湾google linode支付宝 数据库空间 湖南idc 中国域名 宿迁服务器 乐视会员免费领取 木马检测 达拉斯 服务器监测软件 更多