信息天河一号配置

——高性能计算环境中间件的优化设计与实现作者吴璨,王小宁,肖海力,曹荣强,赵一宁,迟学斌机构中国科学院计算机网络信息中心高性能计算技术与应用发展部;中国科学院大学DOI10.
3969/j.
issn.
1001-3695.
2017.
11.
0844基金项目中国科学院战略性先导科技专项项目(A类)(XDA19020101);中国科学院青年创新促进会资助项目(2017216);中国科学院信息化专项项目(XXH13503-04)预排期卷《计算机应用研究》2019年第36卷第1期摘要步入大数据时代之后,致力于解决大规模科学计算问题的高性能计算,得到越来越广泛的关注与应用.
随着高性能计算机制造产业蓬勃发展,具有每秒上亿亿次浮点运算速度的高性能计算集群对高性能计算环境中间件的性能提出了更高的要求.
现有的高性能计算环境中间件中,资源信息服务无法满足海量信息快速更新的需求.
为了提高高性能计算环境中间件的性能,通过借鉴ETL技术,将资源信息传输方式优化为信息同步模式.
优化后的信息同步模式在处理2000条作业状态更新时,延迟时间缩短90%、系统负载降低98%、网络连接数减少90%,为系统维护人员、环境用户带来更好的用户体验.
关键词高性能计算环境中间件;资源信息服务;信息传输方式;信息同步模式作者简介吴璨(1992-),女,吉林长春人,博士研究生,主要研究方向为高性能计算可视化与网格技术(wucan@sccas.
cn);王小宁(1981-),女,副研究员,主要研究方向为网格计算云计算和分布式系统;肖海力(1978-),男,研究员,主要研究方向为网格技术和分布式系统;曹荣强(1982-),男,副研究员,主要研究方向为网格计算和云计算;赵一宁(1983-),男,助理研究员,主要研究方向为分布式系统与大数据分析;迟学斌(1963-),男,研究员,博导,主要研究方向为高性能计算可视化与网格技术.
中图分类号TP301.
4访问地址http://www.
arocmag.
com/article/02-2019-01-069.
html投稿日期2017年11月27日修回日期2018年1月22日高性能计算环境中间件的优化设计与实现发布日期2018年4月3日引用格式吴璨,王小宁,肖海力,曹荣强,赵一宁,迟学斌.
高性能计算环境中间件的优化设计与实现[J/OL].
2019,36(1).
[2018-04-03].
http://www.
arocmag.
com/article/02-2019-01-069.
html.
第36卷第1期计算机应用研究Vol.
36No.
1优先出版ApplicationResearchofComputersOnlinePublication收稿日期:2017-11-27;修回日期:2018-01-22基金项目:中国科学院战略性先导科技专项项目(A类)(XDA19020101);中国科学院青年创新促进会资助项目(2017216);中国科学院信息化专项项目(XXH13503-04)作者简介:吴璨(1992-),女,吉林长春人,博士研究生,主要研究方向为高性能计算可视化与网格技术(wucan@sccas.
cn);王小宁(1981-),女,副研究员,主要研究方向为网格计算云计算和分布式系统;肖海力(1978-),男,研究员,主要研究方向为网格技术和分布式系统;曹荣强(1982-),男,副研究员,主要研究方向为网格计算和云计算;赵一宁(1983-),男,助理研究员,主要研究方向为分布式系统与大数据分析;迟学斌(1963-),男,研究员,博导,主要研究方向为高性能计算可视化与网格技术.
高性能计算环境中间件的优化设计与实现*吴璨1,2,王小宁1,肖海力1,曹荣强1,赵一宁1,迟学斌1,2(1.
中国科学院计算机网络信息中心高性能计算技术与应用发展部,北京100190;2.
中国科学院大学,北京100049)摘要:步入大数据时代之后,致力于解决大规模科学计算问题的高性能计算,得到越来越广泛的关注与应用.
随着高性能计算机制造产业蓬勃发展,具有每秒上亿亿次浮点运算速度的高性能计算集群对高性能计算环境中间件的性能提出了更高的要求.
现有的高性能计算环境中间件中,资源信息服务无法满足海量信息快速更新的需求.
为了提高高性能计算环境中间件的性能,通过借鉴ETL技术,将资源信息传输方式优化为信息同步模式.
优化后的信息同步模式在处理2000条作业状态更新时,延迟时间缩短90%、系统负载降低98%、网络连接数减少90%,为系统维护人员、环境用户带来更好的用户体验.
关键词:高性能计算环境中间件;资源信息服务;信息传输方式;信息同步模式中图分类号:TP301.
4doi:10.
3969/j.
issn.
1001-3695.
2017.
11.
0844DesignandimplementationofhighperformancecomputingenvironmentmiddlewareWuCan1,2,WangXiaoning1,XiaoHaili1,CaoRongqiang1,ZhaoYinong1,ChiXuebin1,2(1.
ComputerNetworkInformationCenter,ChineseAcademyofSciences,Beijing100190,China;2.
UniversityofChineseAcademyofSciences,Beijing100049,China)Abstract:Eversincethearrivalofbigdataera,highperformancecomputingtechnologywhichcommittedtosolvinglarge-scalescientificcomputingproblems,hasbeenmoreandmoreextensivelyfocusedandwidelyapplied.
Astheboomingofhighperformancecomputermanufacturingindustry,highperformancecomputerclusterwithfloatcomputingspeeduptoseveralquintilliontimespersecondrequiresfurtheroptimizationofthehighperformancecomputingenvironmentmiddleware.
Incurrenthigh-performancecomputingenvironmentmiddleware,theinformationtransmissionmodeofresourceinformationservicecannotmeettherequirementofrapidupdatingofmassiveinformation.
Inordertoimprovetheperformanceofhighperformancecomputingenvironmentmiddleware,thispaperusesETLtechnologytooptimizetheinformationtransmissionmodetoinformationsynchronizationmode.
Afteroptimizingtheprocessingof2000piecesofresourceinformation,thelatencyisshortenedby90%,thesystemloadisreducedby98%,andthenumberofnetworkconnectionsisreducedby90%,whichprovidesenhanceduserexperiencetothesystemmaintenancepersonnelandusers.
Keywords:highperformancecomputingenvironment;resourceinformationservice;informationtransmissionmode;informationsynchronizationmode0引言作为人类科学研究第三大范式的高性能计算[1],在石油勘探、气象预报、航天国防等科学研究领域已有广泛应用,随着科研信息技术的高速发展,金融、教育、企业、网络游戏等非科研领域对高性能计算的需求也迅猛增长.
高性能计算机制造技术迅速发展,由中国自主研发制造的"神威·太湖之光"[2]"天河二号"[3]曾多次携手在国际高性能计算机排行榜[4]上跃居榜首.
高性能计算环境建设自"十五"以来,一直得到国家的高度重视与大力支持,在"十三五"期间,受到国家重点研发计划的持续支持.
由中国科学院计算机网络信息中心牵头建设的高性能计算环境[5]聚合了"神威·太湖之光"、"神威·蓝光"[6]"天河二号""天河一号"[7]等优秀的高性能计算资源,屏蔽了作业优先出版吴璨,等:高性能计算环境中间件的优化设计与实现第36卷第1期管理系统、接入方式、管理制度等的异构性,提供具有统一访问入口、使用方法和用户技术支持的高性能计算服务.
高性能计算环境系统的核心软件是科学计算中间件SCE[8,9](scientificcomputingenvironment),由中国科学院计算机网络信息中心自主研发.
随着高性能计算机不断接入、用户量不断增加、作业量不断增大,系统内的资源信息也越来越多,对SCE系统软件的要求也越来越高.
现有的SCE资源信息服务的逐条汇报模式将无法满足需求,为了保证SCE系统软件在处理大量资源信息更新时,有更短的延迟时间、更低的系统负载、更少的网络连接数,稳定提供服务,需对SCE系统软件资源信息服务的传输方式进行优化,使其能具有E级承载能力,以更好的满足用户需求.
本文提出高性能计算环境中间件SCE的资源信息服务的建设与优化方案,提高系统在资源信息量大的环境下资源信息服务的性能.
本文简述了高性能计算环境中间件中资源信息服务建设与优化的研究背景,并对高性能计算环境中间件SCE中的信息传输方式进行分析,提出研究问题;总结了本文所涉及到的相关技术和已有的信息同步系统;讲述了优化后的信息同步模式的方案设计与具体实现;对优化前后的两种信息传输模式进行测试,从延迟时间、系统负载、网络连接数三方面对比分析的优化前后的系统性能,并根据实验中发现的问题提出下一步工作的研究方向.
1研究背景与问题1.
1研究背景高性能计算环境中间件SCE层次结构[10,11]示意图如图1所示,采用了三层架构、五大模块的分块部署模型.
客户端Client模块和API接口(API)模块属于应用层,中央服务器CenterServer(CS)模块和前端服务器FrontServer(FS)模块属于服务层,高性能计算机HighPerformanceComputer(HPC)模块属于资源层.
前端服务器介于中央服务器和高性能计算机之间,对上汇报所管理的高性能计算机的作业状态、队列信息等资源信息,对下屏蔽了作业管理系统、远程连接方式的异构,其数据库存储了其所管理的高性能计算资源的结构数据.
中央服务器是SCE的主要模块,为整体环境提供全局作业视图、信息服务和元调度等,其数据库存储了全局的结构数据.
高性能计算机拥有大量的计算资源,在其上部署了编译、调试工具以及大量的应用软件,所有作业都提交到高性能计算机上执行.
客户端面向用户提供统一的访问入口,支持命令行和Webportal两种使用方式.
API接口面向开发人员提供了访问科学计算环境的统一访问接口,降低了开发复杂性,提高系统的可伸缩性.
中央服务器模块部署在环境运行管理中心;其余模块分布式部署在其他各超算中心,各模块之间通过信息逐条汇报模式实现资源信息共享.
1.
2研究问题分析目前,高性能计算环境中间件SCE中资源信息服务的信息传输方式为逐条汇报模式.
如图2所示,前端服务器定时查询高性能计算机资源信息状态,与本地数据库进行对比,发现状态有更新,则向中央服务器汇报;中央服务器接收到汇报信息,更新数据库,返回状态码;前端服务器接收到正确的状态码,更新本地数据库.
前端服务器每次仅可向中央服务器汇报一条资源信息,当更新多条资源信息时,需开启多个进程、创建多个连接,逐一进行汇报.
当环境中需更新的资源信息量较大时,逐条汇报模式的信息传输方式会产生较长的延迟时间、较高的系统负载,不仅影响用户体验,也增加了资源信息服务的负担,资源信息服务的信息传输方式面临着资源信息传输性能提升的瓶颈问题.
本文研究资源信息服务建设与优化方案,优化后的系统达到以下几个目标:a)短延迟时间.
环境中运行的作业较多时,缩短中央服务器与前端服务器资源状态信息保持一致的延迟时间.
b)低系统负载[12].
当系统中运行的作业量大时,降低由信息传输引起的系统负载.
c)低网络连接数[13].
创建较少的TCP连接进行信息传输,占用较少带宽,提高系统效率.
2相关工作2.
1MySQL复制技术MySQL集群的负载均衡、读写分离和高可用都是基于复制技术[14]实现,MySQL复制技术是实现MySQL集群的一项关键技术.
MySQL数据库支持异步复制和半同步复制.
异步复制[15]是MySQL自带的最原始的复制方式,在异步复制的架构中,主服务器将二进制日志通过二进制转储线程发送出去以后,自图1SCE层次架构示意图图2资源信息汇报模式结构图优先出版吴璨,等:高性能计算环境中间件的优化设计与实现第36卷第1期动返回数据给客户端,而不管从服务器是否接收到二进制日志,不能保证数据的强一致性[16].
而在半同步复制[17]的架构中,主服务器将二进制日志发送给从服务器,在确保从服务器已经接收到了二进制日志以后,才返回数据给客户端.
对比两种架构:异步复制对于用户来说,可以确保得到快速的响应,但是不能确保二进制日志到达从服务器上;半同步复制牺牲了一点对于客户请求的响应时间,但是保证了Master-Slave的强一致性.
在MySQL集群的Master-Slave结构[18]中,从服务器节点只可读,所有的数据更新操作均要提交至主服务器处理,这种模式并不能满足SCE系统软件的需求,因此本文仅参考MySQL半同步复制技术的思想.
2.
2ETL技术ETL[19]是英文extract-transform-load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程.
ETL是构建数据仓库的重要环节,用户将分布的、异构的数据源中的数据,如关系数据、平面数据文件等抽取到临时中间层,经过数据清洗、转换、集成,最终将数据加载到预先定义好的数据仓库模型或数据集市中,成为联机分析处理、数据挖掘、决策分析的基础.
通过对相关数据库进行性能调优,ETL过程一般可以获得3~4倍的效率提升.
因此本文借鉴ETL思想,使数据处理更加高效.
2.
3数据同步系统OtterOtter[20]是由阿里巴巴公司开发的一套分布式数据同步系统,已经在Github上开源.
目前,阿里巴巴公司内部的本地、异地机房全部使用Otter进行数据同步.
Otter基于数据库增量日志解析,将来自MySQL数据库的数据实时的同步到本地机房或异地机房的MySQL/Oracle数据库.
在4.
2.
13版本中,已经支持MySQL5.
7和阿里云提供的RDS数据库的同步.
Otter支持异构数据库同步、高效的单机房同步、异地机房同步、双向同步和文件同步.
Otter可以把数据从MySQL数据库同步到Mysql/Oracle数据库,作为一台主服务器、多台从服务器的同步方案,在单机房内网环境中同步效率非常高.
同时解决了跨国异地机房同步问题,把数据从国内同步到国外供用户使用,在国内场景中,可以做到数据多机房容灾.
Otter通过避免回环算法[21]和数据一致性算法[22]处理了数据双向同步问题,保证在双A机房模式下,数据的最终一致性.
Otter在进行数据复制的同时,也复制关联的图片,实现了文件的同步.
Otter是一个效率高、功能完备的数据库同步系统,但是其结构复杂、技术文档少、维护成本高,所以本文没有直接将Otter应用于高性能计算环境,只是学习了其避免回环算法解决数据双向回环问题的思想,突破MySQL集群Master-Slave结构中Slave只可读的限制,设计可双向同步数据的具有高可扩展性的轻量级数据同步服务.
3资源信息服务优化的设计与实现3.
1资源信息服务优化方案设计高性能计算环境中间件中,资源信息服务现有的信息逐条汇报模式的延迟时间主要分为三部分,其中查询资源信息状态延迟时间和汇报资源信息状态延迟时间所占比重较大.
以作业状态汇报为例,查询作业当前状态占用了30%的延迟时间,将作业状态信息从前端服务器汇报至中央服务器占用了60%的延迟时间,其他部分占用了10%的延迟时间.
当汇报多条作业状态信息时,每条作业状态均要查询一次、汇报一次,延迟时间较长.
本文提出的优化方案对查询资源信息状态和汇报资源信息状态进行优化,缩短资源信息服务的延迟时间.
在优化后的资源信息同步模式方案设计中,将逐条查询资源信息状态方式优化为批量查询,同时省去汇报这一繁琐、耗时的步骤,改为同步数据的方式.
资源信息同步模式结构如图3所示,前端服务器定时查询高性能计算机状态,与本地数据库进行对比,发现状态有更新,则更新本地数据库.
资源信息同步模块检测到前端服务器的数据库发生变化,将变化的信息经过提取数据、过滤标记,加载至中央服务器的数据库.
中央服务器的数据库发生的变化也可经过提取数据、过滤标记,加载至前端服务器的数据库.
资源信息同步模块实现了双向同步,满足了SCE系统软件未来实现高可扩展的需求,系统内的数据处理不用再全部提交至中央服务器,前端服务器也可以提供数据处理服务,处理后将资源信息变化同步至系统内其他节点,减轻了中央服务器的压力.
前端服务器的数据库与中央服务器的数据库结构不同,采用异库异表的同步方式,将前端服务器的数据同步到中央服务器的指定数据表中.
资源信息汇报模式与资源信息同步模式数据流向示意图如图4所示.
资源信息汇报模式定时从每个高性能计算机上抓取资源信息状态.
以作业状态汇报为例,作业以条为单位,前端服务器从高性能计算机上抓取一条作业信息状态,向中央服务器汇报,接收到汇报成功状态码后,更新本地数据库中资源信息状态,每条作业均要经过这三个步骤完成资源信息更新.
优化后的资源信息同步模式中,作业更新不以条为单位,所有发生状态改变的作业信息同时被前端服务器抓取到,并更新到本地数据库,成功更新后同步至中央服务器数据库,一次信息传输即完成全部资源信息更新.
图3资源信息同步模式结构图优先出版吴璨,等:高性能计算环境中间件的优化设计与实现第36卷第1期资源信息同步模式的具体信息传输流程如图5所示.
NODE1的数据发生变化时,增量数据会被写入二进制日志.
从二进制日志中提取出增量日志信息,并解析为SQL语句,过滤掉带有标记的数据,写入SQL日志.
同步发送端连接同步接收端,将SQL日志发送给NODE2的同步接收端.
同步接收端接收数据并写入中继日志,同步接收端接收到全部数据后,返回状态码至同步发送端.
同步发送端接收到状态码后继续工作.
回放日志模块对中继日志的数据加入标记,并回放其中的SQL语句,同步数据到NODE2的数据库,使NODE1与NODE2的数据保持一致.
3.
2资源信息服务优化的实现本文提出的资源信息同步模式借鉴ETL思想,通过获取信息、提取数据(ExtractData)、过滤标记(TransformData)、加载数据(LoadData)四个模块的数据操作,将数据准确、高效地进行同步,信息同步过程如图6所示.
3.
2.
1获取信息高性能计算环境中资源信息多样且不规则,SCE系统软件为了屏蔽不同高性能计算机上作业管理系统的异构,提供了统一、规范的资源信息格式.
本文定义了6种作业状态标志符,不同作业系统中作业状态与统一的作业状态标志符的对应关系如表1所示.
前端服务器从高性能计算机上获取到资源信息后,按照如上的对应关系,将作业状态转换为统一的作业标志符,并存储在数据库中.
3.
2.
2提取数据(ExtractData)提取数据模块检测到数据库发生信息更新后,提取出日志文件中更新的数据.
服务器生成的日志文件写成二进制格式,需使用mysqlbinlog工具[23]进行解析,将二进制数据转换为可读的十进制数据.
在数据库中维护一张同步信息表,记录日志文件名称(log-name)和日志点(log-point).
每次同步操作,从log-name日志中的log-point位置开始读数据,并将数据写入SQL日志,直到文件结尾.
将文件结尾处作为新的日志点,更新至数据库.
重启计算机会使系统中生成多个日志文件,每次获取增量日志、提取数据时,判断当前读取的日志文件是否为最新日志文件,若不是,则继续读取下一个日志文件,直至读到最新日志文件,并将最新日志文件名称更新至数据库.
维护同步信息表保证了同步信息的持久化,当节点宕机重启时,不用再从起点开始同步数据,只需从同步信息表中所记录的日志点位置开始同步即可,提高了系统的容灾性.
通过mysqlbinlog工具解析的十进制日志文件中,有很多图4资源信息汇报模式与资源信息同步模式数据流向示意图图5资源信息同步模式的信息传输流程图图6资源信息同步流程示意图表1作业管理系统中作业状态与标志符对照表作业管理系统作业状态标志符LSFPEND,PSUSP,WAITPENDRUN,USUSP,SSUSPRUNDONEDONEEXIT,UNKWN,ZOMBIEXIT*ERRORPBSQPENDRRUNC,EDONEHHOLD*ERRORSLURMPD,CFPENDR,CGRUNCDDONECA,F,NF,PR,TOEXITSHOLD*ERROR优先出版吴璨,等:高性能计算环境中间件的优化设计与实现第36卷第1期冗余信息,为了提高系统的效率,需要将冗余信息屏蔽,过滤出SQL语句,写入SQL日志.
提取数据模块读取配置文件,得到需要同步的数据信息,从SQL日志中提取符合条件的数据至SQL-E,经过提取的数据均为需要同步的有效数据.
3.
2.
3过滤标记(TransformData)经过提取数据操作的有效数据包括普通数据和标记数据,普通数据是由资源信息变化产生的日志增量数据,标记数据是从其他节点同步到本地数据库的数据,标记数据无须再同步至其他节点,通过过滤标记操作,将开始标记至结束标记内的数据过滤出去,经过过滤的数据均为普通数据,将其写入SQL-T中.
本文实现的信息同步为数据双向同步.
在实现数据双向同步过程中,需要解决的主要问题是避免数据双向回环,从node1同步到node2的数据,不能再从node2同步到node1.
为了解决这样的问题,本文提出对数据加入标记的方案.
在NODE2接收到增量数据后,在数据首尾加入同步标记(开始标记和结束标记),同步标记内的数据为标记数据,然后再同步到node2的数据库中.
获取node2增量日志时,过滤掉标记数据,保证发送出去的日志都是本地数据库自身变化产生的普通数据.
由同步操作产生的日志变化均带有同步标记,在获取增量日志、提取数据之后,过滤掉同步标记中的内容,经过过滤的数据全部为需要同步的普通数据.
通过过滤标记操作,避免了数据双向回环,同步出去的数据不会再同步回来.
3.
2.
4加载数据(LoadData)经过过滤数据操作处理的数据,由本节点的数据发送模块批量传输至系统内的其他节点的数据加载模块.
数据加载模块将接收到的数据写入SQL-L,在数据首尾加入同步标记,使其成为标记数据,然后写入中继日志,执行同步操作,将数据加载至本地数据库.
数据准确加载后,返回正确的状态码.
数据批量加载的延迟时间相当于汇报一条数据的延迟时间,采用数据批量加载的方式,有效的减少了数据同步的延迟时间,节省了系统资源,提高了系统工作效率.
另外,在加载数据的过程中,每一条更新、修改数据的操作均记录入系统日志,当发生误操作、节点宕机等产生数据丢失的情况时,可以通过追溯日志记录的方式找回数据,保证了系统的容灾性.
4实验与结果分析4.
1实验环境为了屏蔽网络速度对实验结果的影响,将高性能计算环境中间件SCE的五大模块部署在同一台服务器上.
实验环境配置如表2所示.
4.
2实验内容为了对比信息汇报模式与优化后的信息同步模式的性能,从延迟时间、系统平均负载和网络连接数三方面进行测试.
本文以作业状态信息为实验对象,实验数据分别为1、200、400、600、800、1000、1200、1400、1600、1800、2000条作业状态的更新.
4.
3实验结果与分析4.
3.
1延迟时间本文分别测试了SCE系统软件中信息汇报模式的延迟时间、信息同步模式的延迟时间,为了对延迟时间进行具体分析,在测试信息同步模式延迟时间的过程中,对信息同步模块的延迟时间单独进行了记录.
1)延迟时间延迟时间(Latency)计算公式为(1)其中表示信息传输结束时间,表示信息传输开始时间,单位为s.
2)信息同步模块延迟时间信息同步模块延迟时间(Sync-Latency)计算公式为(2)其中:表示信息同步模块的信息同步结束时间,表示信息同步模块的信息同步开始时间,单位为s.
实验结果如图7所示,随着数据量的增加,两种信息传输模式的延迟时间均线性增长.
但是信息同步模式的延迟时间相比信息汇报模式的延迟时间大幅减少,仅为信息汇报模式延迟时间的10%.
由此可见,当处理资源信息量大的环境中的信息传输问题时,信息同步模式比信息汇报模式有更大优势.
表2实验环境配置资源名称/类型配置处理器IntelXeonCPUE5-2680v3@2.
50GHz,1核高速缓存30720KB内存2G硬盘40G操作系统CentOSrelease6.
9,64位数据库管理系统MySQL图7延迟时间折线图优先出版吴璨,等:高性能计算环境中间件的优化设计与实现第36卷第1期信息同步模式中的信息同步模块延迟时间也随着数据量的增加而线性增长,约占信息同步模式延迟时间的50%.
阿里巴巴公司的Otter技术团队发布的技术文档显示,Otter在本地机房进行吞吐量30-40w/min的单向数据同步时,延迟时间在100ms左右,本文的信息同步模块相比阿里巴巴公司的数据同步系统Otter,还有一定差距.
但是作为一个轻量级的数据同步模块,已经取得了可观的优化效果.
结合信息同步模块结构分析,若在进行信息同步之前,进行SQL语句合并操作,可减少通信量,降低延迟时间,计划在后续工作中进一步完善.
4.
3.
2系统平均负载系统平均负载是在特定时间间隔内运行队列中的平均进程数,是在一段时间内CPU正在处理以及等待CPU处理的进程数之和的统计信息,也就是CPU使用队列的长度的统计信息.
实验记录为1min内的系统平均负载.
图8实验结果表明,信息汇报模式在1min内,系统负载随着数据量的增加呈线性增长,当数据量达到1000时,系统负载达到峰值,稳定在93左右,不再线性增长.
信息同步模式的系统负载也随着数据量的增加而增长,但是增长速度远远小于信息汇报模式,当数据量达到2000时,系统负载仅为1.
63,降低了98%.
实验环境的处理器为1核,当系统平均负载值大于5时,系统就已经进入超负荷运转状态.
信息汇报模式即使在传输小量数据时,也已经超过标准值,相比这种情况,信息同步模式有明显改善,保证系统能在正常负载下运行.
4.
3.
3网络连接数网络连接数分为两个部分:一个是ActiveInternetconnections,称为有源TCP连接,另一个是ActiveUNIXdomainsockets,称为有源Unix域套接口.
SCE系统软件在资源信息传输时创建的连接为有源TCP连接.
实验结果如图9所示,信息汇报模式每传输一次资源信息时,创建一个新的有源TCP连接,当数据量达到1000时,网络连接数达到峰值,稳定在500个左右.
信息同步模式只需创建6个有源TCP连接,其中1个连接用于信息同步模块的信息传输.
相比之下,信息同步模式在处理大量资源信息传输时,创建的连接远远少于信息汇报模式,优化效果显著.
通过对信息汇报模式和信息同步模式在延迟时间、系统1分钟平均负载和网络连接数三方面实验结果的对比,可以看出,信息同步模式优化效果明显,在需要传输的资源信息量为2000时,延迟时间缩短90%,系统1min平均负载降低98%,网络连接数减少90%,使系统性能得到较大提升,有效的优化了高性能计算环境系统软件SCE中信息汇报模式的资源信息传输方式在延迟时间、系统负载、网络连接数方面的性能,提高了环境利用率,突破了高性能计算环境发展的瓶颈.
5结束语本文对高性能计算环境中间件中资源信息服务进行了优化,将信息汇报模式优化为信息同步模式,解决了高性能计算环境中间件SCE中信息逐条汇报模式的资源信息传输方式在延迟时间、系统负载、网络连接数方面性能提升的瓶颈问题,分担了中央服务器的压力,极大的提高了系统性能,增强了系统的可扩展性,保证SCE系统软件在需要处理的资源信息量大的环境下能稳定高效的提供服务,达到了预期的优化目标.
本文实现了前端服务器与中央服务器之间的信息传输方式的优化,在实验过程中发现,虽然信息同步模式的传输方式降低了90%的延迟时间,但是与已经较为成熟的数据库同步系统Otter相比,还有很大的优化空间,可在后续工作中进一步完善.
同时调整SCE系统软件的结构,增加多个中央服务器,将信息同步模式的资源信息传输方式应用于多个前端服务器与多个中央服务器之间的资源信息传输,以提高系统整体的可扩展性和容灾性,使SCE系统软件可以适应海量资源信息量环境下的更多需求,具有E级承载能力,并且更加高可靠、更加高可用.
参考文献:[1]SchroederB,GibsonG.
Alarge-scalestudyoffailuresinhigh-performancecomputingsystems[J].
IEEETransonDependableandSecureComputingarchive,2010,7(4):337-351[2]FuH,LiaoJ,YangJ,etal.
ThesunwayTaihuLightsupercomputer:systemandapplications[J].
ScienceChinaInformationSciences,2016,59(7):1-16.
[3]LiaoX,XiaoL,YangC,etal.
MilkyWay-2supercomputer:systemand图8系统1分钟平均负载折线图图9网络连接数折线图优先出版吴璨,等:高性能计算环境中间件的优化设计与实现第36卷第1期application[J].
FrontiersofComputerScience,2014,8(3):345-356.
[4]MeuerHW,StrohmaierE,DongarraJ,etal.
TheTop500:history,trends,andfuturedirectionsinhighperformancecomputing[C]//Chapman&Hall//CRC,2009.
[5]中国国家网格[EB/OL].
http://www.
cngrid.
org/[6]"神威·蓝光"高性能计算机[EB/OL].
http://www.
nsccwx.
cn/[7]"天河一号"高性能计算机[EB/OL].
http://www.
nscc-gz.
cn/index.
html[8]戴志辉.
三层架构超级计算环境优化设计与实现研究[D].
北京:中国科学院研究生院,2011.
[9]DaiZ,WuL,XiaoH,etal.
AlightweightgridmiddlewarebasedonOPENSSH-SCE[C]//ProcofInternationalConferenceonGridandCooperativeComputing.
WashingtonDC:IEEEComputerSociety,2007:387-394.
[10]CaoR,ChiX,CaoZ,etal.
USGPA:auser-centricandsecuregridportalarchitectureforhigh-performancecomputing[C]//ProcofIEEEInternationalSymposiumonParallelandDistributedProcessingwithApplications.
2009:432-438.
[11]戴志辉.
超级计算环境SCE简介[J].
超级计算通讯,2007,5(4):25-29[12]RamezaniF,LuJ,HussainFK.
Task-basedsystemloadbalancingincloudcomputingusingparticleswarmoptimization[M].
[S.
l]:KluwerAcademicPublishers,2014.
[13]VignaG,KemmererRA.
NetSTAT:anetwork-basedintrusiondetectionsystem[M].
[S.
l]:IOSPress,1999.
[14]NugentM.
MySQLreplication[M].
[S.
l]:BelltownMedia,2010.
[15]TruicCO,BoiceaA,RdulescuF.
AsynchronousReplicationinMicrosoftSQLServer,PostgreSQLandMySQL[C]//ProcofInternationalConferenceonCyberScienceandEngineering.
2013:50-55.
[16]BernsteinPA,DasS.
Rethinkingeventualconsistency[C]//ProcofACMSIGMODInternationalConferenceonManagementofData.
NewYork:ACMPress,2013:923-928.
[17]SchwartzB,ZaitsevP,TkachenkoV.
HighperformanceMySQL:optimization,backups,andreplication[M].
[S.
l]:O'ReillyMedia,Inc.
,2012.
[18]ZawodnyJD,BallingDJ.
HighperformanceMySQL:optimization,backups,replications,andloadbalancing:advancedtoolsandtechniquesforMySQLadministrators[C]//ProcofDBLP.
2004.
[19]KimballR,CasertaJ.
TheDatawarehouseETLtoolkit:practicaltechniquesforextracting,cleaning,conforminganddeliveringdata[J].
RevistaBrasileiraDeOftalmologia,2004,71(3):199-204.
[20]Alibaba.
IntroductionofOtter[EB/OL].
https://github.
com/alibaba/otter/wiki/Introduction.
[21]DingK,YanH,DiaoXC.
Researchofdatasynchronizationtechnologyindistributeddatabase[J].
JournalofNavalUniversityofEngineering,2004,16(5):100-104.
[22]RaoJ,ShekitaEJ,TataS.
UsingPaxostobuildascalable,consistent,andhighlyavailabledatastore[C]//ProcofVLDBEndowment.
2011.
[23]Oracle,Corporation,and/or,its,affiliates.
mysqlbinlog—UtilityforProcessingBinaryLogFiles[EB/OL].
https://dev.
mysql.
com/doc/refman/5.
7/en/mysqlbinlog.
html.