计算曙光5000A高效能计算节点的设计与实现

曙光5000a  时间:2021-03-13  阅读:()

·博士论文· 文章编号 1000—3428(2009)06—0017—03 文献标识码 A 中图分类号 TP303

曙光5000A高效能计算节点的设计与实现

曾 宇1,2王 洁1,2孙凝晖1

(1 中国科学院计算技术研究所计算机系统结构重点实验室北京100080 2 中国科学院研究生院北京100039)摘 要 由于求解问题和系统规模的不断扩大基于c lu st er架构的高性能计算机面临扩展性、可靠性、功耗、 占地面积、均衡性等诸多挑战。该文针对计算模块、交换管理模块、 自适应功率管理、专用FPGA硬件加速部件、高速PCI-E全交换扩展等方面设计并实现高效能计算节点。基于该节点构建的曙光5000A百万亿次计算机能有效解决计算密度、 I/O扩展及带宽瓶颈和能耗等方面的瓶颈。

关键词高效能节能硬件加速

Design and Realization of Dawning 5000A

High-productivity Computing Node

ZENG Yu1,2,WANG Jie1,2,SUN Ning-hui1

(1 Key Laboratory of Computer System and Architecture, Institute of Computing Technology,Chinese Academy of Sciences,Beijing 100080;

2 Graduate University of Chinese Academy of Sciences,Beijing 100039)

【Abstract】As for the scale of the problem and the system continues to expand, the cluster-based high-performance computer is facing scalability,reliability,power consumption, footprint,balance, and many other challenges This paper introduces the design and realization of high-productivitycomputing node such as computing module, switch module,management module, adaptive power management,FPGA-based hardware acceleratorboard,high-speed PCI-E switch extend module and other aspects It resolves the computing density, I/O expansion and bandwidth bottleneck as wellas energy consumption and other bottlenecks in Dawning 5000A 100 Teraflops supercomputer based on the high-productivity computing node

【Key words】 high-productivity;energy saving;hardware accelerate

1 概述 考虑密度、散热、扩展和管理要求。Cray XD1节点采用CPU

随着社会的发展机群逐渐成为市场主流但其简单的 卡+底板结构 Cray XT3节点采用CPU板+通信背板结构体系结构在耗电、空间、散热、效率、可靠性和可管理性方 IBM BlueGene/L节点采用计算卡+中板结构。

面的问题使其性能无法延续到千万亿次(Petaflops)[1]。美国国 2 计算节点的总体结构设计

防部于2002年制定的高效能计算系统(High Productivity 曙光5000A全系统采用90个计算节点每个计算节点Computing Systems,HPCS)研究计划首先提出以高效能作为 包含10个计算模块、 1个20G Infiniband交换模块、2个Gigabit新一代高性能计算机研制的目标 IBM PERCS,CrayCascade, Ethernet交换模块和冗余管理模块。每个计算模块采用4个SUN Hero成为首批入选计划。高效能包含了高性能、可编程 AMD 64位20 GHz Barcelona 4Core CPU 系统实现了

性、可移植性、稳定性等多个方面的要求[2]。其他千万亿次 1152 Teraflops的理论峰值计算能力计算节点总体结构如研发计划 如 IBM Roadrunner, Cray Baker, SUN 图1所示。

过共享总线连接2个Itannium2 CPU通过网络接口连接 基金项目 国家“863”计划基金资助重大项目(2006AA01A102)NUMA Link交换芯片。 Cluster系统采用CPU+芯片组+NIC+ 作者简介曾宇(1973)男高级工程师、博士研究生主研方交换机的结构芯片组提供标准的I/O接口(如PCI-E)高速 向高性能计算机体系结构王 洁博士研究生孙凝晖网络接口采用独立芯片实现一端通过标准I/O接口与芯片 研究员

组连接一端连接互联网络交换芯片。节点的结构设计主 收稿日期 2008-08-19 E-mail zengyu@ncic ac cn

—17—

2.1 计算模块 管理和监控 (5)100 Mb/s管理网络(交换机以及管理模块

计算模块采用4路SMP架构基于AMD 4 core 64位 心跳)。

块相连的IIC接口以及其他控制信号和电源接口。交换模块 图3 管理模块架构

分别为KVM部分PS2键盘鼠标接口和VGA接口用于连接 高效能计算节点具备自动功率管理功能主要体现在外置的键盘鼠标和显示器 Share Media部分的USB接口 3个层面

用于连接外置移动存储介质。另外还存在一个系统网络 (1)根据实时功耗确定工作电源个数使电源工作在最佳接口 用于刀片系统网络管理接口 以及KVM的远程管 效率曲线上。系统电源功率设计分成静态功率设计及动态功理。 率设计。控制方式如下上电前电源功率预分配计算模块

系统存在5种管理和监控网络分别实现不同的功能如 把Flash中存储的最大满配功率需求发送给管理模块进行审下 (1)KVM网络进行刀片KVM系统管理 (2)US B网络 批等计算模块完成了B IO S 自检之后还要提交电源实际分进行刀片Share Media和Virtual Media管理 (3)RS485监控 配功率给管理模块 由管理模块进行最佳电源效率判断并

—18—

确定是否需要关闭或打开电源。控制算法如下 许值。计算节点提供基于ACPI的工作状态调整模式分别率需

FORi=1 TOnDO 功耗为0。在S1状态下系统功耗将比空载状态再降低30%

{ IFGSUM_SET<=G 唤醒时间小于3 s在S4状态下功耗相比空载状态降低70%

THEN{ IF i∉SET 以上唤醒时间小于1 min。

} } } 处理和低功耗方面有突出的优势 因此与主处理器配合可/*实时调整电源功率*/ 实现提高特定应用性能和降低系统功耗的双重目标应用前REPEAT{ 景广阔是实现高效能计算的有效途径之一。

Computing G_BEST 高效能计算节点专用硬件加速器体系结构如图5所示IFGSUM_SET isnotbest THEN 支持标准PCI-X、 PCI-E总线协议、 1 GB片上DDR2内存、

}UNTIL Computing is finished 图5 高效能计算节点专用硬件加速器

(2)优化计算刀片操作系统内核。通过优化程序执行队列 应用程序对数学运算库中函数的调用会根据计算任务或根据负载情况动态调整CPU频率。主要原理是对CPU的 的特征 自动分配到主机CPU或加速器上运行。如果一个计

的散发并提高运行效率。同时当发现CPU任务队列对功耗 (a)系统结构 (b)工作流程需求较低则通过BIOS接口进行CPU功率的动态调整。 图6 专用硬件加速器结构与工作流程

议的可信度值。 目标自组网中的可信度为C=W(i)/W=4067 8/5 124 0≈

根据综合评估值W与灰色评估等级的最接近程度可以 079=79%。 因为综合评估值E为40678与“良”级最靠近判断该路由协议属于哪个等级。例如若E值与5最接近 所以该路由协议在当前网络的应用中属于较高级别可信度则可以得出该协议属于“优”级。在实际应用中可以根 为79%能应用于当前网络。

据可信度和综合评估等级对目标网络路由协议的可适应 仿真实验结果表明在目标网络中 DSR具有较高可用程度进行排序。 性和快速性但扩展性和效率不高(不支持组播且控制开销5 实验结果 较大)其安全性较差相关指标的实验结论与文献[2-3]

假设目标网络规模中等节点数目在50~100之间要求 基本相

路由协议在满足可用的前提下具有快速、高效和可扩展的 似 即基于可信度的综合评估结果与仿真实验结果较吻合。特点。本文选择动态源路由协议DSR利用建立的基于可信 6 结束语

度的综合评判算法进行评估。随机选取8名从事路由协议研 本文给出路由协议可信度定义并建立层次结构的可信究的学术专家对路由协议进行分析评判并在NS2仿真平台 度评估指标模型。根据路由协议可信度评估算法可以求得上验证DSR各评判指标的有效性。 目标网络中路由协议的量化综合评估值和客观协议可信度。

按图1的指标体系和专家评分情况求得目标网络中的 本文方法为路由协议的开发与改进提供了一种参考。为权重向量、灰色评估矩阵和综合评估值如下 了选取或设计更合适、更可信的路由协议此方法在评估指

B1 =A1 ⋅R1 =(0530 5, 0399 5, 0052 5, 0012 0, 0005 5) Niagara Falls,Canada: IEEE Computer Society,2007:679-684

同理可以计算B2,B3,B4和B5得到路由协议的灰评估 [4] Saaty T L The Analytic Hierarchy Process[M] New York,USA:矩阵总指标U的灰色评估矩阵R。经量化和归一化处理后 McGraw-Hill, 1980

得到综合评估矩阵B=(0495 1, 0246 2, 0 170 5, 0007 8, [5]邓聚龙 灰色系统基本方法[M]武汉:华中理工大学出版社,

00804)。进一步可计算综合评估值E=B• VT=40678。当每 1988

个指标值都是满分时对应的E值为5 1240即该协议在当 编辑 陈 晖~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

(上接第19页)

达到3 796倍的加速比运行局部序列联配算法时最高可 故障检测、故障隔离、故障恢复等功能采用高效率节能基以达到300倍的加速比用ICT_ClustalW运行多序列联配时 础架构设计支持任务/系统级节能基于高效能计算节点构

速冗余交换管理模块

速部件、高速PCI-E全交换扩展模块可实现每瓦特大于 [4]Gustafson J L Suns HPCS Approach:Hero[Z] (2003-08-01) http://等于025 Gflops的浮点计算性能单向聚合扩展I/O带宽 www ncsc org/casc/meetings/CASC2 pdf

200 Gb/s以上采用硬件级以及系统级高可靠性设计支持 编辑 顾姣健

—22—

新注册NameCheap账户几天后无法登录原因及解决办法

中午的时候有网友联系提到自己前几天看到Namecheap商家开学季促销活动期间有域名促销活动的,于是就信注册NC账户注册域名的。但是今天登录居然无法登录,这个问题比较困恼是不是商家跑路等问题。Namecheap商家跑路的可能性不大,前几天我还在他们家转移域名的。这里简单的记录我帮助他解决如何重新登录Namecheap商家的问题。1、检查邮件让他检查邮件是不是有官方的邮件提示。比如我们新注册账户是需...

水墨云历史黑名单IDC,斟酌选购

水墨云怎么样?本站黑名单idc,有被删除账号风险,建议转出及数据备份!水墨云ink cloud Service是成立于2017年的商家,自2020起开始从事香港、日本、韩国、美国等地区CN2 GIA线路的虚拟服务器租赁,同时还有台湾、国内nat vps相关业务,也有iplc专线产品,相对来说主打的是大带宽服务器产品。注意:本站黑名单IDC,有被删除账号风险,请尽量避免,如果已经购买建议转出及数据备...

青果网络618:洛杉矶CN2 GIA/东京CN2套餐年付199元起,国内高防独服套餐66折

青果网络怎么样?青果网络隶属于泉州市青果网络科技有限公司,青果网络商家成立于2015年4月1日,拥有工信部颁发的全网IDC/ISP/IP-VPN资质,是国内为数不多具有IDC/ISP双资质的综合型云计算服务商。青果网络是APNIC和CNNIC地址分配联盟成员,泉州市互联网协会会员单位,信誉非常有保障。目前,青果网络商家正式开启了618云特惠活动,针对国内外机房都有相应的优惠。点击进入:青果网络官方...

曙光5000a为你推荐
网罗设计怎么能学习好网络设计特朗普取消访问丹麦特朗普当选总统后对准备出国留学的学生有什么影响蓝色骨头手机宠物的一个蓝色骨头代表多少级,灰色又代表多少级,另外假如有骨头又代表多少级seo优化工具SEO优化要用到什么软件?www.299pp.com免费PP电影哪个网站可以看啊百度指数词百度指数为0的词 为啥排名没有www.bbb551.com100bbb网站怎样上不去了lcoc.topeagle solder stop mask top是什么层www.789.com.cn有什么网站可以玩游戏的.sodu.tw给个看免费小说的网站
汉邦高科域名注册 免费申请网站域名 名片模板psd 主机屋免费空间 web服务器架设软件 论坛空间 国外网站代理服务器 嘟牛 ca4249 php空间申请 中国电信测速112 架设服务器 香港亚马逊 dnspod 免费asp空间申请 德讯 ledlamp 国外代理服务器 windowssever2008 dmz主机 更多