曙光曙光5000A 超级计算机的Linpack 测试

10 《高性能计算发展与应用》    年第三期 总第二十八期曙光   超级计算机的      测试张文力 张攀勇霍志刚中国科学院计算技术研究所 北京                    摘要 本文简要介绍了曙光   系统     测试的情况包括      算法概述、性能预测模型、性能优化方法以及测试结果分析。   曙光   简介存匹配的最大问题规模这意味着测试进程要占用曙光   在         ’  上发布的内存总容量的 左右。分块大小对测试虽然  排行榜中让中国的身影再一次跻身前十重要其确定却长期依赖于经验性的尝试实验致行列。该系统采用代号巴塞罗那的       〔  〕 使     测试缺乏可靠的性能估计模型。为了确定   四核心处理器总计拥有    个计算核心、 分块大小和预估总体性能我们建立了性能预估     内存通过          技术互联峰仿真模型〔    〕 。 值性能            实测     峰值         。 图中的伪码展示了       的主体步骤。 以这使我国成为世界上第二个拥有开发超百万亿次列的一个  为研究对象给出并行操作中的处超级计算机实力的国家。在   年中国高性能计算理器开销设    为局部于   的列号。   排行榜〔  〕中曙光   还打破了国外高性能计算机已连续年占据的排行榜首位。         测试简介      是当前国际上流行的性能测试基准。 它通过对高性能计算机求解稠密线性代数方程组能力的测试评价高性能计算机系统的浮点性能。 根据问题规模与优化选择的不同      分为    ×         ×       × 三种测试

〔  〕 。  〔〕                  是第一个标准的公开版本并行      测试软件包是×测试的 实现可适应多种体系结构。该软件包主要针对分布式存储大规模并行计算系统而设计用户可以设定任意大小的问题规模使用任意个数的使用基于高斯消去法的各种优化方法寻求最佳的测试结果。 由于 〔  〕   ×   高斯消去分解法求解规模为 的线性代数方程问题 〔  〕            的浮点运算次数           是一定的因此只要 〔    〕找主元  〔  〕         〔  〕          给出问题规模根据线性方程组求解过程中消元和 〔    〕           〔  〕       回代部分的耗时就可以计算出机器的性能参数即 〔    〕          每秒执行的浮点运算次数 〔   〕       

              

   〔  〕 行向广播    及行交换信息一般而言要获得实测峰值需要使用与内 〔〕            注本文所述曙光   超级计算机为国家  计划支持研究内容和实际部署于上海超级计算中心的业务运行系统魔方曙光   在配置上不

完全一致。 魔方曙光   专辑11 〔  〕          〔  〕      即 之后的列         测试的软件配置 〔  〕         在     测试中所采用的软件配置见表 。 〔  〕        表 曙光          测试的软件基本配置图分块矩阵分解过程操作系统    内核版本            在消元过程中每次〔    〕找主元 同时编译器    完成〔    〕    内列的行交换将有  编译器    αβ  × 的通信量将主元交换到矩阵对     编译器         角线位置后利用冗余存储各处理器同时〔    〕求 需 通信库        数学函数库    要  的计算量 〔   〕更新   内后续列需要     的计算量。像这样完成第个   消元   数学库的选择后按种通信方式 〔〕之一进行〔  〕行向通信这里主在单核的情况下我们对      及要涉及克服网络带宽限制及自身负载问题的考虑。  测试核心  在  和所带的库以                 方式为例每次需要αβ  做的对比实验结果如下。   库优势明显而 × × 的通信量然后矩阵剩余部分根据获  两个版本性能几乎无异。得信息进行 〔〕行交换也就是列向广播  给同一列表 数学库性能对比其余的个处理器此处以   方式为例需要   α     β   ×的通信量。各           处理器再利用冗余存储通过〔  〕同时算得更新需要的             耗费    × 利用冗余计算屏蔽了             单个处理器计算再广播的通信开销做〔  〕完成矩阵剩余部分的更新需要    × 的计   参数确认算量。 以上是种行向通信之一的                      模式的示意。针对该通信模式我们的性能预估模型流程逻辑示意如图 。 图 性能差别预估根据已有性能预估模型所获得的曙光     图 针对                    通信模式的上核心运算在不同分块方案下的性能差别性能预估模型示意如图 。在同样的执行规模下实际测试验证该性能预估模型在本质上是将实际的计算、 结果为       、        、网络通信等操作分别抽象成相应的符合实际测试流       。从单次测试结果来看   和程逻辑的开销从而能在单机内以秒计的时间内完  占优这最终在实际的大规模测试中得到了印成大规模系统中以小时计的实际运算的开销估测。 证。经曙光    、曙光   系列的反复验证和调整该模型给出的总体性能预估误差在 以内。   操作系统优化首先为了减小系统噪声与测试无关的服务    

   测试准备程序全部被关闭仅留  服务进程。其次  在曙光   的      测试中来自曙光       增强的页面支持表 对于减少    测试的算法分析、预测模型和系统管理工具等   提高性能具有显著作用。在对通信系统也提供成果都可以继续发挥作用〔   〕 但随着软件的更新、 大页面支持之后我们得到左右的性能提升图体系结构的演变若干关键参数需要再次确认。  。第三曙光   刀片的路核的结构12 《高性能计算发展与应用》   年第三期 总第二十八期表  和 的对比页面大小        架构级别                                                             图大页面性能对比

图        单步效率曲线使得在计算和通信过程中的内存分配的局部化到 的时候异常终止。我们已经观察到异常终止的优化极为重要这需要在 和通信库中分别实现测试的曲线会与其它曲线的形状截然不同这启发感知的进程绑定和内存分配机制。 我们将大规模应用的性能的稳定性也融入性能预测的研究中。  曙光   上的      测试结果基于性能预估模型曙光   的测试过程得  总结以大大压缩。为了优化性能预估模型我们在曙光事实证明理论模型预测和实践经验结合的方  上收集了单进程  的各种规模的      测法大大提高了曙光   系统      测试的工作效试过程的单步执行效率图 。一个意外收获是图率而针对特定应用      的系统级优化对于中红色粗线所示的   进程的结果该测试在执行取得理想的测试效率具有重要意义。 参考文献 〔  〕                               〔  〕                                  〔  〕                                                                           颍澹睿悖                                      〔〕                                                                                                                             〔  〕                                                                                              

                                                                     〔  〕 张文力、陈明宇、樊建平 测试性能仿真与预测计算机研究与发展    年第 卷第期        。 〔  〕 曹振南、冯圣中、冯高峰曙光         测试技术报告 中科院计算所智能中心技术ǜ妫玻埃埃础?〔  〕 曹振南如何做      测试及性能优化                                     。 .