机柜惠普服务器

解决高密度服务器部署所致冷却问题的十个步骤版本4作者PeterHannaford1.
实施"健康检查"22.
维护制冷系统33.
在机架中安装盲板,制定机架缆线管理方法44.
清除下地板障碍物和密封地板55.
将高密度机架分开66.
实施热通道/冷通道布置77.
CRAC单元与热通道对齐88.
管理地板通风孔89.
安装气流辅助装置13结论12对数据中心管理人来说,采用单个机架来部署高密度服务器的要求是一个挑战.
商家们目前设计的服务器,如果安装在单一的机架上,则需要高达20kW的冷却.
在平均冷却能力为每一机架不超过2kW的数据中心,需要采用一些创新的冷却策略.
本白皮书介绍提高冷却效率和冷却能力以及提高现有数据中心密度的十种方法.
>点击内容即可跳转至具体章节目录第42号白皮书摘要白皮书现收录于施耐德电气白皮书资料库由施耐德电气数据中心科研中心发表,DCSC@Schneider-Electric.
com解决高密度服务器部署所致冷却问题的十个步骤施耐德电气—数据中心科研中心第42号白皮书版本42如图1所示,在单一柜中紧凑地安装设备会提高电力的需要量,其热量的散发在某些数据中心会产生热点.
无论机房空调(ComputerRoomAirConditioning,CRAC)单元的数量和容量以及地板深度如何,在采用高架地板冷却分配管道和地板下冷却CRAC的"传统"数据中心,都不大可能对任何机柜提供大于3kW的冷却能力.
在没有高架地板1和冷却分配管道的IT机房,对单个机柜的最高冷却容量还更低一些.
目前开始采用的基于机柜的冷却方案可以将冷却容量提高到对每台机柜超过10kW.
在设计数据中心的冷却系统时,目的是要创建经过冷却的空气从气源到服务器空气入口位置的明确路经.
同样,要创建从服务器背后空气排出口到空调单元空气入口管道之间的空气返回明确路经.
但是,有很多因素会负面地影响这一目的的实现.
本白皮书讲述降低数据中心工作效率和能量密度能力的主要因素,并介绍避免这些问题发生的方法.
此外,还讲述如何无需做出较大的变动,即可使得数据中心可以对超过其设计容量的需求做出应变.
下面的十个步骤讲述如何消除冷却不足和冷却容量不够的根本原因.
这些步骤按照顺序介绍,首先讲述的是最简单、最经济的步骤.
如果您的目的是要使得数据中心某一区域的能量密度在每机柜为6kW以上,则请您直接阅读更为复杂的第9或第10步骤,跳过前面的步骤也许更为适当.
就像定期检修会对汽车有好处一样,对数据中心的维护使其能够在最佳效率上运行,以保证其可以胜任商务过程,防止将来发生问题.
在进行昂贵的数据中心升级以解决冷却问题之前,要进行一些检查来鉴别冷却基础设施的潜在问题.
这些检查可以明确数据中心的健康情况,以避免和温度相关的电子设备故障.
检查亦可用于评估今后适当冷却能力的可用性.
报告当前的状态和建立原始数据档案,以便作为今后改进的依据.
从本质上看,这些检查应该包括:最大冷却能力.
如果油箱中没有足够的汽油来驱动发动机,则任何调节工作也是无济于事的.
检查总的冷却能力,确保数据中心的IT设备对冷却的需要没有超过总的冷却能力.
请您记住,每消耗1瓦特的功率,就要有1瓦特的冷却容量来制冷.
如果需求量超过供给量,就需要进行较大的改装工程或采用"自行气流遏制"高密度冷却方案,这些在下文步骤10有讲述.
1了解更多关于空气分配架构的知识,请参见第55号白皮书《关键设备的空调结构选择方案》简介图1服务器排列密度举例1.
实施"健康检查"任务关键设备的冷却空气架构资源链接第55号白皮书解决高密度服务器部署所致冷却问题的十个步骤施耐德电气—数据中心科研中心第42号白皮书版本43机房空调(ComputerRoomAirConditioning,CRAC)单元.
确保测量温度(送风和回风)和湿度的读数和设计值一致.
检查预定值,必要时要重新设置.
如果返回空气温度明显低于室内环境温度,说明送风路经发生短路,从而导致冷却空气没有经过设备而被旁路直接返回到CRAC单元.
检查所有风扇和报警装置是否运行正常.
确保过滤器的清洁状态.
检查冷冻水/冷凝器回路.
检查冷水机组和/或外部冷凝器、泵送系统和初级冷却回路的状况.
确保所有阀门工作正常.
如果使用DX系统,要确保其已经满载运行.
机房温度.
测量机房温度要在数据中心通道中的适当位置进行.
一般来说,这些测定点要处于这些成行设备的中间,并且每隔四个机柜设定一个测定点.
机柜温度.
测量点要设于各个机柜前面空气入口的中心点以及它们的底部、中间和顶部.
对温度的测量值要进行记录,并且和IT设备供应商推荐的入口温度相比较.
地板通风.
如果采用高架地板作为冷却分配管道,则要测量地板通风孔的空气速度.
所有从地板通风孔或打孔地板送出的气流速度要均匀平稳.
地板下的状况.
如果高架地板和地板下存在脏物和灰尘,则它们将通过地板打孔和栅格而被吹送到IT设备之中.
地板下的障碍物,如数据线缆和电源缆线等,妨碍气流,可对机柜的冷却供应发生不利影响.
机柜内的气流.
机柜中的间隙(无盲板填补未占用的机柜空间,空的刀片服务器插槽,没有密封的线缆切口)或多余的缆线影响冷却的性能.
通道和地板砖的布置.
地板下冷却分配管道的使用效率受地板通风孔和CRAC单元布置情况的影响.
欲了解详细说明,请阅读第40号白皮书《通过检验制冷系统识别数据中心潜在冷却问题》.
据UptimeInstitute2报道,在其检验的数据中心中,有50%存在着冷却不足的情况.
尽管统称为"冷却不足",但在某些情况下却是由于执行维护工作不当或缺乏维护制度所造成的.
在发现的不足之处中包括:肮脏或发生阻塞的盘管阻碍气流DX系统利用不足测定点位置不正确传感器未校准或发生损坏送风和回风管道接反有缺欠的阀门有缺欠的泵泵存在不必要运行的情况没有启用"自然冷却"系统定期维护和预防性保养对数据中心对其最佳性能工作至关重要.
如果已经在较长的一段时间内没有对系统进行过维护,则要立即着手进行维护工作.
要制定定期的维护计划,且计划要满足冷却设备制造商推荐的指导说明.
请向您的维护公司、暖通顾问或施耐德电气了解详情.
2http://www.
upsite.
com2.
维护制冷系统通过检验制冷系统识别数据中心潜在冷却问题资源链接第40号白皮书解决高密度服务器部署所致冷却问题的十个步骤施耐德电气—数据中心科研中心第42号白皮书版本44如在机柜柜内存在着没有利用的纵向空间,则从设备流出的热空气可通过"短路"返回到设备的入口.
这种没有控制的热空气循环造成了设备的不必要发热.
在HP服务器安装指南3中写着:这个建议常常被忽视,这种忽视是机柜内发生过热问题的一个重要原因.
安装盲板可以防止冷却空气绕过服务器上的入口,并防止热空气循环.
图24显示可以通过采用盲板实现的改进情况.
更多信息请参阅第44号白皮书《利用气流管理盲板改善机架冷却效果》.
机柜内的气流也受紊乱布置的缆线影响.
在机柜内部署高密度服务器给缆线布置造成新的问题.
图3显示紊乱的缆线会限制IT设备的将废热排出.
3HPProliantDL360Generation3服务器安装指南,www.
hp.
com4施耐德电气旗下APC的进行的实验室实验—参见第44号白皮书《利用气流管理盲板改善机架冷却效果》3.
在机架中安装盲板,制定机架缆线管理方法注意:对机架所有空白面板要用盲板填充以形成U型空间.
这种安装可以确保适当的气流.
使用没有盲板的机架会导致冷却不当,而造成热损坏.
图2安装盲板对服务器空气入口温度的影响2A.
(左)未安装盲板2B.
(右)安装盲板利用气流管理盲板改善机架冷却效果资源链接第44号白皮书解决高密度服务器部署所致冷却问题的十个步骤施耐德电气—数据中心科研中心第42号白皮书版本45多余的缆线应该予以清除.
数据缆线应该截取适当的长度,必要时可采用配线架.
设备的电源应该由带有适当长度线缆的机柜安装式PDU提供.
有关解决缆线问题的机柜配件信息,请访问施耐德电气旗下APC公司的网站.
在有高架地板的数据中心,下地板用作分配管道或导管来作为输送冷空气的路经,使冷空气从CRAC单元流到机柜前的带孔地板砖或打孔地板.
这样的地板下也常常用于安装其它设施如电力线、光缆、网络线缆,在某些场合还用于安装水管和/或火警探测和灭火系统.
在原始设计时,设计工程师所设计的地板深度或许足够,以保证气流用所需的流速通过带孔砖或打孔地板.
后来添加机柜和服务器时,要安装更多的电源线和网络缆线.
在移动或更换服务器和机柜时,多余的缆线往往是残留在地板下.
尤其是在客户周转量高的用户设备代管和设备托存机构,情况更是如此.
如图12中所示的气流加速设备可以缓解空气流动受阻造成的问题.
高架缆线可以保证不会发生这种问题.
如果缆线从地下经过,要确保有足够的空间,使得空气可以流到带孔砖或打孔地板,为设备的冷却提供足够的风量.
在理想情况下,线缆架应该是在地板下"上级水平"行走,使得"下级水平"能自由地作为冷却分配管道.
图3紊乱缆线的例子4.
清除下地板障碍物和密封地板>封闭地板上的布线切口在高架地板环境下的布线切口会引起绝大多数的非预期的空气泄漏,而且应该被封闭.
基于对许多数据中心的测量,由于没有封闭敞开的地板,50-80%的有价值的冷风无法到达IT设备的进风口.
这部分损失的冷风,又叫作气流旁路,导致IT设备热点的产生,制冷效率低下和不断上升的基础设施成本.
.
上述很多数据中心认为制冷不足是导致过热问题的根源,因此安装额外的制冷单元.
一个能够以最小成本提供额外制冷容量的替代方案是通过装高架地板护孔环和垫圈以增加高架地板下的静压差.
同时也会改善打孔地板和地板栅格送风能力.
这些数据中心现在可以有效地优化他们现有的制冷基础设施和管理不断增加的热负载.
解决高密度服务器部署所致冷却问题的十个步骤施耐德电气—数据中心科研中心第42号白皮书版本46缺失的地板砖要及时补上,安装的位置要正确,以消除任何缝隙.
地板上缆线开孔是造成空气泄漏的主要原因,因此,对线缆的周围要进行密封.
对带有未使用开孔的砖要用完整的砖来替换.
对和空白机柜相邻或机柜已经不再存在的地方,也应该采用完整的砖来替换有缆线开孔的砖.
如果高密度机柜紧密聚集在数据中心的地板上,则大多数冷却系统的冷却能力都不够用.
将这些机柜在整个地板区域上分开布置,可以缓解这个问题.
这一点可以从以下例子中明显地看出.
数据中心设计特征:高架地板的面积:465m(5,000ft)高架地板的深度:762mm(30inches)UPS负荷:560kW平均机柜面积:116m(1,250ft)机柜数量:200平均数据中心能量密度:1,204watts/m(112watts/ft)平均每机柜能量密度:2,800watts考虑到通道面积、CRAC单元等,并假定机柜占用四分之一的总地板的面积,平均机柜密度将为2.
8kW.
当高架地板深度为762mm(30in)时,考虑到必要的下地板缆线(电源线、数据线路等)、CRAC空气流的特性等,除非采用通风扇辅助设备,最大冷却能力很难超过每机柜3kW.
在图5中,我们假定在200个机柜中,有五个是高密度的,并且成排布置在一块.
假定五个"热"机柜的负载各为10kW,其余195个机柜的负载各为2.
6kW,则总平均机柜负载为每柜2.
8kW,这没有超过理论冷却限度.
但高密度机柜排的平均负载将为每柜10kW,冷却基础设施将无力为此提供支持,除非采用"排风"或自行气流遏制方案(请参阅本文的步骤9和步骤10).
图5全部"热"机架在一块的数据中心5.
将高密度机架分开=10kWrack,others2.
6kW图4进线口密封刷解决高密度服务器部署所致冷却问题的十个步骤施耐德电气—数据中心科研中心第42号白皮书版本47一个替代方案为将"热"机柜分散来保证平均冷却需要量,如图6所示.
之所以将高密度负载分散是行之有效的方法,其关键原因在于分开的高能量机柜可以有效地"借用"邻近机柜未充分利用的冷却能力.
如果邻近机柜已经完全利用对其的冷却能力,则不能达到这种效果.
除极少数例外情况以外,绝大多数机柜安装服务器的设计为从前面吸入空气,从后面排出空气.
如果机柜都朝向一个方向,则第一排机柜排出的热空气在通道中将和供应空气或室内空气相混合,然后进入到第二排机柜的前面.
图7显示的是在高架地板环境中的这种布置.
由于空气连续通过各排机柜,IT设备的入口空气注定是较热的.
如果所有各排机柜的布置使得各个服务器的空气入口都朝向同一方向,则设备的功能难免会不正常.
不仅在高架地板环境是如此,在普通地板也是如此.
最好的作法是使得"热"通道和"冷"通道设备交替成排布置,如图8所示.
冷通道将包括打孔地板在内,机柜将被如此布置,使得服务器的前面(空气入口)朝向冷通道.
热空气将被排放到不含有打孔地板的热通道中.
这种热/冷通道布置也同样适用于普通地板环境.
请参阅第55号白皮书《任务关键设备的冷却空气架构》.
6.
实施热通道/冷通道布置=10kW/机柜,其它2.
6kW图6分散"热"机架的数据中心图7热通道和冷通道没有隔开的机架布置图8热通道/冷通道机架布置任务关键设备的冷却空气架构资源链接第55号白皮书解决高密度服务器部署所致冷却问题的十个步骤施耐德电气—数据中心科研中心第42号白皮书版本48CRACCRACCRACCOLDAISLEHOTAISLECOLDAISLEHOTAISLECOLDAISLECRACCRAC单元的空气排放管必须正确对齐,以优化到打孔地板的冷却空气路经.
上面的图9显示典型的室内布局,其中CRAC单元均匀地布置在房间的四周,为热通道/冷通道布置服务.
在这个例子中,沿两个垂直墙壁的CRAC单元太靠近冷通道,这将造成此通道的气流绕过地板通风孔.
为使得沿通道的气流更好,这些CRAC单元最好平行沿墙壁布置.
在图10中,从地板平面图中可以看出,CRAC单元从垂直于墙壁移到了水平于墙壁,并且和热通道对齐.
从常规考虑出发,会认为要将它们布置在冷通道中,以便为冷通道中的地板通风孔提供气流.
但计算流体动力学(CFD)分析却表明,在返回到CRAC入口时,热通道的热空气进入冷通道,造成热空气和冷空气相混,从而提高机柜前面(入口)供应空气的温度.
总的来说,在含有高架地板的制冷系统中,将CRAC单元与回风路径(热通道)对齐而与不是地板下的送风路径(冷通道)对齐是十分重要的.
机柜气流和机柜布局是实现冷却性能最佳化的关键因素.
然而,地板通风孔的位置如果不当,可造成CRAC空气在进入负载设备前和排放的热空气相混,从而成为前述冷却性能不佳和费用增加的原因.
送气和返回空气通风孔位置不当的情况非常普遍,并且使得热通道和冷通道设计的种种优点丧失殆尽.
设计送气通风孔的关键是要将其尽量靠近设备空气入口,并将冷空气保持在冷通道中.
对下地板空气分配而言,这意味着要将通风砖仅限于冷通道中.
高架分配系统可以和高架地板分配系统一样有效,但同样要注意的是,分配通风孔要位于冷通道的上面,通风孔要直接将空气向下排到冷通道中(在侧边不要采用弥散通风孔).
无论是在高架系统还是在地板下系统,要关闭没有运行的设备处的通风孔,否则这些通风孔会造成返回到CRAC单元的空气温度偏低,从而加大空气减湿,导致CRAC的性能下降.
地板通风孔离CRAC如果太近会造成负压,从而导致室内空气被吸回到地板下,如图11所示.
利用简单的气流速度装置可以确保通风孔砖的恰当位置,并有正确的静压.
7.
CRAC单元与热通道对齐图9典型的CRAC布局图10与通道对齐的CRAC布局8.
管理地板通风口CRACCRACCRACCRACCOLDAISLEHOTAISLECOLDAISLEHOTAISLECOLDAISLE冷通道冷通道热通道冷通道热通道冷通道冷通道热通道冷通道热通道解决高密度服务器部署所致冷却问题的十个步骤施耐德电气—数据中心科研中心第42号白皮书版本49注:在某些数据中心的机柜方向可能会有不同.
所示的例子和前面推荐的图9不同,用于说明前述气流情况.
设计空气返回通风孔的关键是要将其尽量靠近设备空气出口,并从热通道收集热空气.
在某些情况下,天花板吊顶分配管道用于收集热空气,空气返回通风孔可以简易地和热通道对齐.
如果采用整块吊顶开放式天花板,最好是将CRAC单元的回风孔尽量安装在天花板的最高处,并通过返回管道系统尽量和热通道返回气流对齐.
即使是在室内侧面安装的单个整块气流返回装置,也最好是将分配管道的为数不多的通风孔和热通道对齐.
在不带高架地板或管道系统的较小房间内,空气向上流动或向下流动的CRAC单元经常布置在某一角落或沿墙壁布置.
在这些情况下,要将冷空气和冷通道对齐、热空气和热通道对齐往往比较困难.
在这种状态将无法最大限度地发挥冷却的性能.
但是,通过以下方法,可以对冷却的性能加以改进:对于空气向上流动的单元,将单元布置在热通道的末端附近,并添加管道将冷空气尽量远离CRAC单元地输送到冷通道处.
对于空气向下流动的单元,将单元布置在冷通道的末端附近,使气流沿冷通道向下流动,并在热通道上面添加天花板返回分配管道或悬挂带有返回通风孔的管道系统.
对位置不当的空气返回栅栏的分析可以暴露出主要的错误原因:由于工作人员感觉到某些通道热,某些通道冷,因此认为对这种状态要加以纠正,并将冷空气通风孔移到热通道,将热空气返回通风孔移到冷通道.
设计良好的数据中心就是要实现将热空气和冷空气分开,而工作人员却误认为这是一种缺陷,结果错误地将冷热空气混合起来,这样做会造成冷却性能下降,并增加系统的费用.
请记住—热通道就应该是热的.
图11在高速地板下环境中的相对空气运动机架柜计算机室空调单元或计算机室空气处理器解决高密度服务器部署所致冷却问题的十个步骤施耐德电气—数据中心科研中心第42号白皮书版本410在有足够平均冷却能力,但却存在高密度机柜造成的热点的场合,可以通过采用有风扇辅助的设备来改进机柜内的冷却负荷,这种设备可以改善气流,并可使每一机柜的冷却能力提高3kW到8kW.
这些设备,如APC的空气分配单元(AirDistributionUnit,ADU)和空气强排单元(AirRemovalUnit,ARU)可有效地从邻近空间"借用"空气(图12).
像所有的排风装置一样,安装此类装置要谨慎,以确保从邻近空间分流空气不会造成邻近机柜本身的过热.
这些装置应该由UPS供电,以防止停电时后备电源启动时因热量过大而造成宕机.
在启动后备柴油机和接着启动空调机时,将会发生过热.
9.
安装气流辅助装置风扇架设备,如施耐德电气公司的ADU可以安装到数据柜的底部U型口,可使得空气在纵向流动,在前门和服务器之间形成空气"帘".
必须使用盲板(参见第3部分)来保证分配管道的完整性.
空气在被吸入到服务器后被重新排放到"热"通道,然后由室内空调系统冷却和再循环.
在密度更高时,可拆除柜的后门,并安装将空气水平吸入柜内的设备如施耐德电气的ARU.
空气由柜内计算机设备中的风扇从(冷)通道吸入到柜内.
后门内的风扇收集热空气并排放到室内(在ARU由导管送回),然后由室内空调系统再循环.
用这种设备可以实现每机架6-8kW的密度.
在使用这些设备时必须安装盲板和机柜侧板.
图12机架安装全管道化空气供应单元图13机架安装全管道化空气返回单元解决高密度服务器部署所致冷却问题的十个步骤施耐德电气—数据中心科研中心第42号白皮书版本411随着机柜对供电和制冷的要求不断提高,依靠打孔地板向所有服务器输送持续而稳定的冷空气变得越来越困难(详见第46号白皮书《超高密度机柜和刀片服务器的功率和冷却》).
行级制冷架构致力于排热和消除地板块带来的对畅通的冷空气分配的担心.
通过在行内安装制冷设备,热量在与机房空气混合之前被捕捉和冷却.
这样就提供了对IT设备更加可预测的制冷.
在第130号白皮书《数据中心行级和机柜级制冷架构的优势》中讨论了这种方式与传统数据中心制冷策略的不同之处和优势.
图14例举了行级制冷架构的一种应用.
为了进一步改善行级系统的效率和可预测性,可以添加机柜机或者行级的气流遏制系统.
这些带有气流遏制系统的高密度制冷系统被设计成可以安装在数据中心里而不影响任何机柜或者现有制冷系统.
封闭热通道来隔离IT设备提高行级制冷设备的回风温度,提高系统的效率.
这样做也可以完全隔离冷、热空气的混合,改善行级系统的可预测性.
下面图15和图16中例举了这些系统中的两个.
图15热通道气流遏制系统(高密度区)10.
安装行级制冷系统对高密度区来说,热通道气流遏制系统(HACS)可以用来封闭热通道.
顶板封闭行的顶部,而一组门来封闭热通道的两端.
来自服务器的废热(最高可至每台机柜60kW)被排入封闭的热通道,然后被吸入制冷单元,冷却至合理的温度范围内后再释放到机房内.
图14行级制冷架构超高密度机柜和刀片服务器的功率和冷却资源链接第46号白皮书数据中心行级和机柜级制冷架构的优势资源链接第130号白皮书解决高密度服务器部署所致冷却问题的十个步骤施耐德电气—数据中心科研中心第42号白皮书版本412在机柜气流遏制系统(RACS)中,单个或多个行级制冷系统紧靠IT机柜,来保障最大限度的排热和将冷风送至机柜及设备.
(最高可至每台机柜60kW)图16集成的机架冷却系统(支持多达2个IT机柜)解决高密度服务器部署所致冷却问题的十个步骤施耐德电气—数据中心科研中心第42号白皮书版本413在数据中心安装最新的IT设备,如刀片式服务器,有着众多的优点.
但是,这些设备的能量消耗量每一机柜为现有设备的2至5倍,相应的散热量也会加大,这一点已成为宕机的潜在原因.
为有效地避免设备故障和不明原因的速度缓慢,并延长设备的使用寿命,制定定期的健康检查计划比过去任何时候都更加重要,以便确保冷却设备是按照所设计的容量、效率和冗余运行.
采用本文所介绍的各个步骤,可以使得数据中心能够在其峰值效率运行,以保证其可以胜任商务过程,防止在将来发生问题.
遵循本白皮书中的1-8步骤的指南,可以帮助典型的数据中心在其原始设计的界限内正常运行.
步骤9和步骤10是对如何扩充典型数据中心冷却密度设计界限的建议(无需采用较大的建筑物更改工程),方法是通过安装"自行气流遏制"冷却方案,以便满足高密度服务器应用场合的需要.
结论PeterHannaford是施耐德电气信息技术事业部的EMEA地区产品营销经理.
他是英国特许管理学会(BritishCharteredManagementInstitute)和英国管理人学会(BritishInstituteofDirectors)的成员,并在全球范围内参与了超过一百万平方英尺的数据中心设施的设计和构造.
关于作者解决高密度服务器部署所致冷却问题的十个步骤施耐德电气—数据中心科研中心第42号白皮书版本414关键设备的空调结构选择方案第55号白皮书通过检验制冷系统识别数据中心潜在冷却问题第40号白皮书利用气流管理盲板改善机柜的冷却性能第44号白皮书超高密度机柜和刀片服务器的功率和冷却第46号白皮书数据中心行级和机柜级制冷架构的优势第130号白皮书资源点击图标打开相应参考资源链接关于本白皮书内容的反馈和建议请联系:数据中心科研中心DCSC@Schneider-Electric.
com如果您是我们的客户并对数据中心项目有任何疑问:请与您的施耐德电气销售代表联系联系我们浏览所有白皮书whitepapers.
apc.
comtools.
apc.
com浏览所有TradeOffTools权衡工具