刀片服务器在现有数据

中心的应用策略版本2作者NeilRasmussen简介2核心问题2应用刀片服务器的五种不同方法2刀片服务器应用流程3确定现有设施的制约因素5确定用户的需求和偏好7应用方法的选择7结论11资源12第125号白皮书刀片服务器运行环境的功率密度实际上超过了以往任何数据中心的供电和制冷能力.
在现有的数据中心中安装刀片服务器无疑将会带来一系列的挑战,也会出现多种安装方案,令你难以抉择.
这份白皮书阐述了如何对这些方案进行评估,选取最佳的功率和散热方案,成功地应用刀片服务器.
摘要>点击内容即可跳转至具体章节目录白皮书现收录于施耐德电气白皮书资料库由施耐德电气数据中心科研中心发表,DCSC@Schneider-Electric.
com刀片服务器在现有数据中心的应用策略施耐德电气—数据中心科研中心第125号白皮书版本22刀片服务器与传统服务器相比有着巨大的优势—改善处理能力的同时每台服务器消耗更少的电力.

但是,随着更小的占地面积,刀片服务器也更密集的安装,这就导致在每个机柜中,刀片服务器的耗电量将达到普通数据中心机柜耗电量的20倍,而产生的热量也将高达一般机柜的20倍.
在现有数据中心安装刀片服务器会使现有的供电和制冷系统承担很大的压力.
要想应用刀片服务器,必须对数据中心的供电和制冷设备进行升级,否则这些本可以安装在一个机柜中的刀片服务器必须得分散在多个机柜中.
应用刀片服务器有许多种方法.
本白皮书根据用户具体的需求和限制条件为用户确定最适合的供电和制冷策略提供了指导.
对于目前大部分现有数据中心来说,与安装刀片服务器相关的核心问题都与供电和制冷分配有关.

大部分数据中心都具有原始的供电和制冷能力,但不具备把这些输送到高密度区域的设备.
不幸的是,许多用户直到他们打算应用刀片服务器时才意识到这些问题.
出现这种情况是因为任何一个数据中心都没有专门的文件和仪器为使用人员提供有关数据中心特定区域内的功率密度能力的信息.
有关这些问题的技术原因在本文和文章最后的应用参考中有详细说明,这里只做一下概要说明:冷却气流不足:刀片服务器每千瓦的额定功率每分钟大约需要120CFM的冷空气.
大部分数据中心只能为每个机柜提供200-300CFM/分钟的冷空气相当于一个满配置的刀片服务器机柜所需冷却气体的十分之一,这就把每个机柜的功率限定在2kW以下.
如果冷空气不足,刀片服务器只能吸入自身排出的热空气,最后导致机器过热.
这是目前刀片服务器应用中存在的最大问题,也是几乎所有刀片服务器应用中存在的问题.
电力分配不足:目前一般的数据中心的配电系统远远不能满足刀片服务器的电力需求.
这个问题有三种表现形式:1)从地板下或机柜顶部引入的电源线数据不够或型号不对;2)附近的配电单元(PDU)负载能力不足;3)断路器位置的数量不够.
任何上述问题都会妨碍数据中心提供高密度电源供应的能力.
需要说明一下,上述两个关键问题中,制冷分配问题是主要制约因素.
因此,本材料讨论的焦点问题就是选择冷却架构.
电力结构将在选定的冷却架构后进行说明,而且要根据具体的刀片服务器品牌的不同而有所不同.
具体说明参照本材料后面的参考资料2、5、6和7.
为刀片服务器制冷有五种基本方法.
一旦选中了其中一种方法,可以用多种不同产品和方法来具体实施.
这些方法在第46号白皮书《超高密度机柜和刀片服务器冷却策略》中有详细说明,表1中进行了概述.

简介核心问题应用刀片服务器的五种不同方法高密度机柜和刀片服务器冷却策略资源链接第46号白皮书刀片服务器在现有数据中心的应用策略施耐德电气—数据中心科研中心第125号白皮书版本23方法优点缺点适用范围1分散负载将设备分散到多个机柜中以降低负载峰值在任何地点都管用,不需要进行规划多种情况下基本上都适用高密度设备必须分散放置,甚至要比方法2更分散占用更多的地面空间数据线的连接可能会有麻烦现有的数据中心――高密度设备只是总负载的一小部分2转借制冷提供均衡的制冷能力,同时允许借用利用率不高的制冷能力不需要添加新设备多种情况下基本上都适用仅限于大约2倍的设计功率密度占用更多的地面空间需要按多项复杂的规则实施现有的数据中心――高密度设备只是总负载的一小部分3辅助制冷提供均衡的制冷能力,同时增加辅助冷却设备哪里需要高密度什么时候需要高密度可自由掌握延缓资本投入高效率地面空间利用率较好仅限于每个机柜约10kW机柜和房间必须提前设计好,支持这种方法新建机房或机房改造混合环境事先没有规划高密度设备的位置4设定高密度区在数据中心设一个高密度区最大限度地提高了功率密度地面空间的利用率达到最佳高密度设备无需分散放置高效率需要事先规划一个高密度区域,或为设置高密度区预留空间必须将高密度设备隔离出来功率密度为每个机柜10-25kW高密度设备需要与其它设备同在一个机房新建机房或机房改造5整个机房为机房中每个机柜提供高密度冷却能力具有前瞻性,能够应付未来需求投资巨大,运营费用高达其它方法的4倍可能会导致昂贵的机房设施利用率不高有限的空间,极多的高密度设备要应用刀片服务器,必须选择其中一种方法.
这种选择要基于目前设施的制约因素以及用户的需要和偏好.
应用刀片服务器的物理环境的准备过程分为以下几个步骤:识别现有设施的制约因素验证用户的需求和偏好确定合适的供电和制冷方案设计和实施方案图1为这一流程的示意图.
本流程图显示了工作流程的不同步骤以及每个步骤的结果.
这个流程包括两个主要的循环过程,在这两个循环流程中,现有机房的制约因素和用户的需求及偏好通过一次次的反复而确定.
这对于做适当的调整和进行恰当的权衡是非常必要的.
通常情况下,经过表1五种冷却高密度机柜的方法的应用刀片服务器应用流程刀片服务器在现有数据中心的应用策略施耐德电气—数据中心科研中心第125号白皮书版本24数据中心情况商业需求回路1回路2实施验证实施评估情况验证需求和偏好权衡取舍提供替代方案验证最佳方案变更改进不足初步的需求和偏好评估数据矛盾的需求替代方案取舍后的需求改进后的限制规划和实施选择方案对机房状况的审视和相关的权衡之后,最初的制约因素和用户的优先选择会有所变化.
最常见的是,当用户完全理解这种方法的结果后,他们对于高密度地放置刀片服务器的选择或要求往往会动摇.
这一分析发生在流程图的循环2中.
另一种常见的情况是对目前的设施进行评估时发现的问题很容易得到解决,提高了数据中心应付刀片服务器对于供电和制冷的需求.
这些调整发生在流程图的循环1中.
下一节中更详细地介绍了选择设计方案的各个不同流程.
图1确定刀片服务器正确应用到现有数据中心的方法的流程图刀片服务器在现有数据中心的应用策略施耐德电气—数据中心科研中心第125号白皮书版本25现有的数据中心有多种无法改变的硬性制约因素.
这些制约条件可能会影响某些刀片服务器应用方案的选择,具体表现为以下几种:精密供电能力.
数据中心可能不具备足够的剩余UPS供电力能力,无法为推荐的刀片服务器安装方案供应足够的电力.
精密制冷能力.
数据中心可能没有足够的剩余精确制冷能力,无法为推荐的刀片服务器安装方案提供足够的制冷能力.
这一限制条件是指机房空调原有制冷能力,而不是空气分配系统的能力.

地面空间限制.
数据中心的地面空间可能有限,或者可用于安装刀片服务器的地面空间非常有限.

如果地面空间严重不足,用户在方案的选择上可能没有太多的选择余地.

无通风吊顶.
机房吊顶可能没有压力通过装置.
房间可能高度有限,没有安装通风吊顶的可能.

这一制约条件可能让你无法选择某些设计方案.
高架地板的限制.
地板现在垫起的高度可能不足2英尺,而且/或者部分空间被导线或管线占用.
这可能会限制高架地板的空气分配能力,影响你对某些设计方案的选择.

承重限制.
数据中心的地板可能有地面负荷限重,特别是有地板垫高的情况下.
这可能会让你无法选用某些设计方案.
在现有的数据中心中,这些限制条件通常没有相关的文件说明,而且也不是显而易见,因此,必须对这些条件进行评估.
现有条件的评估对数据中心现有条件进行评估对于应用刀片服务器非常重要.
如果需要安装的刀片服务器数量仅为一个机柜或者更少,这项评估工作可能不需要做得太细致.
但是,如果要安装的刀片服务器数量较多,就必须大大提高这项评估的深度和细致程度.
在评估中,需要收集有关供电和制冷系统的能力的各种数据,包括铭牌容量,但更重要的是实际容量.
此外,必须对现有的负载情况进行评估,以确定负载量和物理分布.
最重要的是,必须对数据中心的供电和制冷分配系统进行调研,以便对系统为高密度负载提供电力和制冷的能力进行量化.
在某些情况下应用刀片服务器的复杂程度较高,那么用电脑模型来对数据中心进行模拟是很有必要的,这样做一方面可以确定一下目前状况,更重要的是可以对设计方案进行验证.
图2中展示了这样的模型实例.
确定现有设施的制约因素刀片服务器在现有数据中心的应用策略施耐德电气—数据中心科研中心第125号白皮书版本26所有的数据中心管理人员掌握一些数据中心评估方面的基本知识是很有必要的.
对于复杂的、高成本或高风险的安装,建议由专业人员进行这些评估.
施耐德电气以及其它一些厂商提供专业的数据中心评估服务.
确定改进措施-基本的数据中心卫生环境数据中心目前的状况常常包含许多弱点,在采取下一步的措施之前必须首先找到并纠正这些弱点,因为它们会影响与刀片服务器安装相关的数据.
这些问题包括:缺少盲板高架地板有泄漏或送风系统有泄露.
回风配置不当地面砖通风配置不当地板下有没用的线缆空调温度设定不当这些问题在第42号白皮书《解决高密度服务应用产生的制冷问题的十个步骤》和第49号白皮书《数据中心和机房中可避免的影响制冷性能的错误》中有详细说明.

图2三维计算流体力学模型显示数据中心的气流和温度(施耐德电气专业服务部提供)解决高密度服务应用产生的散热问题的十个步骤资源链接第42号白皮书数据中心和机房中可避免的影响散热性能的错误资源链接第49号白皮书刀片服务器在现有数据中心的应用策略施耐德电气—数据中心科研中心第125号白皮书版本27除了设施的硬性制约条件外,用户往往有一些软性限制因素或者说偏好.
这些限制条件可能是无法改变的,或者考虑到屈从这些限制需要付出的代价太高,用户可能会有所动摇.
用户的这些需求或偏好可能会把一些刀片服务器应用方案排除在外.
这些需求包括:不间断运行.
用户最重要的需求可能是安装过程中要尽可能不干扰现有数据中心的正常运行,将对运行中的IT设备带来的风险降至最低.
例如,没有可利用的例行停机时间.
系统完成安装后要具有高可用性.
用户另一个最重要的需求可能是要求系统完成安装后要具有尽可能高的可用性.
这就要求供电和制冷系统具有冗余度,而且系统要经过测试确保冗余度.

托管服务器(高密度放置).
用户可能会强烈要求最大密度地堆放刀片服务器.
其中原因包括:系统是一套示范系统希望尽可能地节约占地空间有规章或法定条文要求所有服务器放置在一个小区域内简化数据线路想把IT设备进行合理的分组(如把所有的Web服务器放置在一起)数据中心的不同区域归不同的人所有简化设备管理(如升级)感觉这样会省钱(通常是错误的)请注意,以饱和的密度进行安装费用可能会很高,而且需要对现有的数据中心进行改造,影响数据中心的正常运行.
强烈建议在决定采用高密度配置方案前考虑一下其它方案,包括分散负载,为接下来的安装做准备—这可能是一系列刀片服务器安装程序的第一步,目前的安装应为未来的安装奠定基础,而且不应妨碍到将来的安装和应用.
时间—用户可能要求刀片服务器尽快安装到位.
如果是这种情况,那么规划、签约和设施修建可能都不太现实.
成本—尽可能地降低成本可能是用户安装刀片服务器时的首选.
这也为安装工作指出了明确方向.
了解了现有设施的制约因素并且在用户的各种需求和偏好间进行了适当取舍之后,就可以从前面所述的五种基本方法中做出选择了.
刀片服务器的应用方法的选择是基于制冷问题的,因为这些问题是实际系统中最主要制约因素.
确定应用方式后,电力供应问题也就随之确定了.

影响应用方式的最主要的不确定因素就是刀片服务器的密度问题.
许多用户更愿意将刀片服务器以最大密度安装.
在现有的数据中心环境中这往往不是一个恰当的选择.
实际上大部分刀片服务器都采用模块化的机架结构,可以以较低的密度在机柜中安装.
例如,IBMBladeCenter采用独立的机架,一个机柜中可以安装1到6个刀片不等.
虽然降低安装密度看上去没有充分发挥刀片服务器的优势,但实际上系统的成本、可用性和安装速度都有所提升,特别是在现有的数据中心环境中安装刀片服务器的情况.
目前的许多数据中心设计的功率密度为每个机柜2kW甚至更低.
在这样的环境中按每个机柜10-30kW的功率安装刀片服务器时,这些刀片服务器需要消耗大量的电力和制冷功能,这与机房最初的设计不成比例.
正因为这个原因,在现有数据中心中安装刀片服务器时节省空间通常是没有实际好处的.
因此,在现有数据中心分散放置刀片服务器是既实用又划算的.
以饱和密度安装确定用户的需求和偏好应用方法的选择刀片服务器在现有数据中心的应用策略施耐德电气—数据中心科研中心第125号白皮书版本28刀片服务器通常只是在专为支持高密度方案新建的机房设施中比较划算,安装规模极大或者对空间的要求极其严格.
因此,刀片服务器安装的核心选择就是刀片服务器安装的分散程度—即每个机柜中安装多少个刀片.
用户选择的刀片服务器的品牌和型号可能会制约刀片的分散程度,例如,一些刀片服务器采用独立的机架,这种设备就易于分散安装.
而另外一些刀片服务器采用一种底板系统,这种系统使得分散安装不切实际.
要了解有关这个问题的更全面更详细的讨论,参见与具体刀片服务器品牌相关的"应用说明".
按照前面所述的五种主要刀片服务器应用方法规划好刀片服务器的应用密度后,其结果如表2.
每个机柜中服务器机箱数量分散负载转借冷却能力辅助制冷设定高密度区整个房间1大多数数据中心能够容纳所有数据中心都能容纳所有数据中心都能容纳.
允许刀片服务器机柜毗连与其它方案相比成本不划算与其它方案相比成本不划算2只有数据中心具备超强制冷分配能力的情况下才可以大多数据中心能够容纳,机柜毗连可能会受限制所有数据中心都能容纳.
允许刀片服务器机柜毗连与其它方案相比成本不划算.
应为新的区域设定更高的密度目标与其它方案相比成本不划算.
应为整个房间设定更高的密度目标3不切实际:功率密度超出一般数据中心的能力大多数据中心能够容纳,但多数情况下机柜毗连不切实际需要热空气回流压力通风系统或管道系统.
允许机柜毗连精心设计垫高的地板的制冷系统与其它方案相比成本不划算,应为整个房间设定更高的密度目标4不切实际:功率密度超出一般数据中心的能力数据中心必须具备超强制冷分配能力,必须严格按规则实施根据刀片服务器和辅助供热方案的具体情况而定需要废热排气系统需要废热排气系统,需要对整个房间进行改造5不切实际:功率密度超出一般数据中心的能力不切实际:功率密度超出一般数据中心的能力不切实际:功率密度超出了已知的辅助制冷设备的能力需要废热排气系统需要废热排气系统,需要对整个房间进行改造6不切实际:功率密度超出一般数据中心的能力不切实际:功率密度超出一般数据中心的能力不切实际:功率密度超出了已知的辅助制冷设备的能力只有面积极小的情况下考虑此方案.
成本可能极高.
需要制定严格的规则.
达到该密度成本极高.
需要对整个房间进行改造.
需要配置热空气交换系统.
最低成本最低成本每个机柜1k-2k美元每个机柜10k-20k美元每个机柜20k-60k美元成本增加容易需要规划安装流程安装不影响正常运行大面积安装、重设管道和线路整个机房需要停止运行进行改造复杂程度增加表2各应用方法中不同刀片服务器密度下的刀片服务器应用标准刀片服务器在现有数据中心的应用策略施耐德电气—数据中心科研中心第125号白皮书版本29表2表明,在30种不同的功率密度和应用方法组合中,有大约11种首选组合和7种临界的组合――共18种比较切合实际的应用方式组合.
要选择最佳方案,必须把数千种用户的偏好、制约因素和现有的条件等数据与这18种应用方式组合进行比对.
这种比对需要进行广泛的分析,遵循许多规则,这一过程可以像软件运算一样进行.
但本白皮书中不做详细叙述.

在开发工具进行这种分析的过程中,施耐德电气提供了在实际工作中经过长期观察得出的一些关键的经验:如果在房间中需要安装的刀片服务器机柜超过总机柜数量的25%,那么现有的数据中心的电力和制冷系统可能需要进行全面改造.
这说明如果安装数量达到这个限度,用户就需要重建一个机房,否则就得把数据中心关闭一段时间进行系统改造.
如果现有的数据中心计划安装1到5个刀片服务器机柜,那么为了将对数据中心正常运转的影响降到最低,同时降低安装成本,以饱和密度的25%或50%的数量(如每个机柜中最多放置3个机架)进行安装最合适.
对大多数数据中心来说,实现非常高的功率密度所需的成本比增加几个机柜位置所需的空间成本要高得多.
现在的数据中心一般都是为系统设备整体提供制冷和电力供应,辅助制冷方案能够以较低的成本提高应用密度,同时达到可预测的制冷效果.
不推荐的方法下面列举了数据中心管理人员平时经常会采用的一些方法和做法,但这些方法是有缺陷的,对解决问题帮助不大,而且往往会使情况更糟.
降低空气温度—用户通常会通过调低机房空调的温度设定来降低机房的空气温度,以解决数据中心中出现的一些热点.
这是用户操作最容易也是最差的做法.
采取这种做法会降低空调系统的能力,大大增加增湿器的水消耗量,大大降低数据中心的运行效率(结果还会让你帐单上的电费增加).
所有这些都会发生,而问题根本得不到解决,因为这是气流的问题,而不是空气温度的问题.
地板格栅—另外一个看似合理的措施就是把垫高地板的通风地砖换成气孔更大的格栅.
这种格栅的样子不是我们所熟悉的带孔的地砖,而是有点象火炉篦子.
这种方法对于孤立的机柜会有帮助,但会有严重的副作用――特别是大量使用这种地砖的情况下.
在数据中心使用这种地砖通常会导致其它区域的气流减少,但更重要的是这些格栅会引起地砖间的气流发生重大的不可预测的变化.
这一问题在第46号白皮书《超高密度机柜和刀片服务器的制冷策略》中有详细说明.
机柜顶部风扇—在机柜顶部安装风扇的情况非常普遍――尽管这些风扇对于一个设计完好的IT机柜中一点好处也没有.
服务器过热的原因并不在于机柜内部,而是在于服务器前部进入口处的热空气.
这些风扇只能是产生更多的热量,甚至会降低一个设计优良的数据中心的制冷能力.
许多用户在目的不明确的情况下按照传统的规格确定风扇的规格.
也有一些与机柜配套的有效的风扇辅助设备,这些设备在第42号白皮书《解决应用高密度服务器引起的制冷问题的十个步骤》中有更详细的说明.
单立机柜—有时候用户会把机柜从整排机柜中单列出来,试图在一定范围内降低机柜密度,让通风地砖的气流能够更多地接触到机柜.
但是这种方法使得设备排出的热气在机柜周围回流到服务器的进气口.
整体效果并不是很好.
更好的方法是让机柜处于热通道和冷通道的安排中,在刀片服务器机柜之间用带隔板的不加负载的机柜隔开,加宽冷通道,使用辅助制冷设备和/或热通道密封系统来增强制冷性能.
解决应用高密度服务器引起的散热问题的十个步骤资源链接第42号白皮书超高密度机柜和刀片服务器的散热策略资源链接第46号白皮书刀片服务器在现有数据中心的应用策略施耐德电气—数据中心科研中心第125号白皮书版本210在现有数据中心中应用刀片服务器会给数据中心的电力和制冷系统带来压力,这种压力不容忽视.

有多种方法可以用来给刀片服务器提供电力或制冷功能.
针对某一具体安装的最好的方法要根据现有设计的制约条件和数据中心管理人员的需求和偏好而定.
本白皮书概要阐述了涉及刀片服务器应用的相关事宜和选择.
本文中描述了根据现有数据中心的制约因素和用户需求来选择应用方法的流程.
大多数用户不了解高密度放置刀片服务器的后果.
当他们考虑到这些方案以及优势之后,在现有设施中分散安装刀片服务器会更有吸引力,因为这样节省成本和时间,能够减少对现有数据中心正常运转的干扰.
结论NeilRasmussen是施耐德电气旗下IT事业部—APC的高级创新副总裁.
他负责为全球最大的用于关键网络设备(电源、制冷和机柜等基础设施)科技方面的研发预算提供决策指导.