冷却液服务器宕机

ICS35.
020L04中国电子学会标准T/CIEXXX—2020喷淋式直接液冷数据中心设计规范Designspecificationforspraydirectliquidcoolingdatacenters2020-XX-XX发布2020-XX-XX实施中国电子学会发布T/CIEXXX—2020I目次前言.
III引言.
IV1范围.
12规范性引用文件.
13术语、定义及缩略语.
24分级.
25液冷机房基础设施.
35.
1建筑.
35.
2结构.
35.
3消防.
36喷淋式直接液冷系统.
46.
1一般规定.
46.
2一次冷却环路系统.
46.
3二次冷却环路系统.
47管路设计要求.
58主机房环境要求.
58.
1温湿度要求.
58.
2主机房内新风量.
58.
3尘埃.
58.
4噪声值.
69供配电系统.
69.
1供电系统.
69.
2配电系统.
69.
3电子信息设备不间断供电系统.
69.
4换热系统供电.
69.
5辅助设备供电.
69.
6防雷接地.
610冷却液供排液系统.
611给排水系统.
712智能化系统.
712.
1液冷控制系统.
712.
2动力和环境监控系统.
712.
3安全防范系统.
7T/CIEXXX—2020II12.
4火灾自动报警系统.
713线缆系统.
813.
1一般要求.
813.
2走线架.
813.
3线缆布放.
8附录A(规范性附录)喷淋式直接液冷各级数据中心部分技术要求.
9附录B(资料性附录)喷淋式直接液冷系统结构及工作原理.
10附录C(资料性附录)喷淋式直接液冷控制系统.
14附录D(资料性附录)冷却液选择及使用要求.
17附录E(资料性附录)运维规定.
19附录F(资料性附录)试验与验收.
21附录G(资料性附录)喷淋液冷设备安装要求及典型案例.
22鸣谢.
25T/CIEXXX—2020III前言本标准按照GB/T1.
1—2009给出的规则起草.
请注意本文件的某些内容可能涉及专利.
本文件的发布机构不承担识别这些专利的责任.
本标准由工业和信息化部节能与综合利用司提出,由中国电子学会(CIE)归口.
本标准起草单位:广东合一新材料研究院有限公司本标准参加起草单位:本标准主要起草人:T/CIEXXX—2020IV引言随着5G、云计算、物联网、人工智能等技术的不断发展,相关业务对于数据处理的需求快速提升.
为保证及时有效处理海量数据,数据中心的功率密度和能耗不断攀升.
由于液冷形式可以提供更高的散热能力,较高的能源使用效率,并可以进行热量回收及综合利用,其得到了广泛的关注并发展出多种液冷数据中心解决方案.
喷淋式直接液冷数据中心解决方案发展已相对成熟并已有相应成功实践案例.
为协助数据中心用户和设计单位更进一步理解该解决方案,进而实际应用该解决方案建设高能效数据中心,特组织相关单位在相关实践经验基础上编制本标准.
T/CIEXXX—20201喷淋式直接液冷数据中心设计规范1范围本标准规定了喷淋式直接液冷数据中心机房基础设施、喷淋式直接液冷系统、管路设计要求、主机房环境要求、供配电系统、冷却液供排液系统、供排水系统、智能化系统和线缆系统的关键设计要求.
本标准适用于喷淋式直接液冷数据中心的设计.
喷淋式直接液冷数据中心的施工、部署、运维、试验与验收也可参考使用.
2规范性引用文件下列文件对于本文件的应用是必不可少的.
凡是注明日期的引用文件,仅注明日期的版本适用于本文件.
凡是不注明日期的引用文件,其最新版本(包括所有的修改单)适用于本文件.
GB/T261闪点的测定-宾斯基马丁闭口杯法GB/T267石油产品闪点与燃点测定法(开口杯法)GB/T5654液体绝缘材料相对介电常数、介质损耗因数和直流电阻率的测量GB/T11133石油产品、润滑油和添加剂中水含量的测定卡尔费休库仑滴定法GB30000化学品分类和标签规范GB50016建筑设计防火规范GB50023建筑抗震鉴定标准GB50052供配电系统设计规范GB50054低压配电设计规范GB50057建筑物防雷设计规范GB50116火灾自动报警系统设计规范GB50140建筑灭火器配置设计规范GB50174数据中心设计规范GB50222建筑内部装修设计防火规范GB50242建筑给水排水及采暖工程施工质量验收规范GB50343建筑物电子信息系统防雷技术规范GB50367混凝土结构加固设计规范GB50370气体灭火系统设计规范GB50462数据中心基础设施施工及验收规范GB50736民用建筑供暖通风与空气调节设计规范GB50898细水雾灭火系统技术规范GB51251建筑防烟排烟系统技术标准JGJ116建筑抗震加固技术规程JGJ145混凝土结构后锚固技术规程T/CIEXXX—202023术语、定义及缩略语下列术语和定义适用于本标准.
3.
1液冷LiquidCooling采用液体作为热源直接散热的介质,带走设备热量的散热技术,根据冷却形式可分为喷淋式、浸没式和冷板式等,根据冷却介质可分为水冷和非水液冷.
3.
2喷淋式直接液冷SprayDirectLiquidCooling喷淋式直接液冷是一种面向电子设备器件精准喷淋、直接接触式的液冷技术,冷却液可通过重力或系统压力直接喷淋至IT设备的发热器件或与之连接的固体导热材料上,并与之进行热交换实现对IT设备的热管理.
在热交换的工作过程中,IT设备内冷却液的自由液面低于被冷却的发热器件或与之连接的固体导热材料,系统通过IT设备外部的换热单元对冷却液换热并循环使用.
3.
3冷却液Coolant用于对电子设备器件进行冷却的无毒害且绝缘的液态冷却媒介.
3.
4喷淋式直接液冷数据中心SprayDirectLiquidCoolingDataCenter采用喷淋式直接液冷技术的数据中心.
3.
5喷淋式直接液冷系统SprayDirectLiquidCoolingSystem采用喷淋式直接液冷技术对IT设备实施热管理的全套部件的组合.
3.
6喷淋式直接液冷服务器SprayDirectLiquidCoolingServer通过喷淋模块将冷却液以喷淋方式对服务器内部所有发热器件进行直接接触式散热的液冷服务器.
3.
7喷淋式直接液冷机柜SprayDirectLiquidCoolingCabinet安装喷淋式直接液冷服务器的液冷机柜.
注:通常包括机柜、管路系统、布液系统、回液系统、PDU、监控处理单元等.
3.
8冷量分配单元(CDU)CoolantDistributionUnit驱动一次冷却环路非水工质循环,将设备的热量通过CDU内置的热交换器传导至二次冷却环路水循环系统,同时具备温度、流量、压力、防凝露控制等功能的单元.
注:由热交换器、内循环液泵、定压装置、补液装置、控制系统等组成.
3.
9液体冷却单元LiquidCoolingUnit实现冷却液与冷却水或冷媒的热量交换的单元.
注:主要由循环泵、换热器、控制柜、连接管路与阀门等组成的装置.
4分级应按GB50174的规定,根据使用性质、数据丢失或网络中断在经济或社会上造成的损失或影响程度,确定所属等级为A、B或C级.
各级数据中心部分技术要求见本标准附录A.
T/CIEXXX—20203按照GB50016的有关规定,喷淋式直接液冷机房属于丙类火灾危险性.
5液冷机房基础设施5.
1建筑5.
1.
1数据中心选址,应符合下列要求:a)电力供给充足可靠,交通便捷、通信快速畅通;b)自然环境清洁,远离有粉尘、腐蚀性气体、易燃易爆物品的场所;c)远离有水患、强震动、强电磁干扰的场所.
5.
1.
2主机房净高应根据机柜展开高度及管路桥架布置要求确定,且梁底净空不宜小于3.
0m,架空地板净高不宜小于0.
6m,并应满足防静电、液冷管路、消防管道、活动地板、工艺生产的要求.
5.
1.
3液冷机房通道的宽度及门的尺寸应满足最大设备和材料的运输要求,且主通道不宜小于1.
5m,设备维护通道不宜小于1.
0m.
5.
1.
4当液冷系统水管进入主机房时,应确保配电列头柜远离水管,并在主机房内设置防止水漫溢和渗漏措施以及漏水报警装置.
5.
1.
5液冷机房不宜设置外窗.
当有外窗时,需安装隔热防护措施.
5.
1.
6液冷机房设计应满足使用功能要求,地面宜采用抗静电地坪漆,并设置收集冷却液的渗漏围堰或地沟.
5.
1.
7液冷机房维护结构的材料选型应满足保温、隔热、防火、防潮、少产尘等要求.
液冷机房室内装修,应选用气密性好、不起尘、易清洁、符合环保要求、在温度和湿度变化作用下变形小、具有表面静电耗散性能的材料,不得使用强吸湿性材料及未经表面改性处理的髙分子绝缘材料作为面层.
室内装修设计选用材料的燃烧性能应符合GB50222的有关规定.
5.
1.
8主机房的噪声、电磁干扰、振动及静电要求应符合GB50174的有关规定.
5.
2结构5.
2.
1新建喷淋式直接液冷数据中心各功能区域的楼面等效均布活荷载标准值应符合GB50174的有关规定,喷淋式直接液冷数据中心应按主机房区楼面等效均布活荷载大于或等于12kN/m2,电力电池室楼面等效均布活荷载大于或等于16kN/m2.
5.
2.
2民用建筑或工业建筑改建液冷机房时,应对承重进行评估,按照GB50023的规定进行抗震鉴定,考虑液冷系统的重量和液冷系统运行时产生的震动影响.
尽量通过调整设备布局或减轻设备重量以满足建筑物承重指标.
若经抗震鉴定后需要进行抗震加固的建筑应根据GB50367、JGJ116和JGJ145的规定进行加固.
当抗震设防类别为丙类的建筑改建为A级数据中心时,在使用荷载满足要求的条件下,建筑可不做加固处理.
5.
2.
3新建A级数据中心的抗震设防类别不应低于乙类,B级和C级数据中心的抗震设防类别不应低于丙类.
注:"乙类"是"重点设防类"的简称,指地震时使用功能不能中断或需尽快恢复的通信建筑,以及地震时可能导致大量人员伤亡等重大灾害后果,需要提高设防标准的通信建筑.
"丙类"是"标准设防类"的简称,需要严格按照国家标准进行抗震设计.
5.
3消防5.
3.
1液冷数据中心防火和灭火系统设计,应符合GB50016、GB50174、GB50370、GB50898和GB51251规定.
T/CIEXXX—202045.
3.
2液冷机房应设置火灾自动报警系统,并应符合GB50116的有关规定.
5.
3.
3当数据中心位于其它建筑物内时,在数据中心与建筑内其它功能用房之间应采用耐火极限不低于2.
0h的隔墙和1.
5h的楼板隔开,隔墙上开门应采用甲级防火门.
5.
3.
4主机房的顶棚、壁板(包括夹芯材料)和隔断应为不燃烧体,且不得采用有机复合材料.
地面及其他装修应采用不低于B1级的装修材料.
5.
3.
5数据中心内,建筑灭火器的设置应符合GB50140的有关规定,其灭火剂不应对电子信息设备造成污渍损害.
5.
3.
6凡设置气体灭火系统的主机房,应配置专用空气呼吸器或氧气呼吸器.
6喷淋式直接液冷系统6.
1一般规定喷淋式直接液冷系统一般由喷淋式直接液冷服务器、喷淋式直接液冷机柜、冷量分配单元CDU、液体冷却单元、管路、阀门、冷却液、监测控制系统组成,相关详细介绍参照附录B、附录C、附录D、附录E和附录F.
喷淋式直接液冷系统应符合以下规定:a)在喷淋式直接液冷系统的冷却液循环过程中,可通过CDU将不同的子循环过程相连通,其中液体冷却单元的具体形式应根据换热温差(接近点温差或对数平均温差)、安全性、体积、重量、成本、可靠性等参数确定,其常见的换热器接近温度可参考附录C;b)为消除液冷机房环境内的结露风险,CDU的供液温度应在室内空气的露点温度以上.
6.
2一次冷却环路系统一次冷却环路冷系统是指冷却液部分.
循环冷却液温度范围宜为20~55℃.
循环冷却液将液冷服务器中芯片和电子器件产生的热量运载至二次冷却环路进行散热的系统,其设计和选型应满足以下要求:a)为降低一次冷却环路泵的输配能耗,液冷服务器的喷淋板宜根据服务器内电路板所对应的器件布局及其功率、热流密度和散热片散热性能等进行冷却液流量设计,冷却液流量确定后方可对喷淋板进行相关的开孔尺寸、数量和位置进行设计;b)液冷机柜应满足流量要求,可根据末端接入量自动调节,实现节能运行;c)为避免因冷源提供的冷量不能满足液冷服务器电子器件的散热需求而出现液冷服务器宕机的风险,应在喷淋液冷机柜中配置相应的冷却液状态(如温度、压力、流量等)监控设备;d)管路材质要求:所有管路必须选用特殊的材料,要抗腐蚀抗结垢,推荐含锌量小于15%的无铅铜合金或低碳不锈钢.
6.
3二次冷却环路系统二次冷却环路系统是指冷源部分.
冷源温度范围宜为2℃~45℃.
通过液体冷却单元,将冷却液带出的液冷服务器电子器件产生的热量交换至室外空气环境(风冷工况)或冷却水(水冷工况)中,为液体冷却单元提供热交换冷源的设计和选型应满足以下要求:a)选择冷源设备时应综合考虑室外环境气象参数,如极端干球温度、极端湿球温度等,以及建筑物规模等因素,优先使用室外自然冷源进行散热,如干冷器或者冷却塔等设备;b)相应地提高供回水温度,降低冷源设备的功耗;c)配置冷源设备时,如冷水机组或换热器,宜冗余配置;d)当冷源设备采用干冷器时,应保证极端干球温度与供液温度具有足够的换热温差;T/CIEXXX—20205e)由于一次冷却环路系统与二次冷却环路系统通过换热器进行耦合,因此设计时应采取措施防止冷却液与水之间的串液问题;f)管路系统应根据当地气候条件增加防冻措施;g)采用水冷式冷水机组的冷源系统应设置冷却水补水储存装置,储存时间不应低于当地应急水车抵达现场的时间.
当不能确定应急水车抵达现场的时间时,A级数据中心可按12h储水.
7管路设计要求管路布置需考虑以下要求:a)管道宜采用下走管,若采用架空地板方案,则架空净高不宜小于0.
6m;b)布置管道需考虑阀门和端口的可操作性,是否穿越防火墙等问题.
同时考虑操作性、能耗和冗余;c)管路应有相关措施,避免管路系统热胀冷缩及地震引起泄漏;d)管路的布置有多种方式,应根据实际情况及经济性选择合适的方式.
8主机房环境要求8.
1温湿度要求主机房、液冷设备间或其他有人员使用的辅助区域,宜配备舒适性空调.
主机房的温湿度控制,应按表1的要求执行.
表1主机房的温湿度控制主机房环境温度和相对湿度(停机时)5~45℃(推荐值),8%~80%不得结露主机房环境温度和相对湿度(开机时)18~30℃(推荐值),35%~75%其他房间应符合GB50174和GB50736有关规定,温湿度控制应满足表2的要求.
表2其他房间的温湿度控制类别热舒适度等级温度℃相对湿度%风速m/s供热工况Ⅰ级22~24≥30≤0.
2Ⅱ级18~22~≤0.
2供冷工况Ⅰ级24~2640~60≤0.
25Ⅱ级26~28≤70≤0.
38.
2主机房内新风量空调系统的新风量应取下列三项中的最大值:a)按工作人员计算,每人40m3/h;b)维持室内正压所需风量;c)主机房区域还应满足按换气次数计算,新风量不小于1次每小时.
8.
3尘埃主机房内每立方米空气中粒径大于或等于0.
5μm的悬浮粒子数应小于1.
76*107粒.
T/CIEXXX—202068.
4噪声值CDU模块的噪声值不宜大于65dB(A).
液冷系统机房的噪声值不宜大于60dB(A).
9供配电系统9.
1供电系统供电系统需按照GB50174与GB50052要求执行.
对于喷淋式直接液冷系统,一旦冷却液停止供液,服务器将脱离冷却液工作,应将不间断电源接入冷却液循环系统的设备供电.
9.
2配电系统数据中心用电负荷等级及供电要求应根据数据中心的等级,按GB50052及GB50174的要求执行.
配电系统应为电子信息系统的可扩展性预留备用容量.
9.
3电子信息设备不间断供电系统电子信息设备用不间断供电系统的连接形式及电池后备时间根据数据中心等级和业务需求,应按GB50174的要求执行.
9.
4换热系统供电换热系统如液冷主机、冷却水泵、补水泵等应采用不间断电源供电.
不间断电源采用交流系统时,不应与电子信息设备共享一组不间断电源系统.
采用直流电源系统作为不间断电源时,可与电子信息设备共享一组不间断电源系统,但应采用独立的逆变器供电,逆变器应支持双路电源输入,如一路交流输入、一路直流输入.
换热系统不间断电源供电的后备时间应不小于电子信息设备不间断电源的后备时间.
供电结构及备用电源选择应按GB50174的要求执行.
9.
5辅助设备供电空调设备、新风机组、风机等辅助设备可采用市电直供,并应设置备用电源.
供电结构及备用电源选择应按GB50174的要求执行.
9.
6防雷接地防雷与接地应符合GB50057、GB50343及GB50174的相关规定.
10冷却液供排液系统根据使用需求,为了便于快速向喷淋系统内补充冷却液,可设置补液系统.
储液罐的容量应根据需求设计,但有效容量不宜小于系统总容量的10%.
液冷机柜、冷却液管道下方应设置挡液围堰,并配置漏液检测系统,冷却液体通过专用地漏排至冷却液收集系统,或通过专用抽液泵收集,冷却液严禁直接排放到下水道或室外.
T/CIEXXX—2020711给排水系统冷却塔、加湿器应设置给水系统,给水方式可自来水直供或二次供水系统供水.
自来水应设置储水箱,储水量应满足GB50174的要求.
除湿机、冷却水系统管道下方应设置挡水围堰及排水地漏,并配置漏水检测系统.
设置了自动喷水灭火系统和室内消火栓给水系统的走道及其它用房区域,在地面隔一定的距离设地漏,经收集后间接排入市政雨水检查井,防止水消防系统启动后水进入液冷机房,造成二次损失.
12智能化系统数据中心应设置总控中心、液冷控制系统、动力环境监控系统、安全防范系统、火灾自动报警系统等智能化系统,各系统的设计应根据数据中心的等级,按GB50174的要求执行.
智能化系统应具备显示记录、控制报警、提示、历史数据和能耗分析等功能.
12.
1液冷控制系统液冷控制系统需考虑以下要求:a)液冷控制系统的控制柜宜就近设置在CDU附近,一般配置在CDU内;b)监控液冷系统各设备的运行状态,包括喷淋液冷机柜、冷却塔、CDU等;c)监控各控制参数,包括冷却液及冷却水的温度、压力、流量,储液罐、储水罐的液位,冷却水泵、冷却塔的电气运行等实时信息.
12.
2动力和环境监控系统动力和环境监控系统需考虑以下要求:a)检测主机房、辅助区和室外的温度、相对湿度等环境参数;b)监控漏液告警模块反馈回来的实时信息;c)监控漏水告警模块反馈回来的实时信息;d)监控机电设备的运行状态、能耗.
液冷机房专用空调设备、液冷专用设备、冷水机组、柴油发电机、不间断电源系统、高压直流系统、低压配电柜等设备自身应配带监控系统.
监控的主要参数应纳入设备监控系统,通信协议应满足设备监控系统的要求.
12.
3安全防范系统安全防范需考虑以下要求:a)安全防范系统宜由视频监控系统、入侵报警系统和出入口控制系统组成,各系统之间应具备联动控制功能;b)紧急情况时,出入口控制系统应能接受相关系统的联动控制信号,自动打开相应疏散通道上的门禁系统.
12.
4火灾自动报警系统火灾自动报警系统的设计除应符合GB50016、GB50116的规定,还应符合当地消防部门的相关规定.
T/CIEXXX—2020813线缆系统13.
1一般要求主机房走线架及线缆布放应根据用户需求和未来发展状况进行规划和设计,应满足下列要求.
13.
2走线架走线架应满足下列要求:a)弱电线缆布放时采用金属网格走线架,光纤布放时应采用光纤槽道,电力电缆布放时应采用金属线槽或桥架;b)光纤槽道应选择不低于难燃B1级材料制作;c)金属走线架、线槽或桥架必须接地处理,各段走线架、线槽或桥架之间必须采用电气连接;d)缆线采用线槽或桥架敷设时,线槽或桥架的安装位置与建筑装饰、电气、空调、消防等协调一致;e)当线槽或桥架敷设在主机房天花板下方时,线槽和桥架的顶部距离天花板或其他障碍物不宜小于0.
3m.
13.
3线缆布放线缆布放应满足下列要求:a)当缆线从建筑物外面进入建筑物时,电缆、光缆的金属护套或金属构件在入口处就近与等电位联结端子板连接;b)当电缆从建筑物外面进入建筑物时,选用适配的信号线路浪涌保护器;c)交流电缆、直流电缆、信号线缆应使用专用走线槽架,各走线槽架有清晰标识以明确其用途;d)主机房布线系统中的铜缆与电力电缆或配电母线槽之间的最小间距根据机柜的容量和线缆保护方式确定,并符合GB50174中的规定;e)电子信息设备上方的数据线、电源线分别布设在机柜的专用通道内并用扎带固定.
捆扎时注意避免影响电子信息设备的维护和上下架.
捆扎方向统一、美观.
T/CIEXXX—20209AA附录A(规范性附录)喷淋式直接液冷各级数据中心部分技术要求项目技术要求备注A级B级C级空气调节主机房设置空气调节系统可不间断电源系统电池室设置空调降温系统宜可主机房保持正压应可一次冷却环路系统一次冷却环路管网双供双回,环形布置单一路径一次冷却环路循环泵、二次冷却环路设备N+X冗余(X=1~N)N+1冗余N采用不间断电源系统供电的设备控制系统、冷却液循环泵、二次冷却环路循环泵、弱电监控系统控制系统蓄冷装置供冷时间不应小于不间断电源设备的供电时间-注/排液系统宜可T/CIEXXX—202010BB附录B(资料性附录)喷淋式直接液冷系统结构及工作原理B.
1喷淋式直接液冷系统图B.
1示意了一种典型的喷淋式直接液冷系统工艺流程原理图,其要分为冷却水循环、冷冻水循环和冷却液循环.
设备主要由冷却塔、冷水机组、CDU、喷淋液冷机柜构成.
上图的冷却循环可以是分布式的、也可以是集群式的,但分布式的冷却方案具有更高的可靠性、灵活性以及可扩展性.
在实际项目中,冷冻水或冷却水建议分配到多个CDU中,CDU中的冷却液也分配到多个机柜.
图B.
1喷淋式直接液冷系统工艺流程原理图注:CDU与喷淋液冷机柜之间用防火墙隔离.
在具体工程项目中,上述循环过程和设备并不是充分或者必须的.
根据环境的干球温度、湿球温度、建筑物规模、供液温度等因素,选择冷却循环与室外散热模块.
例如图B.
2所示的冷却循环与室外散热模块方式均可以实现.
a)b)c)图B.
2几种常见的喷淋式直接液冷系统原理图T/CIEXXX—202011B.
2喷淋式直接液冷机柜喷淋式直接液冷机柜是整个系统中实现液冷过程的核心部件,常见液冷标准机柜尺寸有600mm*1200mm*2000mm和600mm*1200mm*2200mm,图B.
3示意了两种典型的喷淋式液冷实现方法.
a)b)图B.
3典型喷淋式液冷实现方法对上述两种典型喷淋机柜的基本工作原理描述如下:a)被CDU冷却之后的冷媒被泵通过管路输送至机柜内部;b)冷媒进入机柜后直接通过分液支管进入与服务器相对应的布液装置,或者将冷媒输送至储液箱以提供固定大小的重量势能以驱动冷媒通过布液装置进行喷淋;c)之后,冷媒将通过布液器对IT设备中的发热器件或与之相连的导热材料(如:金属散热器、VC、热管等)进行喷淋制冷;d)被加热之后的冷媒将通过集液装置(如:回液管、集液箱等)进行收集并通过泵输送至CDU进行下一次制冷循环.
B.
3换热设备a)各类换热设备整个喷淋液冷工艺流程循环中,通过换热设备将不同的子循环过程串连起来,其中换热设备的具体形式需要根据换热温差(接近点温差或对数平均温差)、安全性、体积、重量、成本、可靠性等参数确定.
以下给出几种常见换热器的接近点温度,见表B.
1.
T/CIEXXX—202012表B.
1常见换热器的接近点温度换热器类型使用场景参考温度类型接近点温度开式冷却塔废热排放空气湿球温度3-4℃闭式冷却塔废热排放空气湿球温度4-7℃干式换热器废热排放空气干球温度8-11℃板式换热器中间换热器流体介质温度2-3℃管壳式换热器中间换热器流体介质温度3-10℃在使用冷却塔的时候,需按照相关标准配或用户要求配置足够大的补水水箱或水塔,大型数据中心通常需储备12h的补水量.
b)冷水机组冷水机组按照废热排放方式分为风冷式冷水机组与水冷式冷水机组,两种形式的冷水机组均可以在系统中作为补充使用.
标准冷水机组的设计出水温度通常为7℃,回水温度通常为12℃.
除非在有除湿需求的运用工况下,这样的温度对于任何形式的液冷系统往往过低.
而对于喷淋液冷散热需求,可适当调高出水温度来降低能耗,比如25℃进,20℃出,同时防止冷冻水管的结露.
为了防冻,可以在水中添加防冻液降低凝固点,但需注意,防冻液的添加会导致混合液的物理性质和换热设备的性能产生变化.
同时,管路、阀门、水泵及水箱等选型需耐防冻液腐蚀.
B.
4中间换热与分配单元CDU及其布局CDU是被推荐使用的一个中间换热设备.
CDU并非只是承担一个换热器的功能,该设备还肩负着制冷量(而不仅是冷却液流量)分配的功能.
CDU的主要功能及特点如下:a)提供并调节冷却液的流量或供液压力;b)调节冷却液的温度;c)对冷却液进行在线过滤或旁路过滤;d)对冷却液进行预加热(通常不需要).
上述功能并非在所有应用中都是必须的,可以根据实际需求进行选择.
图B.
4示意了一种典型的CDU实现形式.
图B.
4一种典型的CDU实现形式图B.
4示意的CDU为众多实现方式的一种,其中示意的部件并非是充分的或必须的,其主要功能通过以下方式实现.
T/CIEXXX—202013a)供液流量和压力控制:系统可以在泵出口的管路配置比例调节阀或者对泵进行变频控制,从而调整CDU的供液流量或者供液压力,为提高控制精度,可将泵的运行频率或比例阀的开度与布置在供液管道上的压力传感器或温度传感器进行闭环控制;b)供液温度调节:若CDU并没有流量或者压力控制需要,则可以将循环泵设置在换热器的前段,并在泵出口配置比例调节阀且连通至换热器后的管路,通过控制流经换热器的流量占比调节供液温度;但更为稳健的做法是通过调节二次冷却环路系统的水量来调节温度,这样的做法可以通过在二次冷却环路系统增设比例调节阀或节流阀实现;c)过滤:过滤包括过滤冷却液中的固体杂质或液体杂质(尤其是水分),过滤装置(不限于固体颗粒过滤器)可以是并联在冷却液循环系统管路上的,也可以是串联的;d)预加热:预加热仅需在循环设备中增设加热器即可,但须注意的是,加热器在加热过程中的表面温度不宜过高,以避免冷却介质的老化.
为消除液冷机房环境内的结露风险,建议将CDU的供液温度调整至液冷机房环境露点温度以上.
T/CIEXXX—202014CC附录C(资料性附录)喷淋式直接液冷控制系统C.
1一般要求监控需满足GB50174的基本要求.
监控系统中使用标准的通讯协议是被推荐的.
目前,对于数据机房级别的大型工业系统,通过PLC对系统进行控制是成熟可行的.
目前基于人工神经网络、机器学习的控制方式正在积极推进,这样的控制方法是可行的,但由于基于"训练-推理"这一形式的控制方式输出结果存在一定程度的不可预测性,在投入使用之前需对系统的鲁棒性进行充分的验证.
C.
2监控范围相对于风冷系统,液冷系统需要增加一些额外的监测点与控制点,比如冷媒循环中的流体温度、压力、流量等.
本文将主要补充关于冷却系统的监测与控制方式,消防、电力、自动化楼宇的要求与GB50174基本保持一致.
表C.
1列举了一些常用的监测点作为参考,但并非所有列出的监测点均需要配置.
具体的监测点需根据实际工程的监控需求确定,比如:液体输送的监测点可以通过监测压力实现,也可以通过监测流量实现;供液量的控制通过循环泵的变频器实现.
表C.
1常用参考监测点所属系统或设备检测点型号类型机柜温度模拟量/开关量机柜压力模拟量/开关量机柜流量模拟量/开关量机柜泄漏开关量机柜集液箱液位模拟量/开关量机柜故障报警开关量冷媒循环温度模拟量/开关量冷媒循环压力模拟量/开关量冷媒循环流量模拟量/开关量冷媒循环水分含量模拟量/开关量冷媒循环颗粒物含量模拟量/开关量CDU泄漏开关量CDU集液箱液位模拟量/开关量CDU过滤器前后压差模拟量/开关量CDU循环泵启停状态开关量CDU循环泵运行频率模拟量CDU循环泵运行电流模拟量T/CIEXXX—202015表C.
1(续)所属系统或设备检测点型号类型CDU循环泵运行电压模拟量CDU泄漏模拟量/开关量CDU故障报警开关量冷冻水循环温度模拟量/开关量冷冻水循环压力模拟量/开关量冷冻水循环流量模拟量/开关量冷冻水循环水质1)模拟量冷冻水循环循环泵启停状态开关量冷冻水循环循环泵频率模拟量冷冻水循环循环泵运行电流模拟量冷冻水循环循环泵运行电压模拟量冷水机组设备设定参数2)模拟量冷水机组设备运行状态2)开关量冷水机组设备故障状态2)开关量冷水机组设备电压模拟量冷水机组设备电流模拟量冷水机组故障报警开关量冷却水循环温度模拟量/开关量冷却水循环压力模拟量/开关量冷却水循环流量模拟量/开关量冷却水循环过滤器前后压差模拟量/开关量冷却塔循环泵启停状态开关量冷却塔循环泵频率模拟量冷却塔循环泵运行电流模拟量冷却塔循环泵运行电压模拟量冷却塔喷淋泵启停状态开关量冷却塔喷淋泵频率模拟量冷却塔喷淋泵运行电流模拟量冷却塔喷淋泵运行电压模拟量冷却塔风机启停状态开关量冷却塔风机频率模拟量冷却塔风机运行电流模拟量冷却塔风机运行电压模拟量冷却塔储液箱液位模拟量/开关量冷却塔故障报警开关量注1:水质的检查检查项目根据具体情况确定;注2:通常,冷水机组的内部监控通过配置在冷水机组中的单片机实现,但是厂商基本都预留了符合标准通讯协议的接口以便上位机读取,直接通过动环监控系统操作冷水机组内部的零部件(如压缩机、膨胀阀等)是可以实现的,但极为不建议.
T/CIEXXX—202016除了对设备运行状态的监控以外,还需对设备的使用年限进行监控.
比如将系统中设备的使用到期时间、检定到期时间纳入到监控系统中是很好的设备寿命管理方式.
同时,巡检周期和巡检记录也可以被纳入到液冷机房的监控系统当中.
C.
3传感器对于传感器的选择不仅需要考虑量程、精度、分辨率等指标,还需考虑容错性、易用性、可靠性等问题.
传感器的失效是一个常见的问题,失效方式包括但不限于:线路故障、电路板故障、探头故障、年飘移、过载损坏.
由于传感器的失效引起的系统误动作或误报警可能出现数据中心的事故,为避免或减少这一问题的发生可采用以下一些措施:a)使用可靠性更高的传感器.
比如热电阻的可靠性和精度都高于热电偶;金属膜片的压力传感器相对于陶瓷膜片的压力传感器更不易损坏;b)尽量考虑传感器的易用性和可维护性,比如:使用带套筒的温度传感器和在压力传感器上安装阀门,这样的设计都可以保证系统在不停机的情况下对传感器进行更换、维修、定期检定;c)设置传感器的冗余,比如对于采集关键参数的传感器进行备份.
比如使用三个传感器同时测量同一个点的温度,然后通过"三取平均"、"三取二"或者"三取中"的逻辑进行反馈.
值得注意的是,传感器的冗余设计并非只是硬件配置的冗余,同时设计到控制程序的改变,比如控制程序需要通过逻辑判断如何反馈测点的最终值,同时判断是否存在有传感器失效;d)改善程序的鲁棒性.
在没有传感器冗余配置的情况,通过优化监控系统的控制逻辑来避免误操作的发生也是可行并且推荐的.
e)对关键设备设置故障报警,对传感器数据所控制的关键设备运行策略设置安全阈值.
C.
4控制控制系统不仅需要考虑控制逻辑的可行性,同时需要考虑控制系统在执行过程中是否会因为执行机构的动作产生其他的系统危害.
比如:冷却设备可能因为超调产生设备过热保护或者设备过冷结露等热危害;水泵频率或阀门开度调节过快引起压力波动或水锤产生.
设计过程中,对控制系统的参数(比如调节死区、调节速率、PID等)进行充分的计算或者一维的仿真预测是有必要的T/CIEXXX—202017DD附录D(资料性附录)冷却液选择及使用要求D.
1冷却液喷淋式直接液冷技术的冷却液直接与电子设备接触并进行热交换,冷却液的性质直接影响系统的传热效率及运行可靠性.
喷淋式直接液冷系统的冷却液应具备以下特性:a)安全性:冷却液应具备安全、无腐蚀、微毒或无毒、不易燃、不易挥发的特性;b)热力学性能:冷却液作为传热介质应具备良好的热力学性能(如:高导热率、大比热容、低粘度等);c)稳定性:冷却液在设定的运行环境下应具有良好的稳定性,正常使用寿命不小于10年;d)绝缘性:冷却液应具有一定的绝缘性且不易溶解其它导电物质,通常冷却液在实际使用的工况下击穿电压应不低于15kV/2.
5mm;e)材料兼容性:冷却液不应对电子信息设备上所使用的主要材料造成不良影响.
使用过程中,应尽量避免选择可能因皮肤接触而产生毒理学反应的介质,同时需考虑到冷却液的环保特性能够符合当地的法律法规.
D.
2冷却液要求冷却液应满足以下要求:a)安全性要求喷淋式直接液冷系统使用的冷却液要求闪点(闭口)≥120℃或无闪点,闪点(开口)≥150℃或无闪点,闪点测试标准分别按GB/T261和GB/T267执行.
冷却液应具备化学品安全技术说明书(MSDS).
按照GB30000系列国家标准分类,冷却液所含物质应属于非危险物质(无物理化学危险,无健康危害,无环境危害).
冷却液应不含环境保护标准和废弃排放及降解管控标准等政策标准限制使用的物质,且应按国家相关规定对废弃物和排放物进行管理.
b)稳定性要求1)冷却液应具有良好的化学稳定性且无反应性危害;2)冷却液在设计的最高工作温度下应有良好的热稳定性,允许有极少量的挥发,但不允许发生分解反应.
最高工作温度可以认为是使用过程中,液体被加热后的主流体平均温度;3)为减少冷却液在使用过程中的蒸发损失,冷却液宜具有较高的常压沸点,或是在工作温度下具有较低的饱和蒸汽压.
宜选择沸点≥110℃的物质作为非相变液冷系统的冷却液.
c)绝缘性要求电子信息设备为用电设备,与设备直接接触的冷却液必须具备一定的绝缘性,具体指标要求及测试标准应符合表D.
1规定.
T/CIEXXX—202018表D.
1冷却液测试指标项目指标测试标准体积电阻率Ω·cm≥5*109GB/T5654介质损耗因素<4%相对介电常数<3闪点(开口)℃≥180水含量ppm≤50酸度mgKOH/g≤0.
03液体中的水含量对其绝缘性及系统安全性有较大影响,要求冷却液的水含量≤50ppm,水含量测试标准按GB/T11133执行.
系统中所设置空气滤清器具有吸湿功能,能保证冷却液水含量达到要求.
d)信号传输要求冷却液不应对电子信息设备上的信号传输产生不良影响,具体信号主要包括电子信息设备中主板、扩展卡、硬盘、电源等部件中的电信号,尤其是高速差分信号:USB3.
0/USB2.
0信号、PCIE3.
0信号、DDR4信号、SAS3.
0信号、万兆/千兆以太网信号和10GSFP+电信号等.
e)材料兼容性要求冷却液不应对电子信息设备上所使用的主要材料造成不良影响.
对于电子信息设备上的常见金属、塑胶、橡胶、涂料、绝缘材料等,冷却液需提供相应的材料兼容性测试/评估数据.
D.
3冷却液的贮藏与使用冷却液的贮藏与使用应满足以下要求:a)冷却液的贮藏与使用应遵循对应的化学品安全说明书MSDS的指导;b)冷却液储存与使用应在有足够通风的条件下进行.
液冷机房内应定期检测空气质量,除了检测空气中的粒子浓度外,还要其检测冷却液蒸气及其可能的分解产物的浓度,其浓度应控制在该类物质的职业接触限值以内;c)冷却液质量指标应取样定期检测,冷却液首次注入系统,系统完成调试后应在3个月内进行首次检测,在用冷却液过程中至少每年取样检测1次.
主要检测指标包括:外观、运动粘度、闪点、酸值、体积电阻率、含水量、固体颗粒物含量.
D.
4冷却液的回收与废弃冷却液废弃处理应按当地法规进行,且由有资质的化学品处理机构完成.
使用过的冷却液包装物应送至许可的废弃物处理场所进行循环利用或处置.
T/CIEXXX—202019EE附录E(资料性附录)运维规定E.
1一般规定运维一般规定应满足以下要求:a)人员资质上岗人员应具备国家要求的相应资格证书.
b)个体防护在进行液冷机房运维的过程中,操作人员按职业健康防护要求,佩戴必要的个体防护器具,如手套、口罩、护目镜等.
具体操作注意事项及防护要求应遵循液冷机房运维手册相关规定.
c)技术文档完整并准确的技术文档是后期运行、维护、维修、故障诊断、优化改造的基础.
液冷机房运维值班室,应有场地基础设施的全套相关文档,包括但不限于:液冷机房的规划设计资料及竣工图纸、反映液冷机房最近一次改造后真实现状的图纸、全套设备的清单及相关操作文档和保养保修资料、液冷机房自动操作系统的逻辑图及说明文档、监控系统的点表、验收测试文档等.
d)培训对于场地基础设施运维团队员工应进行完整及严格的培训,以确保其尽快具备岗位需要之知识及能力,培训内容应包括数据中心基础设施的所有系统的工作原理、操作流程、应急预案、以及管理制度等.
e)工具与备件管理运维团队应根据资产分类清单及其分类制定最低备件库存清单并及时补充备件.
测试分析仪器仪表方面可配备进行电气性能参数测试、电池测试、接地电阻测试、绝缘性能测试、设备运行温度测试、液冷系统压力测试、噪音测试、水分测定仪、击穿电压检测仪等的仪器仪表.
仪器仪表应该定期校准.
应制定相关规定对操作工具、仪器仪表实行人员负责制或者交接班负责制等管理制度.
备件和工具应定期进行盘点.
f)冷却液处置在液冷机房建设完成交付后,投入使用前,制定相应的冷却液泄漏应急处置程序,并在程序中规定冷却液的收集、回收、废弃处理方式,严禁直接排放至下水道或环境中.
液冷机房使用过程中尽量防止冷却液溢出,轻度溢出可以使用惰性材料吸收,并用清洁剂清洁残留液体;对大量的溢出、泄漏的冷却液进行围液处理,并用泵抽回预定容器中.
废弃冷却液的处理咨询冷却液生产厂商及当地的化学品废弃物处理企业.
E.
2电子信息设备搬运电子信息设备搬运应满足以下要求:a)使用专用起重设备进行较重电子信息设备的上下架操作.
起重设备牢固、可靠、不宜颠覆.
起重设备尺寸设计合理,满足使用功能的同时,便于在有限空间内移动.
起重设备底部有刹停功能,确保在非移动状态时可完全固定;T/CIEXXX—202020b)使用专门的搬运车搬运带有冷却液的电子信息设备.
搬运车具备盛装液体的功能,避免冷却液滴落地面.
搬运车设计合理,在搬运过程中稳定、无明显震动,且不易于倾覆.
搬运车尺寸设计合理,满足使用功能的同时,便于在有限空间内移动.
搬运车底部应有刹停功能,确保在非移动状态时可完全固定.
E.
3电子信息设备清洗根据冷却液特性,选择合适清洗液进行电子信息设备清洗.
清洗后的废液收集至专门的容器内,并按规定的程序处理.
严禁直接把废液排至下水道或环境中.
E.
4液体补充液体补充应满足以下要求:a)根据运维手册,对储液箱的液面情况进行观察.
当液面低于指定刻度,或液位传感器已触发低液位告警时,根据实际情况进行液体补充作业;b)补充冷却液前,核实该液冷机柜的冷却液种类、型号,严禁混用不同种类、型号的冷却液;c)根据系统功能设计及现场情况,选择手动补液还是通过补液系统进行补液.
补液程序严格遵守操作文档.
T/CIEXXX—202021FF附录F(资料性附录)试验与验收F.
1一般规定喷淋液冷散热数据中心试验与验收应符合本规范的要求,未提及部分应符合GB50462的有关规定.
F.
2冷却液管路压力试验冷却液管路压力试验应满足以下要求:a)冷却液管路系统使用前应进行压力试验.
管路系统中量程低于试验压力的传感器或压力表,应提前拆除或隔离;b)冷却液管路的试验压力为设计压力的1.
5倍,但不应低于0.
6MPa.
试验压力稳定后,在120min内压力不得下降、外观检查无渗漏为合格.
试验介质采用干燥空气或氮气.
当进行压力试验时,应注意人身安全,无关人员不得进入试验区域;c)未提及部分应符合现行国家标准GB50242的有关规定.
F.
3液冷系统调试液冷系统调试应在液冷设备安装调试、管路工程压力试验合格后进行.
先进行液冷设备的单机调试,单机调试完毕后应根据设计指标进行系统调试;测试前应对整个系统内的液冷设备、冷却液管路进行清洁处理;测试前液冷系统应在空态条件下连续运行不小于48h;液冷系统测试应在额定热负荷下进行,主要指标为供液温度、回液温度、液体流量、供液压力、回液压力等参数.
测试值与设计值偏差不应大于5%;测试结束后应对冷却液进行第一次取样测试,主要检测指标包括:外观、运动粘度、闪点、酸值、介电常数、体积电阻率、含水量、清洁度等.
冷却液质量检测指标与标准见附录D.
F.
4综合测试与竣工验收喷淋式直接液冷数据中心的基础设施综合测试和竣工验收按照GB50462执行.
T/CIEXXX—202022GG附录G(资料性附录)喷淋液冷设备安装要求及典型案例G.
1液冷机柜液冷机柜安装应满足以下要求:a)液冷机房的机柜尺寸、机柜布置应综合考虑房间布局、系统运行、使用要求、人员操作和安全等的要求;b)液冷机柜可采用单列布置,也可采用双列式排列形式;c)主机房内设备搬运通道净宽不应小于1.
5m,每列机柜间的巡检和维修通道净宽不应小于1.
0m;d)成行排列的机柜,其长度超过12米时,两端应设有通道;通道的宽度不宜小于1.
0m;e)液冷机柜应放置于平整、清洁的地方,远离尘土及异物.
正面操作空间不宜小于1.
2mm,背面不宜小于800mm.
液冷机柜排布方式如图G.
1所示:图G.
1喷淋液冷机柜排布示意图G.
2喷淋液冷管路安装喷淋液冷管路安装应满足以下要求:a)管路系统设计应采取措施保证机柜间供液平衡,管网上各相同机柜的供液设计流量偏差应≤10%;b)应根据数据中心的等级,按本规范附录A要求进行管路设计;c)管路的保温、消声材料和粘结剂,应选用非燃烧材料或难燃B1级材料;d)应根据冷却液厂家的指引选择适配的管道材料和密封材料;e)管路系统使用前应进行吹扫清洁.
吹扫可采用压力为0.
6MPa的干燥压缩空气或氮气,以浅色布检查5min,无污染物为合格;f)管路系统使用前应进行压力试验.
试验压力高于管路系统中的传感器或压力表的工作压力,应提前拆除或隔离;T/CIEXXX—202023g)冷却水系统的试验压力,当工作压力小于等于1.
0MPa时,为1.
5倍工作压力,但最低不小于0.
6Mpa;当工作压力大于1.
0MPa时,为工作压力加0.
5MPa.
试验压力稳定后,在60min内压力不得下降、外观检查无渗漏为合格;h)冷却液系统的试验压力为设计压力的1.
5倍,但不应低于0.
6MPa.
试验压力稳定后,在120min内压力不得下降、外观检查无渗漏为合格.
试验介质采用干燥空气或氮气.
当进行压力试验时,应注意人身安全,无关人员不得进入试验区域.
G.
3喷淋液冷二次冷却环路设备二次冷却环路设备需满足以下原则:a)CDU安装位置距离液冷机柜原则上不得超过6m,建议CDU距离液冷机柜距离3m;b)CDU安装时,安装平面不应高于液冷机房内平面.
G.
4喷淋式直接液冷数据中心应用案例通用型直接液冷标准示范数据中心的平面布置图如图G.
2所示.
图G.
2平面布置图T/CIEXXX—202024通用直接液冷标准示范数据中心,是广东合一新材料研究院有限公司完成建设并投入运营的绿色数据中心.
它集成器件及液冷机房热管理、供电、IT机柜、消防、综合布线、监控、防雷接地等全部子系统,采用高效节能的喷淋冷却方式替代传统的液冷机房空调冷却,大幅度降低计算、存储、通讯设备的散热能耗,并成功将PUE值降至1.
03~1.
1,大大节省运营成本和提升器件性能.
通用直接液冷标准示范数据中心,位于厂区行政办公楼一层,总层高约3.
7m,液冷机房主面积约150m2.
主要由室内(液冷机房前室、M1机房、M2机房)及室外(液冷模块集装箱、电力模块集装箱)两大部分组成.
T/CIEXXX—202025鸣谢以下人员参与了本标准的研究制定工作,特此鸣谢(排名不分先后):GB/TXXXXX—2020中国电子学会标准喷淋式直接液冷数据中心设计规范T/CIEXXX—2020*中国电子学会编制中国电子技术标准化研究院发行电话:(010)68283461传真:(010)68285019地址:北京海淀区玉渊潭南路普惠南里13号楼邮编:100036网址:www.
cie-info.
org.
cn查询网址:www.
cesi.
cn*开本:880*12301/16印张:1字数:30千字2020年X月第一版2020年X月第一次印刷印数:400册版权专有不得翻印举报电话:(010)68285019T/CIE050—202014