随着网络安全、金融监管、大数据、光通信技术、云服务、物联网的蓬勃发展，需要大量的数据中心作为支撑。截至2017年底，全球IDC行业市场规模达到721亿美元，根据中国IDC圈有关预测，国内近3年来IDC市场增速将稳定在35%以上，到2018年中国IDC 市场规模将达1 400亿元，增速将接近39.6%。数据中心是能耗大户，美国环境保护署的报告显示，2011年数据中心能源消耗占到了美国电网总量的2%，并且还将呈现每5年翻一番态势。据统计，2012我国数据中心能耗高达664.5亿千万时，占当年全国工业用电量的1.8%；而2015年我国数据中心能耗高达1 000亿千万时，相当于整个三峡水电站一年的发电量。ICT Research预计到2020年，中国数据中心保有量将超过8万个，年耗电量将超过400亿千瓦时。所以，提高数据中心的用电效率（PUE）对于节能减排将大有裨益。而在数据中心的用电中，空调制冷作为数据中心的第二能耗大户，提高空调制冷效率降低其能耗无论是对新建数据中心还是既有数据中心都势在必行。数据中心另一个发展趋势是服务器的发热密度越来越高，业界对如何有效快速地驱散高热密度服务器热量的探索也从未止步，高密度服务器散热的技术发展经过强制定点送风、通道封闭、行级空调、水冷背板等历程。随着芯片冷板及冷却液强化换热的技术发展完善，芯片液冷成为业界新一轮的热点。
1 液冷
传统的芯片冷却技术——风扇加热沉是目前芯片冷却使用得最普遍的形式。风扇散热器的结构简单，使用方便，因而受到了广大用户的青睐。随着电子元器件发热功率的迅速增长，风扇散热器也随之进行了改进，常规的方法是提高风扇的转速和增大翅片的尺寸。但是这两种方法都不能无限增加风扇散热器的散热能力，风冷技术已不能满足芯片日益增长的散热要求。液冷技术应运而生。液冷是指通过液体来替代空气，把CPU、内存条、芯片组、扩展卡等器件在运行时所产生的热量带走。根据目前技术研究的进程，将液冷分类为了水冷和其他介质冷却，可用的其他介质包括、矿物油、电子氟化液等。按照冷却原理，又将液冷分为了冷板式液冷（间接式冷却）和浸没式液冷（直接式冷却）两种系统模式。
浸泡式液冷系统是由机柜和液冷机组成，机柜里采用特殊的工程液体为热传递介质。通常这类工程液体拥有几大物理特性：沸点低、与水不相容、无毒、透明、无味、绝缘、阻燃、表面张力低、粘度低。只有具有这些特性才适合作为浸泡式液冷系统的热传递介质。这种系统使用不需要风扇和散热器的新架构服务器，或者把目前风冷散热为主的服务器里所有风扇拆下来，浸没在工程液体里，服务器里面所有硬件直接跟工程液体接触，吸热后达到液体饱和温度（40 ℃～60 ℃）自动蒸发，利用液体汽化潜热将热量带出，通过液冷机循环系统将气体冷凝变回液体，实现自循环将热量散发。这样的机房环境温度基本上不需要机械制冷散热系统，可大幅度降低机房耗电量。
冷板式液冷通用的方法是采用泵驱动冷却液流过芯片背部的通道，冷却液在通道内通过板壁与芯片进行热交换，带走芯片上的热量。含有热量的冷却液通过散热器把热量散失到外界环境中。冷板式液冷通常分为槽道冷却、微槽道冷却、液体喷射冷却等。目前稳定性及可靠性较高的运用是槽道冷却及微槽道冷却，由于槽道冷却的冷板面积通常较大，无法大面积使用在数据中心的服务器中；而微槽道冷却在分流技术及换热效率上取得了长足的进步，在数据中心中的运用越来越广泛。
2 二次侧集中循环直接接触冷板式液冷系统简述
二次侧集中循环直接接触冷板式液冷系统由室内侧设备及室外侧设备组成。室外侧设备主要包括室外散热设备及一次侧循环泵，室外散热设备通常是干冷器及闭式冷却塔。而室内侧设备主要由换热模块（含二次侧集中循环泵）、分歧管模块及芯片散热冷板。由于二次侧循环采用安装在换热模块中的冷却液泵集中驱动，从而取消了安装在液冷板上的单个微型泵，故称二次侧集中循环直接接触冷板式液冷系统。其系统架构图及系统原理示意图分别如图1及图2所示。
换热模块最基本的功能是实现一次侧及二次侧的换热，同时实现冷却液温度的精准控制，机架式换热模块的基本结构如图3所示。主要由板式换热器、电动比例阀、二次侧循环泵、膨胀罐、安全阀、进出水管专用接头、控制器及其面板等组成。二次侧循环泵配置双泵增加系统冗余性，采用一次侧三通流量调节阀精确控制板式换热器的换热量以适应不断变化的末端服务器的散热需求。依据散热量的差异，高度上可以有多种规格。
为了实现良好的散热性能，芯片散热冷板通常采用铜板，采用微通道架构实现独特的分流设计来降低压降，增大冷却液流量，确保低温的冷却液首先冷却芯片最热区域。冷板可以集成到非常紧凑的刀片架构，如规格为15.6 mm高的冷板就非常合适高密度的服务器，其独特的结构设计最大可实现每英寸含130个散热翅片。为了满足不同芯片的散热要求，也可以依照芯片差异如CPU、专用集成电路、RAM、图形处理器、芯片组、加速器卡及硬盘驱动器等定制不同的散热冷板。作为散热冷板本身无任何运动部件，可靠性极高。
分歧管分配经过热交换模块冷却的冷却液均匀有序地进入芯片散热冷板，防止不同路径的芯片散热冷板出现欠流或者过流情况。分歧管通常由不锈钢本体及干断快速接头组成，分歧管强度高，可靠性好，做到100%无滴漏。干断快速接头内置双切断阀，金属接口确保长期稳定可靠运行。而芯片散热板与分歧管通常通过内径为6mm的氯化丁基橡胶（CIIR）管或者氟化乙丙烯（FEP）管连接。
3 二次侧集中循环直接接触冷板液冷系统的设计分析
由于采用直接接触冷板式液冷服务器的散热方式存在差异，而且在负荷选取的就存在明显差异，所以系统的设计流程也不尽一致。其设计流程如图4所示。
其他电子散热指的是服务器中除了芯片集中散热以外的其他电子元器件的散热，通常需要考虑服务器15%~30%左右的整体散热量。在选择换热模块时应考虑进水温度对于换热模块换热能力的影响，依据室外散热设备的设计出水温度对换热模块的换热量进行修正，通常换热模块的换热量是一次侧循环液进口温度在30 ℃，额定流量下的标称能力，应依据不同一次侧进口温度及一次侧流量对换热量的进行修正。如图5所示是典型换热模块的冷量曲线图。
另外，冷板在不同的二次侧冷却液流量下其冷却能力也会发生变化，图6是典型冷板的热阻与流量之间性能曲线。在设计过程中需要考虑散热能力修正。
液冷系统的冷却介质为水溶液，防止水患对于保证数据中心的安全生产十分重要。该系统主要从如下3方面来防范泄漏带来的危害：首先是管路材料的选择，二次侧部分的中间连接管路应采用氯化丁基橡胶（CIIR）管或者氟化乙丙烯（FEP）管连接，而管路之间连接接头均应采用内置双切断阀的快速干断接头防止接头漏水，一次侧管路宜采用无缝钢管保证足够耐压强度；其次，选择合适的管路安装位置，为了防止一次侧水系统的单点故障，主管路通常是环状设计，可将主管路沿机房墙边布置，且安装在配有应急地漏的专用套槽内防止管路泄露水直接喷射至服务器区域，每路一次侧支管上均安装电磁阀可实现快速手动及电动切断；最后，在服务器机柜底部及主管管路套槽内加装漏水报警，漏水报警除发出声光报警外，服务器机柜底部的漏水报警信号既用于切断其对应的换热模块中二次侧水泵的运行同时用于关闭对应一次侧支管的电磁阀，而套槽内加装的漏水报警则与机房内主管电磁阀联动。
我国气候差异大，若项目所在地冬季最低室外温度低于0 ℃则应在循环液中添加乙二醇抗冻剂防止室外管路冻裂。乙二醇本身对普通金属的腐蚀性比水低，但使用过程中被氧化成弱酸性，有弱腐蚀性，故管道不能用镀锌材料；同时无论是闭式冷却塔还是干冷器都是通过铜管管壁进行换热，质量浓度为20%以下的乙二醇溶液对铜管具有较强的腐蚀性，所以应按照项目当地室外温度选择对应质量浓度的乙二醇溶液，但不宜低于20%。另外在计算乙二醇溶液循环泵的流量与扬程时应在常规算法的基础上依据浓度的不同乘上对应的修正系数。
4 二次侧集中循环直接接触冷板式液冷系统工程应用的节能分析
由于液冷冷板直接接触发热芯片吸热，而芯片的耐热温度高达65 ℃，所以液冷系统适用的温度非常高，按照美国供热、制冷及空调工程师学会（ASHARE）2011年发布的液冷白皮书的分类推荐，换热模块的进口温度甚至可以高达45 ℃。正因如此，该系统就可以直接使用室外干冷器或闭式冷却塔散热，而不需要任何机械制冷来散热。由于不需要任何机械制冷，可以完全使用自然冷却，该系统的耗电设备仅有室外干冷器（或闭式冷却塔）、一次侧循环泵及二次侧循环泵，系统的耗电功率将大大降低。
现以上海某数据机房为例作该液冷系统节能分析，该机房为典型的高密度机房，机房面积为60 m2左右，配置6个服务器机柜，每个机柜服务的发热量为11 kW，采用热通道封闭方式实现机房高效节能。按照全部服务器采用传统风冷服务器，50%机柜采用冷板液冷服务器搭配50%机柜服务器采用传统风冷服务器及全部采用冷板液冷服务器3种不同方案进行比较，所有方案的风冷散热均采用变频涡旋式压缩机风冷行间空调来实现。
根据《实用供热空调设计手册》中的上海气象参数作为设计依据，详见表1所示。
根据GB 50174—2017《数据中心设计规范》对A级机房对环境要求：冷通道或机柜进风区域的温度18 ℃～27 ℃，冷通道或机柜进风区域的相对湿度和露点温度要求露点温度为5.5 ℃～15 ℃，同时相对湿度不大于60%。依据《数据中心设计规范》给定的参考值范围，同时结合杨彦霞等的推荐参数本项目采用23 ℃的出风温度作为空调设备的选型设计依据。
设计空调系统夏季冷负荷包括数据中心内设备的散热、建筑围护结构得热、通过外窗进入的太阳辐射热、人体散热、照明装置散热、新风负荷及伴随各种散湿过程产生的潜热。经过精确计算，本机房的总制冷负荷为75 kW，其中服务器散热负荷为66 kW，其他负荷为9 kW。由于冷板冷却主要在芯片部分，但是服务器尚有其他电子元器件散热，一般占整个服务器散热的15%～30%，本文按照服务器30%的散热仍需常规风冷冷却处理。
液冷系统中按照上海的室外参数，采用干冷器作为室外散热机组，一次侧设计温度进口温度为39 ℃，换热量参照换热模块的性能曲线进行修正。
经过对比分析发现：在夏季室外设计温度点，全部采用液冷服务器方案中液冷系统可全部采用自然冷却，仅30%的散热采用风冷机械制冷，整个制冷系统的总耗电功率仅为全部采用风冷服务器方案的46%，此时机房制冷系统的pPUE值仅有1.18，系统能效非常高。具体对比参数详见表2。
以上对比基于风冷机组部分负载下EER值不变，风冷耗电功率仅作线性变化，而事实上变频压缩机风冷行间空调机组在部分负载下，其机组EER值也会提高，耗电功率也会进一步降低。以业界某款典型EC涡旋式压缩机风冷行间空调机组的性能为例，其试验室实测部分负载功率表如表3所示。机组制冷总功率就是压缩机、室内风机及室外风机功率之和，而EER值则是制冷量与机组制冷总功率的比值。图7与图8是汇总计算后典型EC涡旋式压缩机风冷行间空调部分负载下的整机耗电功率曲线及整机EER值曲线。
从上述曲线可以判断，若是配置了变频压缩机风冷空调机组的既有项目，保持之前的风冷空调机组继续运行，则机房制冷系统的pPUE值相对于新建项目将进一步降低，以本项目为例，将既有机房中的服务器全部更新为液冷服务器，保持之前变频压缩机风冷行间空调继续运行，则该机房制冷系统的pPUE可进一步降低至1.13。所以无论是新建项目还是改造项目采用冷板液冷方式都将大幅降低机房制冷功耗。
5 二次侧集中循环直接接触冷板式液冷系统性能分析
微通道热沉的概念在20世纪80年代年提出，经过几十年的发展，技术日趋成熟，拥有许多优异的性能：如散热性能优越，体积小重量轻，无噪声，性能稳定，可靠性高，寿命长及与芯片的集成性好等。本文介绍的二次侧集中循环直接接触冷板式液冷系统除了上述传统优势外，即使与其他的液冷技术相比，也是技术领先，性能可靠。表4及表5是该系统分别与浸没式液冷系统及二次侧分散循环泵直接接触冷板式液冷系统的性能对比，可以看出：该系统无论是从初投资、可靠性、维护便利性及使用寿命等方面均具有巨大优势。
6 结论与展望
二次侧集中循环直接接触冷板式液冷系统同传统风冷服务器制冷系统相比节能效果明显，在系统可靠性、维护便利性等综合性能上也优于其他液冷系统。无论是改造既有项目还是新建数据中心采用该液冷系统都将有利于打造绿色数据中心。在节能减排的大背景下，该系统的应用前景光明，将成为数据中心的新选择。
|
