數(shù)據(jù)的爆發(fā)式增長對數(shù)據(jù)中心提出新要求,特別是高算力AI芯片的導(dǎo)入,進一步加速了服務(wù)器高功率密度的演進趨勢。
據(jù)中國數(shù)據(jù)中心工作組(CDCC)調(diào)研,國內(nèi)全行業(yè)數(shù)據(jù)中心,8kW功率密度以上的機柜占比由2021年的11%提升至了2022年的25%,高功率機柜占比明顯提升。而隨著AI模型訓(xùn)練、推理等應(yīng)用增加,多樣化算力協(xié)同成為常態(tài),單IT機柜主流功率密度將從6-8kW/柜提高到12-15KW/柜,超算、智算中心功率密度將提升至30kW以上。
急劇增長的機柜密度面前,散熱成為迫在眉睫的問題。特別是“雙碳”目標(biāo)下,節(jié)能減排、高質(zhì)量發(fā)展成為共識,多地明確提出加大數(shù)據(jù)中心節(jié)能改造力度。
液冷服務(wù)器,去年增速305.2%
風(fēng)冷技術(shù)是數(shù)據(jù)中心當(dāng)前最為成熟、應(yīng)用最為廣泛的冷卻方案之一,它通過冷/熱空氣通道的交替排列實現(xiàn)換熱。不過,風(fēng)冷技術(shù)存在低密度和相對較低的散熱能力的不足,對于高性能計算應(yīng)用尤為明顯。此外,風(fēng)冷技術(shù)存在容易過度冷卻、環(huán)境匹配性較弱、占用空間大等不足。隨著高功率單機柜快速普及,推動液冷變革勢在必行。
如果采用風(fēng)冷散熱,通常要把單機柜功率控制在12kW以內(nèi),以確保散熱系統(tǒng)能夠為IT設(shè)備提供合適的工作溫度。但是,隨著服務(wù)器單位功耗不斷增大,單機柜功率15kW基本成為空氣對流散熱能力的天花板,一旦超越這一數(shù)值,處于高溫狀態(tài)工作的 IT 設(shè)備將出現(xiàn)運行不穩(wěn)、加劇老化甚至頻繁宕機等后果。
與傳統(tǒng)風(fēng)冷技術(shù)相比,液冷具有降低能耗、維持系統(tǒng)性能穩(wěn)定以及支持更高功率處理器的優(yōu)勢,它通過液體代替空氣,把 CPU、內(nèi)存等發(fā)熱器件產(chǎn)生的熱量帶走,就好似給服務(wù)器局部冷卻、整體“淋浴”甚至全部“泡澡”。在冷卻效率方面,液冷比風(fēng)冷至少提高15%~20%,已經(jīng)成為進一步降低PUE的關(guān)鍵力量,近年得到了快速發(fā)展。
根據(jù)IDC、浪潮信息等編制的《2022-2023全球計算力指數(shù)評估報告》,2021年,液冷服務(wù)器出貨量在整個服務(wù)器市場占比不到1%,到2022年開始出現(xiàn)較大的增量市場,同比增速達305.2%。
在2021年之前,液冷服務(wù)器占比小、客戶群單一,主要來自國家科研項目和互聯(lián)網(wǎng)數(shù)據(jù)中心的部署。2022年開始增速顯著,越來越多的傳統(tǒng)行業(yè)用戶開始部署液冷數(shù)據(jù)中心,例如金融、電信等。IDC預(yù)測,2026年,中國液冷服務(wù)器在整體服務(wù)器出貨量占比將超過10%,成為增速最快的服務(wù)器子市場之一。
高算力需求帶來什么機會?
算力需求的快速發(fā)展是促使大多數(shù)客戶快速從風(fēng)冷技術(shù)轉(zhuǎn)向更節(jié)能的液冷技術(shù)的重要原因。因為傳統(tǒng)數(shù)據(jù)中心中無法容納新的能耗過高的設(shè)備,且耗電費用也要納入衡量體系,因此也促使更多客戶在更新數(shù)據(jù)中心整體設(shè)計時,轉(zhuǎn)向更節(jié)能、更先進的液冷方式。
“基于算力激發(fā)以及節(jié)能降耗的趨勢,我們正在朝所希望的方向加速前進。當(dāng)‘用戶需求激增→標(biāo)準(zhǔn)建立→規(guī)模效應(yīng)體現(xiàn)→整體成本自然下降’的循環(huán)形成之后,就可以加速推動產(chǎn)業(yè)從存量的數(shù)據(jù)中心轉(zhuǎn)向新型節(jié)能的數(shù)據(jù)中心?!币晃粯I(yè)界人士表示。
顯然,ChatGPT為代表的生成式AI應(yīng)用帶來了這一契機?!笆袌鰧τ诜?wù)器的需求量爆發(fā)式增長,得益于此,購買成本、運維成本上,以及伴隨算力提升的能耗問題,需要找到一個平衡點。隨著后續(xù)的運維優(yōu)化,整體算力提升帶來的綜合價值將會非??捎^。”他表示,“ChatGPT實際上加速了整個產(chǎn)業(yè)的發(fā)展,對于新建的數(shù)據(jù)中心,大家也在更有意識地去推動節(jié)能減碳的方案?!?/p>
冷板式VS. 浸沒式,誰是未來?
在政策與需求的雙重驅(qū)動下,高效低碳的液冷技術(shù)不僅是散熱方式的改變,更有可能變革整個數(shù)據(jù)中心生態(tài)。當(dāng)前,液冷服務(wù)器形態(tài)主要分為冷板式和浸沒式,根據(jù)《2022-2023全球計算力指數(shù)評估報告》數(shù)據(jù),2022年增量市場中,冷板式服務(wù)器高達94.9%。調(diào)研顯示,TCO優(yōu)勢、液冷系統(tǒng)的多樣性是企業(yè)選擇冷板式液冷技術(shù)的主要因素,從未來增長看,冷板式液冷服務(wù)器預(yù)計將有更高增速。
不過,高增長態(tài)勢下,液冷產(chǎn)業(yè)仍面臨一些潛在挑戰(zhàn)。有業(yè)內(nèi)人士透露,數(shù)據(jù)中心冷卻液主要采用全氟碳化合物,氟碳化合物主要包含氟和碳元素,氟化冷卻劑由于具有化學(xué)惰性,接觸時不會腐蝕電子元件,使用后無需特殊清潔程序。
據(jù)了解,全氟碳化合物主要被國外壟斷,國內(nèi)的冷卻液之前主要來自3M,國內(nèi)企業(yè)處于加速追趕狀態(tài)。不過,有消息稱3M因環(huán)保原因和原材料問題,3M宣布將退出全氟烷基和多氟烷基物質(zhì)(PFAS)的生產(chǎn),并努力在 2025年底前停止在其產(chǎn)品組合中使用PFAS,預(yù)計將對全球冷卻液市場產(chǎn)生重大影響,消耗更少冷卻液或根本不用冷卻液的需求將會增加。
隨著3M宣布退出,國內(nèi)企業(yè)紛紛發(fā)力冷卻液市場,不過該人士認(rèn)為,兼容性、可靠性等還需要長期的測試。
此外,在浸沒式的環(huán)境下,特別是單相浸沒的環(huán)境下,容易達到解熱上限。但是在冷板式液冷中,例如同樣的CPU面積下,它可以解決1000瓦以上的上限,而浸沒式液冷還需要大量的工作才有望達到。
調(diào)研顯示,目前在浸沒式液冷方面,業(yè)界多為小批量嘗試,因為其初期成本較高。國內(nèi)最早采用浸沒式液冷的是兩個大體量的互聯(lián)網(wǎng)公司,部署規(guī)模在全國數(shù)一數(shù)二。由于他們有自建數(shù)據(jù)中心的能力,可以完全從整個數(shù)據(jù)中心的建筑物、規(guī)劃、液體的流向等維度去做不同的設(shè)計,所以有能力在整個建筑中導(dǎo)入新設(shè)計。
但是對于大多數(shù)行業(yè)用戶來說,他們很少需要蓋一棟樓做數(shù)據(jù)中心,通常也就是百臺、千臺的需求。在這樣的情況下,能夠?qū)氲姆桨妇捅容^局限,這樣的話,冷板技術(shù)就相對容易導(dǎo)入。
冷板技術(shù)目前較為成熟,不過缺乏規(guī)范的驗證標(biāo)準(zhǔn),使得系統(tǒng)設(shè)計、驗證成本較高,導(dǎo)致方案整體價格較高。隨著冷板標(biāo)準(zhǔn)走向統(tǒng)一,產(chǎn)量提升有望繼續(xù)帶來成本下降。至于具體采用冷板式還是浸沒式液冷,還需要對PUE和成本需求平衡之后進行決策。
液冷大規(guī)模商用面臨哪些挑戰(zhàn)?
液冷本身不是新技術(shù),如何把它產(chǎn)業(yè)化是當(dāng)前發(fā)展的關(guān)鍵。在大規(guī)模商用普及方面,液冷面臨哪些挑戰(zhàn)?
浪潮方面表示,主要有三大問題亟待解決:一是缺乏技術(shù)行業(yè)標(biāo)準(zhǔn)、規(guī)范等的指引,產(chǎn)業(yè)協(xié)同度不高,難以標(biāo)準(zhǔn)化適配和部署;二是由于缺乏長周期、大規(guī)模部署驗證,液冷數(shù)據(jù)中心的可靠性問題存在一定爭議,用戶有使用疑慮;三是產(chǎn)業(yè)鏈協(xié)同性差,缺乏具備高度整合能力的鏈主企業(yè),資源配置效率低、浪費大,產(chǎn)業(yè)發(fā)展速度受阻。
首批數(shù)據(jù)中心液冷系列行業(yè)標(biāo)準(zhǔn)已于2022年4月1日起正式實施,不過,該標(biāo)準(zhǔn)僅涵蓋浸沒式、冷板式等主要液冷方式的技術(shù)要求和測試方法,以及液冷能源使用效率要求和測試方法、冷卻液體技術(shù)要求和測試方法等內(nèi)容。
事實上,液冷技術(shù)非常復(fù)雜,涉及液冷數(shù)據(jù)中心系統(tǒng)架構(gòu)層、液冷部件及接口層、液冷基礎(chǔ)設(shè)施層(液冷機柜組件、換熱設(shè)備、室外集成冷源等)、液冷監(jiān)控系統(tǒng)層等多方面,產(chǎn)業(yè)鏈上的各個企業(yè)技術(shù)路徑多種多樣、產(chǎn)品規(guī)格千差萬別,導(dǎo)致液冷進行標(biāo)準(zhǔn)化適配和部署的難度很大,因此,液冷標(biāo)準(zhǔn)、規(guī)范等亟待完善。
其次,缺乏長周期、規(guī)?;渴痱炞C,可靠性存在爭議。液冷技術(shù)誕生于上世紀(jì)80年代,但一直處于小規(guī)模部署階段,主要是對散熱要求更嚴(yán)苛的高性能計算用戶采用。并且,冷板式液冷存在漏液隱患,未使用絕緣冷卻液的情況下,可能引發(fā)嚴(yán)重的生產(chǎn)停運事故。而浸沒式液冷技術(shù),由于缺乏長周期的冷卻系統(tǒng)使用效果驗證,因此技術(shù)可靠性依然存在一定爭議。
第三,產(chǎn)業(yè)鏈協(xié)同性差,缺乏具備高度整合能力的鏈主企業(yè)。由于液冷產(chǎn)業(yè)發(fā)展處于起步階段、產(chǎn)業(yè)分工尚未明確,導(dǎo)致整個產(chǎn)業(yè)鏈的協(xié)同性不強,眾多鏈條企業(yè)更多依靠“作坊式生產(chǎn)”的方式來完成產(chǎn)品及服務(wù)交付,產(chǎn)業(yè)鏈缺乏具備高度資源整合能力的鏈主企業(yè),從而導(dǎo)致資源配置效率不高、浪費嚴(yán)重。
寫在最后
大數(shù)據(jù)量、大算力需求下,數(shù)據(jù)中心因高耗能所帶來的碳排放的問題,使得“綠色數(shù)據(jù)中心”近年來得到了普遍關(guān)注,盡管液冷產(chǎn)業(yè)還有一定成長空間,但擁抱液冷已經(jīng)成為數(shù)據(jù)中心的確定性趨勢。
不過,正如相關(guān)企業(yè)所說,液冷是一項“很新的老技術(shù)”,一些用戶對其安全性、便捷性等方面,仍存有疑慮。只有繼續(xù)推動技術(shù)創(chuàng)新和產(chǎn)業(yè)化發(fā)展,才能真正實現(xiàn)液冷技術(shù)更可靠、更便捷、更高效。