692
元宇宙與大數(shù)據(jù)，支撐大數(shù)據(jù)的基礎——硬件架構（上篇）
元宇宙與大數(shù)據(jù)，支撐大數(shù)據(jù)的基礎——硬件架構（中篇）
前篇提到，對于超級大型數(shù)據(jù)中心技術發(fā)展勢在必行，但是當前大量已經在運行的數(shù)據(jù)中心，規(guī)模和架構還不完善。目前互聯(lián)網巨頭、ICP（電信與信息服務業(yè)務經營）和企業(yè)使用DCI（Data Center Interconnect）解決方案為其數(shù)據(jù)中心提供高質量且趨近無限帶寬的連接，同時通過自建基礎設施來控制成本。隨著數(shù)據(jù)中心建設規(guī)模的海量增長，數(shù)據(jù)中心互聯(lián)需求倍增，如何實現(xiàn)充分利用好有限的光纖資源、獲得可靠的大容量傳輸是數(shù)據(jù)中心互聯(lián)的挑戰(zhàn)之一。
因光模擬信號的業(yè)務發(fā)放及維護模式不同于普通的數(shù)字網絡，因此隨著數(shù)據(jù)量的不斷增大帶來的設備量激增，快速開通業(yè)務、快速精準排障成為數(shù)據(jù)中心互聯(lián)的新挑戰(zhàn)。
因此，在構建DCI解決方案時，不僅需要考慮連接帶寬的需求，還需要考慮運維簡化、智能和安全等方面的需求。比如類似于DDC-distributed disaggregated chassis，將大機框分解，采用盒式交換機搭建大轉發(fā)能力 DCI 角色設備。當前的很多ICP已經在開始布局相關產業(yè)，比如2019 年 AT&T 提交 DDC 白盒架構設計到 OCP， 2020 年 AT&T 在 IP 骨干網部署 Drive nets DDC 設備。
這里可以引申出一些關于數(shù)據(jù)中心硬件架構的介紹，比如，葉脊架構（Spine-Leaf）。這個最早是由Facebook提出的，其本質就是為了適應目前正在布局和建設的全球超大型數(shù)據(jù)中心，對比傳統(tǒng)的網絡架構，數(shù)據(jù)吞吐量能力更強（筆者注，這點在智能控制類PCBA的EE可靠性測試中也為必要項）。葉脊架構可以劃分為機柜層、Leaf 層和 Spine 層，對應的設備分別為，機柜層（服務器、ToR 交換機、光模塊）；Leaf 層（Leaf 交換機、光模塊）；Spine 層：（Spine交換機、光模塊）。
葉脊架構主要以 Server 到 Server 之間互聯(lián)流量為主，為了實現(xiàn)內部互聯(lián)，如機柜間互聯(lián)以及 Leaf-Spine 互聯(lián)的短距高速高模塊需求大幅增加。而 Server 到 Spine 交換機流量壓力得到很大緩解，數(shù)據(jù)中心設計往往向上也呈現(xiàn)一定的收斂比。與此同時，交換機也伴隨升級：端口數(shù)量越來越多，芯片轉發(fā)速率越來越高。國內的阿里騰訊，也采用類似的架構方式。
更具體的，大概就是數(shù)據(jù)中心的部署，也即是服務器的部署，交換機可以部署在機柜的頂部，中部，或者底部，通常在頂部利于走線，這種應用較多，因此也稱之為ToR（Top of Rack）交換機。
Leaf層，更多起到承上啟下的作用，主要由Leaf交換機構成。通過ToR 交換機與 Leaf交換機對應劃分出的結構也被稱為 Server Pods。數(shù)據(jù)中心在部署時根據(jù)需求，劃分為 N 個 Server Pods。N 的數(shù)量少則幾十，多則幾百。邊緣的 Pod 又被稱為 Edge 平面，負責出口流量，實現(xiàn)數(shù)據(jù)中心之間的互聯(lián)。
Spine層：Spine 層是整個數(shù)據(jù)中心拓撲網絡的頂層。
總體來講，數(shù)據(jù)中心架構主要目標是服務于數(shù)據(jù)中心運營支持，既有利于增加單個數(shù)據(jù)中心的服務器容量，也有利于服務器網絡的彼此互聯(lián)。
除了在數(shù)據(jù)中心架構的搭建，對應的基礎支持，也需要有相應的進步，目前最重要的兩塊，就是散熱和供電。
首先來看散熱，我們知道，在數(shù)據(jù)中心機房，為了應對散熱的問題，目前總體還是通過風冷解決。首先在配置的服務器和交換機整機模塊上，就帶有風扇，同時，在機房中還會額外設置空調，以及精密空調去專門調節(jié)溫度，使得服務器的工作環(huán)境保持在合適范圍。但是，這同樣帶來耗電問題，成本壓力，甚至整機可靠性問題，同時還帶有額外的噪音。那么是否有方案改善相關問題呢。我們不妨思考一下上文提到的海底服務器方案，這種腦洞大開的方式是否有更適合當下基建能力的方案呢。
其實，全球各大企業(yè)在液冷領域紛紛展開嘗試，比如阿里云2016 年首次推出浸沒液冷系統(tǒng)，2018 年 6 月位于河北省張家口市建成了全球互聯(lián)網行業(yè)第一個浸沒液冷生產集群，總規(guī)模共計約 2 千多臺液冷服務器，包括通用計算型、SSD/HDD 存儲型液冷服務器。在實際的案例中，或許對比國外互聯(lián)網公司，阿里已經通過一些實際場景驗證過，比如阿里巴巴電商 2018 到 2020 的雙十一活動，張家口的數(shù)據(jù)中心就很好的支持了當時的超大流量。
同時，刨除腦洞大開的海底服務器想法，或許當前的產品趨勢方面，浸沒液冷服務器或許將成為下一個產品形態(tài)趨勢。ODCC發(fā)表的《浸沒液冷服務器可靠性白皮書》中也有專門提到過：通過分析可知，液冷服務器具有較低的失效率，整體液冷服務器對比風冷服務器部件故障率下降約 53%，整體服務器可靠性符合預期。（來源：“開放數(shù)據(jù)中心委員會”。）
我們在上文中也討論過過，散熱是數(shù)據(jù)中心面臨的一大問題，那么供電中，根據(jù)能量守恒，本來就會有部分熱能散出，那么至少我們可以思考如何減少這部分熱能的損耗。在電力分配中，產生的熱能(焦耳)與 電流x電阻，通常指功率損耗，單位為瓦(瓦=焦耳/秒)。For DC, PLOSS = I2 x R – For AC, PAVE = IRMS 2 x R
對于相同的功率(P = V x I)，保持電壓高(所以電流低)，更有機會減少損耗。誠然，這是從整體架構減少能源損失，相應地，也可以減少冷卻需要面臨的挑戰(zhàn)。
所以不只在數(shù)據(jù)中心應用，在Micro-grids以及Aircraft等領域應用，HVDC也同步發(fā)展。更通用的電壓級別。
然而，數(shù)據(jù)中心的快速增長也帶來了能源消耗問題。比如，對芯片性能的設計需求，導致散熱方面增加。一般CPU(中央處理器)TDP(熱設計功率)也逐漸增加，從100W左右增加到400W左右，甚至用于人工智能(AI)訓練的圖形處理器(GPU) ing的功率最高可達2.6kW，這些，在當前的部分超大型服務器架構中，已經非常普遍，隨著處理信息，以及計算量增大，特別是，如果著眼于元宇宙所描述的應用場景，通過VR，AR等終端設備進行社交互聯(lián)，游戲，辦公，會議等豐富場景，在未來，AI訓練GPU功率有望達到10kW。畢竟在處理AI深度學習計算時，GPU比CPU更強大，隨著計算應用變得更加復雜，GPU將變得更加流行。或者保守一點說，芯片架構可能會做更多層面的整合。
數(shù)據(jù)中心的內部冷卻系統(tǒng)每年消耗大量的電力，大大增加了運行和維護成本，因此，如何提高數(shù)據(jù)中心的散熱效率，提高數(shù)據(jù)中心的可持續(xù)性已成為社會普遍關注的焦點，其中最有效的一種就是液體冷卻。首先比熱容層面，液體作為傳熱介質具有天然優(yōu)勢，到熱效率更高，也可以避免服務器室內局部熱點等問題，對于整體環(huán)境空氣循環(huán)的控制要求降低了。也就是說，既可以更迅速散熱，也節(jié)省額外的降溫設備，比如風扇配件，精密空調等。綜上，液冷系統(tǒng)可以顯著降低數(shù)據(jù)中心以上的所有能源消耗和PUE(Power Usage Efficiency電力使用效率)。 此外，由于液冷系統(tǒng)的泵和其他儀器要比風扇安靜，液冷系統(tǒng)的噪音要比風冷系統(tǒng)低得多，因此可以創(chuàng)建“安靜的數(shù)據(jù)中心”。
圖片來源：Picture from PSMA HVDC
所以首先，為了應對散熱問題，從服務器形態(tài)來看，整機服務器，交換機等產品形態(tài)有所升級改變。那么，除了產品形態(tài)本身的調整，還有哪些部分做出了變化了呢，其中一塊就是——供電模式。
在供電方面，電力系統(tǒng)網絡分為三個部分; 發(fā)電、輸電和配電。輸電系統(tǒng)用于將發(fā)電系統(tǒng)與負荷連接起來。采用高壓輸電，減少輸電損耗。分為HVAC和HVDC兩種；電源以交流電源的形式產生，大部分負載被設計成運行在交流電源上。因此，在傳統(tǒng)的傳輸系統(tǒng)中，電力是通過HVAC傳輸線傳輸?shù)?，但也有一些缺點，實際上目前越來越多應用開始像HVDC方向發(fā)展。
當然，我們知道很多高功率架構應用會有相似之，實際上電源行業(yè)，關于UPS與HVDC何者才是下一趨勢方面，是由一定爭議的。在具體的應用方面，大家看法會有不同。當然，筆者在很多報道中，都看到大家會把一些概念混淆，或者嚴格區(qū)分UPS和HVDC，導致有些新聞看起來一頭霧水，一會兒說HVDC要全面替代UPS啦，一會兒又說HVDC是UPS的關鍵，究其原因，或許和翻譯，以及表述有關。不間斷電源系統(tǒng)(uninterruptable power System, UPS)和高壓直流(high voltage Direct current, HVDC)，前者表述一整個供電系統(tǒng)，后者是一種供電架構。
實際上，我們如果從供電系統(tǒng)角度來解讀，UPS不間斷電源供電系統(tǒng)是由UPS蓄電池提供不間斷電源，經過直流交流直接的變換，主要由UPS主機，蓄電池，電池箱等組成。高壓直流HVDC供電系統(tǒng)，是由交流配電單元，整流單元，直流配電單元等組成，主要為通信設備供電。
所以，我們只能理解為，傳統(tǒng)UPS的主流方案，是更多一HVAC（High voltage alternating current）方案為主流，但是作為當前的UPS系統(tǒng)，總體方案更加傾向于HVDC高壓直流方案了。其實從方案架構上，我們知道，能源方案領域，服務器電源與通信電源在功率級別以及方案架構上有一定相似性，而前兩年通訊電源市場發(fā)展速度較快，特別是基站建設速度斐然。當然，目前基站設備供電主要采用-48V DC遠距方案，而隨著5G時代的到來，因為5G的MIMO方式，總體基站數(shù)量增加電池的集中部署導致AAU與機房的空間距離進一步增大，有望推動HVDC直流遠距方案和DPS分布式供電方案的出現(xiàn)。與傳統(tǒng)UPS方案相比，升級到HVDC具有更高的運行效率、更少的占地面積、更低的投資和運行成本， 2018年下半年以來，高壓直流產業(yè)化、市場化的制約因素逐步消除，市場需求進一步開放，行業(yè)進入加速增長期。在高壓直流輸電系統(tǒng)的配電裝置中，如空氣開關、繼電器等都需要在高壓直流下工作，選型要求高，成本高，且高壓直流輸電存在一定的安全風險。 不間斷電源UPS系統(tǒng)的供電效率得到了很大的提高，可靠性和可維護性得到了加強，當前部分品牌整機效率達到95%以上。
綜合以上，我們可以看到在數(shù)據(jù)中心基礎設施建設方面，溫度控制，與供電方案都非常重要，并且二者在設計中有相互交叉的領域，可以說在整體解決方案中，良好的熱能回收，溫度控制，結合效率更高的整體供電方案，將是打造大型數(shù)據(jù)中心建設的關鍵。也由此，大數(shù)據(jù)行業(yè)的成長，不僅僅在我們理解的“飄在云端“的軟件架構，與數(shù)據(jù)管理層面，更潛移默化帶動基礎設施建設，能源管理，電路規(guī)劃等方面的技術成長，并積極帶動很多相關企業(yè)的發(fā)展。
同時，“大數(shù)據(jù)“發(fā)展，也像是通訊基站發(fā)展一樣，影響到我們更多與新能源相關的產業(yè)發(fā)展。我們知道數(shù)據(jù)中心亦或是通訊基站耗電量巨大，所以我們已經基本介紹過，數(shù)據(jù)中心在總體設計方案上，如果優(yōu)化軟件架構，硬件開源，合理配置供電模式等操作，同時，好消息是，全球太陽能發(fā)電量將從2015年的3.91億瓦增加到2020年的6億瓦，并且再成本方面也有優(yōu)勢，到2020年，全球太陽能價格將與火電價格持平?；A設施耗電量的增加，傳統(tǒng)的備用電力策略也需要進行改革。
此外，我們知道UPS 電源或者直流開關電源連接著電池，用于能量儲存，保證系統(tǒng)運行的穩(wěn)定性。傳統(tǒng)的鉛酸電池密度低，體積大，重量大。有些地點可能難以容納鉛酸蓄電池的巨大重量和尺寸。鋰電池已經發(fā)展了大約20年。隨著電動汽車特別是近年來的快速應用，鋰電池的成本迅速下降。 預計2021年的資本支出(CAPEX)將與鉛酸電池持平，鋰電池具有周期長、速率高、體積小、重量輕等特點，成為能源領域替代鉛酸電池的最佳選擇。
綜上，我們從“元宇宙”令人困惑的概念生發(fā)出來，理解大數(shù)據(jù)，進一步了解了，大數(shù)據(jù)發(fā)展是從何推動實業(yè)發(fā)展的。從“硬件開源”的美好愿景，到超級大型數(shù)據(jù)中心的新型產業(yè)模式，以及對應推動其他領域技術的共同進步。比如，大型數(shù)據(jù)中心，通信設備的建立，同時也推動了光伏與儲能等新能源領域產業(yè)的發(fā)展。綜上，從基礎設施，硬件發(fā)展的角度，我們或許可以對“元宇宙“有更強信心，并抓住機遇，發(fā)展與之相關的領域，推動技術變革。
