元宇宙與大數(shù)據(jù),支撐大數(shù)據(jù)的基礎(chǔ)——硬件架構(gòu)(上篇)
上文提到,由超級大公司所引領(lǐng)的大數(shù)據(jù)行業(yè)的成長,并結(jié)合上述關(guān)于數(shù)據(jù)安全,數(shù)據(jù)處理等方面的需求,對應(yīng)的開源硬件聯(lián)合組織相應(yīng)出臺。也就是:ODCC/OCP/OPEN19,這三家并稱為全球三大開放計算組織,都旨在打造數(shù)據(jù)中心開放平臺,推動數(shù)據(jù)中心基礎(chǔ)設(shè)施標(biāo)準(zhǔn)化、產(chǎn)業(yè)化。
ODCC(Open Data Center Committee)開放數(shù)據(jù)中心委員會,目前ODCC的決策組成員為騰訊、阿里巴巴、百度、中國電信、中國移動、中國信通院(云大所)、京東和美團。會員單位超過100家,覆蓋數(shù)據(jù)中心行業(yè)的上下游企業(yè)。
OCP(Open Compute Project)Facebook牽頭發(fā)起了OCP社區(qū),將Facebook的一些數(shù)據(jù)中心設(shè)備設(shè)計標(biāo)準(zhǔn)公開,希望供應(yīng)商和其他的CSP加入進來,構(gòu)建一個面向CSP需求的產(chǎn)業(yè)生態(tài),從而有效地降低成本。這就是今天的OCP組織的由來。
Open19是LinkedIn推出的一項新舉措,計劃建立一個適用于任何EIA 19英寸機架的標(biāo)準(zhǔn),以允許更多的供應(yīng)商生產(chǎn)在任何機架環(huán)境下可以互操作和互換的服務(wù)器。
在各大領(lǐng)頭公司積極地部署云服務(wù),這對行業(yè)綜合發(fā)展有很多利好,其核心就是:開放計算將打破開源硬件與軟件的發(fā)展不平衡。
在硬件開源組織逐漸有“各立山頭“之勢時,對于“大數(shù)據(jù)”流量支持的切實需求,則落在了基礎(chǔ)設(shè)施的完善需求上。
全球COVID-19大流行極大地改變了各種規(guī)模的企業(yè)和組織購買和使用在線工具的方式,從視頻會議和虛擬商務(wù)活動到娛樂和遠(yuǎn)程教育。 這種變化是由云環(huán)境,特別是公共云支持的。因此,企業(yè)正快速地為其公共云基礎(chǔ)設(shè)施購買服務(wù)器、存儲和網(wǎng)絡(luò)產(chǎn)品。
根據(jù)IT研究公司IDC的數(shù)據(jù),僅在2020年第三季度,用于公共云基礎(chǔ)設(shè)施的支出就達到了133億美元,同比增長13%。 戴爾技術(shù)公司(Dell Technologies)、惠普企業(yè)(Hewlett Packard Enterprise)和浪潮(Inspur)在云基礎(chǔ)設(shè)施銷售方面領(lǐng)先市場,因為這三家公司在服務(wù)器、存儲和超融合基礎(chǔ)設(shè)施市場上處于領(lǐng)先地位。
Synergy研究集團首席分析師約翰•丁斯代爾在一份聲明中表示:“過去8個季度新增111個超大規(guī)模數(shù)據(jù)中心,其中52個將在2020年投入運營,盡管COVID-19造成了一些后勤問題。這證明了推動這些投資的數(shù)字服務(wù)的持續(xù)強勁增長,尤其是云計算、軟件即服務(wù)(SaaS)、電子商務(wù)、游戲和視頻服務(wù)。”
"除了近600個運營數(shù)據(jù)中心外,我們還有219個數(shù)據(jù)中心正處于不同的規(guī)劃或建設(shè)階段,這對數(shù)據(jù)中心硬件供應(yīng)商和批發(fā)數(shù)據(jù)中心運營商來說確實是個好消息," Synergy的Dinsdale表示。
到這里,終于引出了我們關(guān)于支持大量運營數(shù)據(jù)所需要的——數(shù)據(jù)中心。
數(shù)據(jù)中心是全球協(xié)作的特定設(shè)備網(wǎng)絡(luò),用來在internet網(wǎng)絡(luò)基礎(chǔ)設(shè)施上傳遞、加速、展示、計算、存儲數(shù)據(jù)信息。我們也可以簡單理解為一個有獨立處理數(shù)據(jù),進行運算的大型計算機機房。
與傳統(tǒng)的數(shù)據(jù)中心相比,超大規(guī)模的數(shù)據(jù)中心包含更多的IT產(chǎn)品,通常包含數(shù)萬臺服務(wù)器和硬件以及數(shù)百萬臺虛擬機。超大規(guī)模數(shù)據(jù)中心在其設(shè)計中關(guān)注基礎(chǔ)設(shè)施優(yōu)化和規(guī)模加速,以及產(chǎn)品如何供電和管理。
2019冠狀病毒病(COVID-19)全球大流行引發(fā)了2020年第三季度創(chuàng)紀(jì)錄的數(shù)據(jù)中心支出,達到370億美元,領(lǐng)頭的是AWS、谷歌和微軟。到2020年底,由AWS、微軟、谷歌等超大規(guī)模提供商運營的大型數(shù)據(jù)中心數(shù)量增加到近600個,是2015年的兩倍。亞馬遜和谷歌在過去12個月內(nèi)新建的數(shù)據(jù)中心最多,占2020年新建的超大規(guī)模數(shù)據(jù)中心總數(shù)的一半。
值得注意的是,像AWS、谷歌和微軟這樣的公司并不會自己建造每一個數(shù)據(jù)中心,他們通常會從Digital Realty和Equinix這樣的數(shù)據(jù)中心運營公司租賃容量和空間。Synergy表示,大約70%的超大規(guī)模數(shù)據(jù)中心位于從數(shù)據(jù)中心運營商租用的設(shè)施中,或由超大規(guī)模運營商的合作伙伴擁有。
就地理位置而言,美國占據(jù)了近40%的主要云和互聯(lián)網(wǎng)數(shù)據(jù)中心站點。 緊隨其后的是中國、日本、德國、英國和澳大利亞,據(jù)Synergy稱,這幾個國家的留學(xué)生總數(shù)又占到了29%。 其他正在大舉投資興建超大規(guī)模數(shù)據(jù)中心的大型科技公司包括甲骨文(Oracle)、阿里巴巴(Alibaba)和Facebook。
這里我們以Facebook為例,F(xiàn)acebook致力于打造的“元宇宙”數(shù)據(jù)中心分布在美國、歐洲和新加坡,這張地圖突出了Facebook打造的數(shù)據(jù)中心,在可再生能源、水資源管理等方面的投資部署。
在Facebook全球的數(shù)據(jù)中心基地,重點并不僅僅考慮到數(shù)據(jù)中心的架構(gòu),技術(shù)整合等等。更重要會考慮保護建造地的生態(tài),以及保證數(shù)據(jù)中心運營的能源再生。據(jù)宣稱,F(xiàn)acebook的全球數(shù)據(jù)中心均實現(xiàn)凈零碳排放,并獲得了全球公認(rèn)的可持續(xù)發(fā)展標(biāo)準(zhǔn)LEED®金牌認(rèn)證。(筆者注:LEED Gold certification,Leadership in Energy and Environmental Design,因為建筑目前產(chǎn)生了美國38%的溫室氣體。 LEED的誕生源于數(shù)十家美國建筑公司與一名建筑經(jīng)理和一名環(huán)境律師聯(lián)合起來,以抵消美國建筑的巨大碳足跡。 據(jù)可持續(xù)投資集團(Sustainable Investment Group)稱,該聯(lián)盟成立了美國綠色建筑委員會(U.S. Green Building Council),后者反過來又發(fā)明了LEED體系。 第一個LEED認(rèn)證頒發(fā)于1998年)
數(shù)據(jù)中心的建立,其實會面臨很多問題,比如超大的電力能耗,產(chǎn)生的熱能,為了保證降溫,還要設(shè)置精密空調(diào)等調(diào)節(jié)溫度,因此在資源方面,電力,水資源消耗都是巨大的。建造數(shù)據(jù)中心,需要考慮到節(jié)能減排,環(huán)保,盡量不對當(dāng)前的生態(tài)造成過大影響。
所以建立數(shù)據(jù)中心的同時,勢必要提前考量資源可回收屬性,比如在用電比例中,位于新加坡的數(shù)據(jù)中心,采用海浪發(fā)電的方式。在其多地設(shè)置的數(shù)據(jù)中心,也有大量通過Solar光能,風(fēng)能,以及水利發(fā)電等環(huán)保能源來源方式,同時,考慮到數(shù)據(jù)中心整體機房帶來的噪音,產(chǎn)熱等問題,也通過熱能回收等方式??傮w來講在節(jié)能方面不斷探索各種可行地方式。并且,為了確保數(shù)據(jù)中心用電,而在當(dāng)?shù)赝顿Y新的風(fēng)能和太陽能項目,也可為當(dāng)?shù)亟?jīng)濟做出了額外的貢獻。舉例,“元宇宙”數(shù)據(jù)中心在項目,可以為新加坡電網(wǎng)增加超過160兆瓦的新可再生能源。距今為止,在18個州和5個國家簽訂了超過60億瓦的風(fēng)能和太陽能合同。
從數(shù)據(jù)來看,截至2020年底,數(shù)據(jù)中心的全球投資組合中已簽約的風(fēng)能和太陽能項目超過590萬千瓦,在風(fēng)能和太陽能運營組合增加到超過280萬千瓦,覆蓋美國15個州以及歐洲和亞洲。 2021年,開始更加大規(guī)模擴展進行數(shù)據(jù)中心的建立,其中包括第一個太陽能+存儲項目,其中包括三個州180兆瓦的存儲能力。 這里也引出了我們在系列文章一中有提到的,為什么在“大數(shù)據(jù)”時代,為何數(shù)據(jù)這種“虛擬的存在”可以側(cè)面支撐新能源產(chǎn)業(yè)的發(fā)展。
61.6 MW Altavista Solar Project in Virginia
當(dāng)然于此同時,包含微軟,Amazon在內(nèi)的互聯(lián)網(wǎng)巨頭,也同樣在布局自己的數(shù)據(jù)中心,甚至在數(shù)據(jù)中心的建設(shè)過程中,有一些別出心裁的方案。比如微軟在2018年在蘇格蘭奧克尼群島的一片海域,放置了一臺圓柱形數(shù)據(jù)中心,內(nèi)置864 臺服務(wù)器,可以存儲 27.6PB 的數(shù)據(jù)。
這個腦洞大開的想法,可以規(guī)避陸地上的數(shù)據(jù)中心面臨著諸多挑戰(zhàn),氧氣和水汽帶來的腐蝕問題、溫度變化等。研究人員將服務(wù)器密封,并在其中充入氮氣,隔絕了氧氣、水汽,同時遠(yuǎn)離人類干擾。并且,我們之前反復(fù)談到了數(shù)據(jù)中心冷卻所需要的空調(diào),以及精密空調(diào),需要的電力成本非常高。通過海水冷卻降溫,則是一個巧思,這也是為什么放置在蘇格蘭東北部的另外一個原因,海水溫度也更偏低一些。
因此,我們目前看到部分公司已經(jīng)選擇高緯度的寒冷地區(qū)來安置機房,當(dāng)然這種也需要人工維護等成本。在這里筆者突發(fā)奇想,說不定未來我國東北部可以大力發(fā)展建設(shè)數(shù)據(jù)中心等重要產(chǎn)業(yè),結(jié)合優(yōu)秀的光照條件,配合光伏和儲能產(chǎn)業(yè)發(fā)展整套新能源基建設(shè)施,同時,東北優(yōu)質(zhì)的教育產(chǎn)生大量優(yōu)秀人才,同時可以支持超級大型數(shù)據(jù)中心的運營。
誠然,對于超級大型數(shù)據(jù)中心的憧憬還在,但是當(dāng)前大量已經(jīng)在運行的數(shù)據(jù)中心,規(guī)模和架構(gòu)還不完善。目前互聯(lián)網(wǎng)巨頭、ICP(電信與信息服務(wù)業(yè)務(wù)經(jīng)營)和企業(yè)使用DCI(Data Center Interconnect)解決方案為其數(shù)據(jù)中心提供高質(zhì)量且趨近無限帶寬的連接,同時通過自建基礎(chǔ)設(shè)施來控制成本。但是,隨著數(shù)據(jù)中心建設(shè)規(guī)模的海量增長,數(shù)據(jù)中心互聯(lián)需求倍增,如何實現(xiàn)充分利用好有限的光纖資源、獲得可靠的大容量傳輸是數(shù)據(jù)中心互聯(lián)的挑戰(zhàn)之一,我們也將在后文繼續(xù)剖析。