英偉達(dá)和AMD，GPU之外的下一個(gè)競(jìng)爭(zhēng)高地

AMD對(duì)英偉達(dá)的攻勢(shì)終于全面展開了。如果說新發(fā)布的MI300系列就像一把利刃插在英偉達(dá)的AI帝國(guó)版圖上，那么接下來的這一步，才是AMD想要合縱連橫、攻城掠地的開始。

近日舉辦的“AMD Advancing AI”發(fā)布會(huì)上，AMD 發(fā)布了最新一代AI產(chǎn)品MI 300X與MI 300A，分別鎖定生成式AI和HPC/AI數(shù)據(jù)中心。除了尖端的算力，更大規(guī)模AI所必不可少的跨服務(wù)器加速卡互聯(lián)方面，AMD CEO Lisa Su指出，“Ethernet is the answer”，表示將擁抱以太網(wǎng)，并聯(lián)合Open Ethernet生態(tài)系統(tǒng)共同支持生成式AI。

而就在今年6月的Computex上，英偉達(dá)創(chuàng)始人兼CEO黃仁勛發(fā)布了全球首個(gè)AI構(gòu)建的Spectrum-X以太網(wǎng)架構(gòu)，通過Spectrum-4以太網(wǎng)交換機(jī)和BlueField-3 DPU的緊密耦合，提升了以太網(wǎng)的AI性能和能效。

不約而同的布局顯示，隨著生成式AI帶來的計(jì)算規(guī)模的擴(kuò)大和分布式計(jì)算趨勢(shì)，AMD挑戰(zhàn)英偉達(dá)市場(chǎng)地位的方式，除了GPU這個(gè)主戰(zhàn)場(chǎng)，在以太網(wǎng)領(lǐng)域的競(jìng)爭(zhēng)也將全面開啟。

網(wǎng)絡(luò)成為生成式AI算力瓶頸，改造勢(shì)在必行

生成式AI給數(shù)據(jù)中心帶來了新挑戰(zhàn)，包括整體計(jì)算架構(gòu)、網(wǎng)絡(luò)通信平臺(tái)以及相應(yīng)的系統(tǒng)軟件等，都需要進(jìn)行全新設(shè)計(jì)。

這是因?yàn)?，面?duì)生成式AI激增的數(shù)據(jù)量，數(shù)據(jù)中心越來越需要整體運(yùn)作。以往單一的、簡(jiǎn)單的應(yīng)用，可能只需調(diào)用幾臺(tái)服務(wù)器即可，但是隨著AI負(fù)載規(guī)模越來越大，甚至需要調(diào)動(dòng)整個(gè)數(shù)據(jù)中心資源協(xié)同完成一項(xiàng)工作。也就是說，整個(gè)數(shù)據(jù)中心越來越成為一臺(tái)“大計(jì)算機(jī)”，這就需要從底層對(duì)數(shù)據(jù)中心整體架構(gòu)進(jìn)行重塑，保證數(shù)據(jù)中心整體的效率和性能。而除了算力之外，通信網(wǎng)絡(luò)也是數(shù)據(jù)中心的核心能力。

作為當(dāng)今互聯(lián)網(wǎng)誕生的根基，以太網(wǎng)非常有彈性，它可以支持TCP等傳輸層協(xié)議，可以基于傳統(tǒng)的網(wǎng)絡(luò)丟包機(jī)制來緩解網(wǎng)絡(luò)擁塞。這種方式對(duì)業(yè)務(wù)的性能抖動(dòng)不敏感，出現(xiàn)數(shù)據(jù)包丟失時(shí)，它會(huì)根據(jù)應(yīng)用需求重新傳輸或直接放棄、幾乎可以從任何地方重連。不過，對(duì)于高吞吐量的AI負(fù)載來說，根本負(fù)擔(dān)不起丟包的代價(jià)，也無法接受抖動(dòng)問題，因?yàn)檫@些都會(huì)對(duì)AI負(fù)載和性能產(chǎn)生巨大影響。

特別是對(duì)于生成式AI來說，大模型參數(shù)規(guī)模及數(shù)據(jù)集不斷擴(kuò)大，當(dāng)一個(gè)大模型跑在成千上萬個(gè)算力集群上時(shí)，采用的是分布式、緊耦合的計(jì)算方式，這時(shí)，整個(gè)系統(tǒng)的性能已經(jīng)不僅取決于單一GPU、單一服務(wù)器，更取決于網(wǎng)絡(luò)性能，對(duì)數(shù)據(jù)傳輸有著更高要求，這就需要對(duì)傳統(tǒng)以太網(wǎng)進(jìn)行“改造”，構(gòu)建支持RoCE（RDMA over Converged Ethernet）的無損網(wǎng)絡(luò)，做到不丟包，支持以太網(wǎng)RDMA，滿足高帶寬和高利用率需求。

大規(guī)模AI網(wǎng)絡(luò)方案，天下苦英偉達(dá)久矣？

要談?wù)撋墒紸I對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)的深刻改變，還要多說幾句數(shù)據(jù)中心計(jì)算范式的根本顛覆。在傳統(tǒng)的計(jì)算系統(tǒng)中，CPU和內(nèi)存是核心，GPU、NIC、NVMe等都是外設(shè)，PCIe是機(jī)內(nèi)通信最重要的組件之一。而隨著深度學(xué)習(xí)的到來，這一范式改變了，GPU成了計(jì)算的核心。如此一來，如果仍然依賴傳統(tǒng)的通信組件，勢(shì)必會(huì)遇到瓶頸。這也是為什么，英偉達(dá)專門推出NVLink、NVSwitch等GPU之間的連接方案，就是希望獲得更高的互聯(lián)帶寬。

而對(duì)于跨設(shè)備之間的通信，RDMA(remote direct memory access)遠(yuǎn)端直接內(nèi)存訪問技術(shù)又是一個(gè)有意思的開始。它本質(zhì)上是針對(duì)大規(guī)模分布式計(jì)算存儲(chǔ)的場(chǎng)景，讓網(wǎng)卡繞開CPU，配合遠(yuǎn)端服務(wù)器直接存取內(nèi)存，能夠加速服務(wù)器之間的交互，降低時(shí)延。

RDMA作為一種高性能網(wǎng)絡(luò)通信技術(shù)，具有高帶寬、低延遲、無CPU消耗、零拷貝等優(yōu)點(diǎn)，InfiniBand就是RDMA技術(shù)的實(shí)現(xiàn)方式之一，不過，它需要專門的網(wǎng)卡和交換機(jī)來支持，帶來了額外的硬件成本。目前，市場(chǎng)上主要有英偉達(dá)、英特爾、思科和HP等InfiniBand網(wǎng)絡(luò)解決方案和配套設(shè)備提供商，據(jù)稱，英偉達(dá)占有最高的市場(chǎng)份額，超過70%。

當(dāng)前，大部分大語言模型都是基于英偉達(dá)NVLink+InfiniBand無損網(wǎng)絡(luò)架構(gòu)的超大規(guī)模數(shù)據(jù)中心來完成訓(xùn)練的。對(duì)于AMD來說，首先通過Infinity Fabric對(duì)標(biāo)英偉達(dá)的NVlink，用于服務(wù)器內(nèi)部的GPU互聯(lián)。而在跨服務(wù)器的連接方面，AMD連同其他頭部廠商看到的機(jī)會(huì)主要是：一是InfiniBand被英偉達(dá)主導(dǎo)，更廣生態(tài)上欠缺通用性；二是需要專用設(shè)備支持，帶來了組網(wǎng)的高成本，因此他們希望通過生態(tài)開放這一核心優(yōu)勢(shì)擴(kuò)大影響力，以打開英偉達(dá)已經(jīng)占據(jù)先機(jī)的市場(chǎng)局面。

隨著深度學(xué)習(xí)模型越來越復(fù)雜，模型參數(shù)量越來越大，單個(gè)GPU服務(wù)器越來越難以滿足模型參數(shù)大小存儲(chǔ)要求和訓(xùn)練迭代速度要求，分布式多機(jī)多卡訓(xùn)練基本已成必備，RDMA網(wǎng)絡(luò)作為AI大模型時(shí)代的底層通信技術(shù)，將發(fā)揮更加重要的作用。

在AMD近日的發(fā)布會(huì)上，以太網(wǎng)巨頭博通、思科、Arista技術(shù)負(fù)責(zé)人均進(jìn)行了分享。他們認(rèn)為在當(dāng)前的RDMA 環(huán)境下，超以太網(wǎng)協(xié)議有望支持百萬節(jié)點(diǎn)互聯(lián)，同時(shí)以太網(wǎng)的開放特性，能夠讓諸如LPO等新技術(shù)加速滲透，帶來高性價(jià)比、高容量、高開放程度的AI網(wǎng)絡(luò)。

“AMD Advancing AI”發(fā)布會(huì)上，Arista、Broadcom、Cisco與AMD的高層對(duì)話

英偉達(dá)和AMD網(wǎng)絡(luò)路線之爭(zhēng)，像iOS和安卓？

事實(shí)上，在英偉達(dá)的AI加速網(wǎng)絡(luò)版圖中，除了InfiniBand，也有基于開放以太網(wǎng)的方案，也就是今年發(fā)布的Spectrum-X以太網(wǎng)架構(gòu)，專門針對(duì)以太網(wǎng)RoCE進(jìn)行了端到端的優(yōu)化，可對(duì)端到端網(wǎng)絡(luò)進(jìn)行編程。根據(jù)英偉達(dá)官方資料，Spectrum-X的核心是 Spectrum-4 以太網(wǎng)交換機(jī)、BlueField-3 DPU、LinkX高性能線纜/模塊和NVIDIA端到端加速軟件。

而AMD則主打一個(gè)開放之姿，在跨服務(wù)器的連接上，AMD旗幟鮮明地表示，以太網(wǎng)將成為AMD 用于構(gòu)建集群的協(xié)議，因?yàn)橐蕴W(wǎng)擁有更好的性能，更好的大規(guī)模集群能力，以及最為核心的開放性，希望與頭部交換機(jī)廠商一起，降低組網(wǎng)成本、擴(kuò)大以太網(wǎng)份額與性能，打造更高性價(jià)比的網(wǎng)絡(luò)。

為使傳統(tǒng)以太網(wǎng)更適合生成式AI等應(yīng)用，AMD等組成的開放以太網(wǎng)生態(tài)表示，將提供基于以太網(wǎng)的開放、可互操作、高性能的全通信堆棧架構(gòu)，以滿足大規(guī)模人工智能和高性能計(jì)算不斷增長(zhǎng)的網(wǎng)絡(luò)需求。并且將從物理層到軟件層，對(duì)以太網(wǎng)堆棧的多個(gè)層進(jìn)行更改。在相應(yīng)的傳輸協(xié)議方面，希望提供比目前的RDMA 更好的以太網(wǎng)傳輸（仍支持 RDMA），在提供AI和HPC應(yīng)用程序所需性能的同時(shí)保留以太網(wǎng)/IP的優(yōu)勢(shì)。

而根據(jù)英偉達(dá)方面的解釋，有別于其他網(wǎng)絡(luò)廠商的做法，他們相當(dāng)于開創(chuàng)了新的以太網(wǎng)應(yīng)用市場(chǎng)：區(qū)別于原來面向企業(yè)應(yīng)用的以太網(wǎng)，多數(shù)只是收郵件、網(wǎng)絡(luò)瀏覽等基本使用南北向網(wǎng)絡(luò)流量的應(yīng)用，或者是云上以太網(wǎng)，負(fù)載的效率不夠高，會(huì)有長(zhǎng)尾延時(shí)和抖動(dòng)等情況。因此，英偉達(dá)專為生成式AI量身打造了以太網(wǎng)，針對(duì)RDMA、NetQ等進(jìn)行了加速，而且可編程，在大規(guī)模高負(fù)載環(huán)境下能夠提供更好的性能。

當(dāng)然，業(yè)界并不止這些技術(shù)路線，隨著HPC/生成式AI網(wǎng)絡(luò)的不斷發(fā)展，越來越多的企業(yè)開始推出自研的網(wǎng)絡(luò)協(xié)議或解決方案，以滿足特定需求或?qū)崿F(xiàn)生態(tài)閉環(huán)等目標(biāo)。例如谷歌的TPUv4則引入了內(nèi)部自研的光電交換技術(shù)OCS，AWS使用自研的Nitro系統(tǒng)來為HPC與ML應(yīng)用提供支持。國(guó)內(nèi)廠商方面，騰訊云在其星脈網(wǎng)絡(luò)中采用自研的星脈 RDMA 網(wǎng)絡(luò)，阿里云磐久PredFabric采用自研的Solar-RDMA高速網(wǎng)絡(luò)協(xié)議，華為超融合數(shù)據(jù)中心網(wǎng)絡(luò)使用獨(dú)創(chuàng)的iLossless智能無損算法……

放眼國(guó)內(nèi)外相關(guān)廠商，在算力網(wǎng)絡(luò)方面的路線主要是自有和開放技術(shù)兩種方式，像極了iOS和安卓多年來的路線之爭(zhēng)。選擇了自有技術(shù)的道路，往往追求獨(dú)立性和自主性，希望通過對(duì)技術(shù)的深度掌控，達(dá)到對(duì)產(chǎn)品性能和用戶體驗(yàn)的極致追求，但通常也會(huì)面臨更高的研發(fā)成本、更長(zhǎng)的研發(fā)周期。而選擇了開放道路，倡導(dǎo)技術(shù)的共享和開源，是希望通過合縱連橫的方式，推動(dòng)技術(shù)的發(fā)展和生態(tài)的快速成長(zhǎng)。

寫在最后

面向生成式AI這樣一個(gè)新的任務(wù)場(chǎng)景，需要規(guī)模非常大的AI集群提供服務(wù)。當(dāng)市場(chǎng)上沒有任何以太網(wǎng)能夠滿足這樣需求的時(shí)候，InfiniBand一度成為最好的選擇。不過，由于以太網(wǎng)多年來形成的龐大的用戶市場(chǎng)，很多基于云服務(wù)的軟件都是基于以太網(wǎng)進(jìn)行開發(fā)的，在以太網(wǎng)平臺(tái)上運(yùn)行也更為便捷，這也為什么，以太網(wǎng)成為英偉達(dá)和AMD在GPU之外的又一個(gè)必爭(zhēng)之地。

你認(rèn)為英偉達(dá)和AMD在以太網(wǎng)領(lǐng)域的路線之爭(zhēng)是 “iOS和安卓”嗎？你更看好哪種路線的前景？