1160
文 I 十巷，報道 I 芯潮 IC，ID I xinchaoIC
搶占AI腹地。
前幾日，英偉達市值沖破3萬億美元，將蘋果公司甩在身后的故事還沒來得及回味。英偉達市值登頂全球第一的新聞再次登上各大熱搜（發(fā)稿前，英偉達市值已出現較大回落）。
作為AI芯片巨頭，英偉達近年來可謂風光無限。
過去，我們看到了很多有關英偉達GPU和CUDA護城河的介紹。誠然，經過多年的投入，他們已經建立起了難以逾越的優(yōu)勢。但除此以外，英偉達還有很多隱形護城河，其中，互聯技術也是其在AI浪潮中取得成功過程中不可忽視的一大關鍵。
日前，黃仁勛在Computex的主題演講中，再次透露了未來幾年GPU和互連技術的路線圖；而另一邊，八大芯片巨頭抱團取暖，成立UALink推廣組意在制定行業(yè)標準，以打破市場領導者英偉達的壁壘和壟斷。
如今大模型時代來臨，隨著越來越多的加速器被集成到一起，性能損耗和帶寬瓶頸逐漸顯現，如何高效傳輸數據成為了AI芯片互聯領域亟待攻克的瓶頸。
在此背景下，行業(yè)廠商加速入局，試圖搶占GPU互聯市場的新高地。
為什么需要GPU互聯技術？
長期以來，馮·諾依曼架構面臨的一個核心挑戰(zhàn)是CPU的計算速度與內存訪問速度之間的不匹配，尤其是與存儲設備的速度相比更是天壤之別。這就是業(yè)界著名的“內存墻”，其不均衡的發(fā)展速度對日益增長的高性能計算形成了極大制約，成為訓練大規(guī)模AI模型的瓶頸。
與此同時，隨著高性能存儲技術的進步，計算機組件間通信的帶寬再次成為限制性能提升的關鍵因素。從“Pascal”P100 GPU一代到“Blackwell”B100 GPU一代，八年間GPU的性能提升了1053倍。
在此趨勢下，GPU作為AI時代的核心處理器，單卡GPU算力和顯存有限，無法滿足訓練需求。為適應算力需求，需要聯合大量GPU甚至多臺服務器協(xié)同工作，分布式訓練訴求快速提升。
在分布式系統(tǒng)中，大模型訓練對算力基礎設施的要求從單卡拓展到了集群層面，這對大規(guī)?？ㄩg互聯的兼容性、傳輸效率、時延等指標提出了更高的要求。
自此，GPU互連技術開始擔任重要角色。
GPU互聯技術，百家爭鳴
眾所周知，總線是數據通信必備管道，是服務器主板上不同硬件互相進行數據通信的管道，對數據傳輸速度起到決定性作用。
目前最普及的總線協(xié)議為英特爾2001年提出的PCIe（PCI-Express）協(xié)議，PCIe主要用于連接CPU與其他高速設備如GPU、SSD、網卡、顯卡等。2003年PCIe1.0版本發(fā)布，后續(xù)大致每過三年會更新一代，目前已經更新到6.0版本，傳輸速率高達64GT/s，16通道的帶寬達到256GB/s，性能和可擴展性不斷提高。
AIGC的發(fā)展極大刺激算力需求的增加，GPU多卡組合成為趨勢。GPU互聯的帶寬通常需要在數百GB/S以上，PCIe的數據傳輸速率成為瓶頸，且PCIe鏈路接口的串并轉換會產生較大延時，影響GPU并行計算的效率和性能。
同時，由于PCIe總線樹形拓撲和端到端傳輸方式限制了連接數量和速度，GPU發(fā)出的信號需要先傳遞到PCIe Switch來拓展，PCIe Switch涉及到數據的處理又會造成額外的網絡延時，此外PCIe總線與存儲器地址分離，每次訪問內存會加重網絡延遲。
因此，PCIe的傳輸速率和網絡延遲無法滿足需求，限制了系統(tǒng)性能。
在市場需求和技術驅動下，GPUDirect/NVLink/Infinity Fabric/高速以太網/InfiniBand等GPU互聯技術爭相推出，“百家爭鳴”時代開啟。
GPUDirect
在這個過程中，英偉達率先推出了能夠提升GPU通信性能的技術——GPUDirect，使GPU可以通過PCIe直接訪問目標GPU的顯存，可實現GPU與其他設備之間直接通信和數據傳輸的技術，大大降低了數據交換的延遲。
傳統(tǒng)上，當數據需要在GPU和另一個設備之間傳輸時，數據必須通過CPU，從而導致潛在的瓶頸并增加延遲。使用GPUDirect，網絡適配器和存儲驅動器可以直接讀寫GPU內存，減少不必要的內存消耗，減少CPU開銷并降低延遲，從而顯著提高性能。GPUDirect技術包括GPUDirect Storage、GPUDirect RDMA、GPUDirect P2P和GPUDirect 視頻。
但受限于PCIe總線協(xié)議以及拓撲結構的一些限制，無法做到更高的帶寬。此后，英偉達提出了NVLink總線協(xié)議。
NVLink成為主流
過去，我們看到了很多有關英偉達GPU和CUDA護城河的介紹。誠然，經過多年的投入，他們已經建立起了難以逾越的優(yōu)勢。但除此以外，英偉達還有很多隱形護城河，NVLink就是其中之一，一個為GPU到GPU互聯提供高速連接的技術。
NVLink是一種英偉達提出的高速GPU互聯協(xié)議，用于連接多個GPU之間或連接GPU與其他設備（如CPU、內存等）之間的通信。它允許GPU之間以點對點方式進行通信，具有比傳統(tǒng)的 PCIe 總線更高的帶寬和更低的延遲，為多GPU系統(tǒng)提供更高的性能和效率。
對比傳統(tǒng)PCIe總線協(xié)議，NVLink主要在三個方面做出較大改變：
1）支持網狀拓撲目，解決通道有限問題；
2）統(tǒng)一內存，允許GPU共享公共內存池，減少GPU之間復制數據的需要，從而提高效率；
3）直接內存訪問，不需要CPU參與，GPU可直接讀取彼此的內存，從而降低網絡延遲。
英偉達官方表示，NVLink是全球首創(chuàng)的高速GPU互連技術。作為一種總線及其通信協(xié)議，NVLink采用點對點結構、串列傳輸，用于連接GPU與支持NVLink技術的CPU，在內存墻無法突破的情況下，最大化提升CPU和GPU之間通信的效率，也可用于多個英偉達GPU之間的高帶寬互連。使用NVLink連接兩張NVIDIA GPU，即可彈性調整記憶體與效能，滿足專業(yè)視覺運算最高工作負載的需求。
自2014年開始，英偉達在其GPU中引入了NVLink互聯技術。
彼時，為帶寬不足而發(fā)愁的英偉達，與當時坐擁更高帶寬POWER CPU的IBM一拍而合，合作開發(fā)了第一代NVLink。
回顧NVLink技術的發(fā)展歷程：
2014年，NVLink 1.0發(fā)布并在P100 GPU芯片之間實現，兩個GPU之間有四個NVLink，每個鏈路由八個通道組成，每個通道的速度為20Gb/s，系統(tǒng)整體雙向帶寬為160GB/s，是PCIe3 x16的五倍，這使得數據在CPU內存與GPU顯存之間的移動速度得到了大幅提升，從而讓GPU加速的應用能夠大幅提升運行速度。
伴隨著P100、V100等計算卡的推出，NVLink迎來了自己的高速發(fā)展。
2017年，英偉達推出了第二代NVLink，兩個V100 GPU芯片之間通過六個NVLink 2.0連接，每個鏈路也是由八個通道組成，每個通道的速度提升至25Gb/s，從而實現300GB/s的雙向系統(tǒng)帶寬，幾乎是NVLink1.0的兩倍。
同時，為了實現八個GPU之間的完全互連，解決GPU之間通訊不均衡問題，英偉達還引入了NVSwitch技術。
NVSwitch是英偉達在2018年發(fā)布的一項技術，旨在解決單服務器中多個GPU之間的全連接問題。NVSwitch允許單個服務器節(jié)點中多達16個GPU實現全互聯，這意味著每個GPU都可以與其他GPU直接通信，無需通過CPU或其他中介。
NVSwitch1.0有18個端口，每個端口的帶寬為50GB/s，總帶寬為900GB/s。每個NVSwitch保留兩個用于連接CPU的端口。通過使用6個NVSwitch，可以在8個GPU V100芯片之間建立一個全連接的網絡。
2020年，推出NVLink 3.0技術。它通過12個NVLink連接連接兩個GPU A100芯片，每個鏈路由四個通道組成。每個通道以50Gb/s的速度運行，從而產生600GB/s的雙向系統(tǒng)帶寬，是NVLink2.0的兩倍。隨著NVLink數量的增加，NVSwitch上的端口數量也增加到36個，每個端口的運行速度為50GB/s。
2022年，NVLink技術升級到第四代，允許兩個GPU H100芯片通過18條NVLink鏈路互連。每個鏈路由2個通道組成，每個通道支持100Gb/s（PAM4）的速度，從而使雙向總帶寬增加到900GB/s。NVSwitch也升級到了第三代，每個NVSwitch支持64個端口，每個端口的運行速度為 50GB/s。
值得一提的是，在第四代NVLink發(fā)布時，英偉達正式將其稱為NVLink-C2C ，此時NVLink已經升級為板級互連技術，它能夠在單個封裝中將兩個處理器連接成一塊超級芯片。
2024年，隨著英偉達全新Blackwell架構的發(fā)布，NVLink 5.0也隨之而來。
NVLink 5.0以100GB/s的速度在處理器之間移動數據。每個GPU有18個NVLink連接，Blackwell GPU將為其他GPU或Hopper CPU提供每秒1.8TB的總帶寬，這是NVLink 4.0帶寬的兩倍，是行業(yè)標準PCIe Gen5總線帶寬的14倍。NVSwitch也升級到了第四代，每個NVSwitch支持144個NVLink 端口，無阻塞交換容量為14.4TB/s。
從上圖可以看到，每一代NVLink的更新，其每個GPU的互聯帶寬都是在不斷的提升，其中NVLink之間能夠互聯的GPU數，也從第一代的4路到第四代/第五代的18路。每個NVLink鏈路的速度也由第一代的20Gb/s提升至目前的1800Gb/s。
此外，盡管擁有極高的帶寬，NVLink卻在每比特數據的傳輸上比PCIe節(jié)能得多。
NVLink和NVSwitch這兩項技術的引入，為GPU集群和深度學習系統(tǒng)等應用場景帶來了更高的通信帶寬和更低的延遲，從而提升了系統(tǒng)的整體性能和效率。
隨著下一代AI算法等先進計算的需求不斷增長，可以期待NVLink的功能進一步增強。無論是帶寬的增加還是促進GPU之間更好合作的新功能，NVLink或其后繼者無疑仍將是滿足未來計算需求的核心。
可見，當競爭對手還在追趕英偉達GPU性能時，英偉達已經在發(fā)力整個數據中心的構架層創(chuàng)新，通過提供更快的芯片互聯，更強的算力調度能力，將GPU打包成綜合性能無人能敵的數據工廠，交付給全世界。
AMD加碼Infinity Fabric
AMD也推出了與英偉達NVLink相似的Infinity Fabric技術。
Infinity Fabric由兩部分組成：數據布線（Data Fabric）和控制布線（Control Fabric），數據布線用于處理器內部和處理器之間的數據傳輸；控制布線則負責處理器的功耗、時鐘和安全性等方面的管理，該技術支持芯片間、芯片對芯片以及節(jié)點對節(jié)點的數據傳輸。
Infinity Fabric的主要特點包括：
高效率：Infinity Fabric設計用于提供高效率的數據傳輸，支持多個設備之間的高速通信；
模塊化：Infinity Fabric支持AMD的Chiplet架構，允許不同功能的芯片模塊通過高速互連進行組合；
內存共享：Infinity Fabric支持CPU和GPU之間的內存共享，有助于提高異構計算效率；
擴展性：Infinity Fabric的設計允許它隨著技術進步和需求增長而擴展。
Infinity Fabric是AMD在其“Zen微架構”中引入的一個關鍵特性，旨在提高整體系統(tǒng)性能，特別是在多核心處理器和數據中心環(huán)境中。
據悉，AMD最新的AI加速器Instinct MI300X平臺，就是通過第四代Infinity Fabric鏈路將8個完全連接的MI300X GPU OAM模塊集成到行業(yè)標準OCP設計中，為低延遲AI處理提供高達1.5TB HBM3容量。第四代Infinity Fabric支持每通道高達32Gbps，每鏈路產生128GB/s的雙向帶寬。
不同于英偉達NVLink僅限于內部使用，AMD已經開始向合作伙伴開放其Infinity Fabric生態(tài)系統(tǒng)，完善生態(tài)布局。
芯片巨頭組團，向英偉達NVLink開戰(zhàn)
盡管GPU互聯技術看上去種類多樣，但主要技術路線還是牢牢掌握在英偉達手中，業(yè)界一直期待有某種“超級”競爭對手聯盟來填補非Nvidia互聯技術或集群的空缺。
而這也正是UALink推出的重要原因，掀起對標英偉達NVLink的波瀾。
文章開頭提到，AMD、博通、思科、Google、惠普、英特爾、Meta和微軟在內的八家公司宣告，為人工智能數據中心的網絡制定了新的互聯技術UALink（Ultra Accelerator Link）。通過為AI加速器之間的通信建立一個開放標準，以挑戰(zhàn)英偉達在AI加速器一家獨大的地位。
據消息披露，UALink提議的第一個標準版本UALink 1.0，將連接多達1024個GPU AI加速器，組成一個計算“集群”，共同完成大規(guī)模計算任務。
根據UALink推廣組的說法，基于包括AMD的Infinity Fabric在內的“開放標準”，UALink 1.0將允許AI加速器所附帶的內存之間的直接加載和存儲，并且與現有互連規(guī)范相比，總體上將提高速度，同時降低數據傳輸延遲。
據悉，UALink將在第三季度成立一個UALink聯盟，定義AI計算艙中加速器和交換機之間擴展通信的高速、低延遲互連，以監(jiān)督UALink規(guī)范未來的發(fā)展。UALink 1.0將在同期向加入聯盟的公司提供，而具有更高帶寬的更新規(guī)范UALink 1.1，計劃在2024年第四季度推出。這些規(guī)范將支持多種傳輸，包括PCI-Express和以太網。
UALink聯盟旨在創(chuàng)建一個開放的行業(yè)標準，允許多家公司為整個生態(tài)系統(tǒng)增加價值，從而避免技術壟斷。
該技術的潛在優(yōu)勢在于讓業(yè)內所有人都有機會與英偉達保持同步，其不僅適用于大型企業(yè)，也為行業(yè)中每個人打開了一扇門，讓他們不僅在規(guī)模上，而且在創(chuàng)新方面都能跟上英偉達的步伐。
多機互聯：InfiniBand與以太網絡并存
此外，在分布式系統(tǒng)中，根據連接層級的不同可以分為單卡、多卡、多機互聯，在大規(guī)模計算中，單機多卡場景下多使用GPU Diect、NVLink等高帶寬通信網絡技術，分布式場景下的多機之間的連接（即服務器互聯）通常采用RDMA網絡。
隨著大數據分析、AI計算等應用對算力需求巨大，上面提到的單機形態(tài)已經逐漸不能滿足用戶需求，多機多卡的計算成為常態(tài)，多機間的通信是影響分布式訓練的一個重要指標。
當前業(yè)界常提到的多機之間GPU卡的通信技術，主要有RDMA、GPU Direct RDMA和InfiniBand等技術。
RDMA是一種繞過遠程主機而直接訪問其內存中數據的技術，解決網絡傳輸中數據處理延遲而產生的一種遠端內存直接訪問技術。
簡單理解，RDMA就像一個去掉中間商的技術，讓數據能夠快速獲取。不再在操作系統(tǒng)、CPU等環(huán)節(jié)浪費時間。
目前RDMA有三種不同的技術實現方式：Infiniband、RoCE、iWARP，后兩者是基于以太網的技術。
長期以來，以太網一直是計算機網絡的主力，例如英特爾的Gaudi系列AI處理器在芯片上集成了幾十個100Gb以太網連接；相比之下，英偉達通過收購Mellanox獨占了高性能InfiniBand互連市場。
InfiniBand是一種開放標準的網絡互連技術，具有高帶寬、低延遲、高可靠性的特點，在英偉達的AI工廠和超級電腦中扮演著至關重要的角色。
InfiniBand在人工智能等數據密集型任務中通常優(yōu)于以太網。據Dell'Oro估計，約90%的AI部署都是使用的InfiniBand，而不是以太網。這些部署將英偉達的網絡收入推至每年100億美元。
英特爾，押注以太網
英特爾的Gaudi AI芯片則一直沿用傳統(tǒng)的以太網互聯技術。
據了解，Gaudi 2每個芯片使用了24個100Gb以太網鏈路；Gaudi 3將這些鏈路的帶寬增加了一倍，使用了24個200Gbps以太網RDMA NIC，使芯片的外部以太網I/O總帶寬達到8.4TB/秒。
前不久，英特爾還宣布正在開發(fā)一款用于超以太網聯盟（UEC）兼容網絡的AI NIC ASIC以及一款AI NIC小芯片，這些創(chuàng)新的AI高速互聯技術將用于其未來的XPU和Gaudi 3處理器。這些創(chuàng)新旨在革新可大規(guī)模縱向和橫向擴展的AI高速互聯技術。
超以太網聯盟（UCE），是一個由英特爾、AMD、HPE、Arista、Broadcom、思科、Meta和微軟為打破英偉達壟斷而共同創(chuàng)建的組織。UCE認為，通過調整以太網的架構，可以讓以下一代高速太網的性能像InfiniBand網絡一樣好，并更具成本與開放性優(yōu)勢，從而讓更多的企業(yè)加入進來。
一直以來，英特爾都希望通過采用純以太網交換機來贏得那些不想投資InfiniBand等專有互連技術的客戶。
雖然InfiniBand在很多情況下表現都不錯，但它也有缺點，比如只能在特定范圍內使用（例如InfiniBand適合那些運行少量非常大的工作負載（例如GPT3或數字孿生）的用戶，但在更加動態(tài)的超大規(guī)模和云環(huán)境中，以太網通常是首選），而且成本也不低，將整個網絡升級到InfiniBand需要大量投資。相比之下，以太網因為兼容性強，成本適中，以及能夠勝任大多數工作負載，所以在網絡技術領域里一直很受歡迎，建立了一個龐大的“以太網生態(tài)”。
AMD也表示將重點支持以太網，特別是超以太網聯盟。雖然Infinity Fabric提供了GPU之間的一致互連，但AMD正在推廣以太網作為其首選的GPU到GPU網絡。
綜合來說，高性能遠距離傳輸的戰(zhàn)場里，如今僅剩InfiniBand和下一代高速以太網兩大陣營，雙方各有優(yōu)劣勢。
據Dell'Oro預計，在可預見的未來InfiniBand將保持在AI交換領域的領先地位，但在云和超大規(guī)模數據中心的推動下，以太網將取得大幅增長，預計到2027年將占據約20%的市場份額。
互聯技術未來創(chuàng)新趨勢
不可否認，上述這些互聯技術都已是目前最好的選擇。但能夠預見到是，隨著未來計算數據的爆炸式增長、神經網絡復雜性不斷增加，以及AI技術的加速演進，對更高帶寬的需求還在繼續(xù)增長。
當前這些互聯技術將不可避免的存在性能瓶頸。
例如英偉達的NVLink雖然速度快，但功耗也相當高；AMD的Infinity Fabric適合于芯片內部連接，對于芯片之間的互聯效率并不理想等。
對此，光互聯憑借高帶寬、低功耗等優(yōu)勢，幾乎成為未來AI互聯技術公認的發(fā)展方向。
在光互聯之路上，谷歌、博通、Marvell、思科以及Celestial AI、Ayar Labs、Lightmatter、Coherent、曦智科技等新老廠商都在不斷發(fā)力，相繼取得了一系列成果。
在眾多廠商的參與下，互聯技術未來將會迎來快速發(fā)展。尤其是圍繞光電共封裝和硅光子中繼層技術的光互連，正在成為AI領域的熱門賽道。
結語
大模型時代，算力就是生產力。
大模型的背后意味著巨大的計算資源，模型大小和訓練數據大小成為決定模型能力的關鍵因素。當前，市場的主力玩家們利用數萬個GPU構建大型人工智能集群，以訓練LLM。
在此趨勢下，分布式通信技術正以前所未有的速度推動著人工智能的進步。
從PCIe到NVLink、Infinity Fabric再到InfiniBand、以太網和UALink，這些技術通過高帶寬、低延遲的數據傳輸，實現了GPU或AI服務器之間的高速互聯，在提升深度學習模型的訓練效率和計算性能方面發(fā)揮了至關重要的作用。
在AI技術的飛速發(fā)展中，互聯技術作為AI時代的橋梁，也正在經歷前所未有的創(chuàng)新與變革。
下載ECAD模型
