加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長(zhǎng)期合作伙伴
立即加入
  • 正文
  • 推薦器件
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

Supermicro推出三款可立即部署型生成式AI SuperCluster

03/22 17:00
2356
閱讀需 10 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

全棧式SuperCluster包括氣冷、液冷訓(xùn)練與云端級(jí)推理機(jī)柜配置,并搭載全新NVIDIA Tensor Core GPU、網(wǎng)絡(luò)與NVIDIA AI Enterprise軟件

Supermicro, Inc.(納斯達(dá)克股票代碼:SMCI)作為AI、云端、儲(chǔ)存和5G/邊緣領(lǐng)域的全方位IT解決方案制造商,宣布推出其最新產(chǎn)品組合,加速生成式AI部署。Supermicro SuperCluster解決方案能為目前及未來(lái)大型語(yǔ)言模型(Large Language Model,LLM)硬件基礎(chǔ)設(shè)施提供核心建構(gòu)組件。

Supermicro三款強(qiáng)大的SuperCluster解決方案現(xiàn)已上市并可被用于生成式AI工作運(yùn)行。這些解決方案內(nèi)的4U液冷系統(tǒng)或8U氣冷系統(tǒng)是專為強(qiáng)大LLM訓(xùn)練性能以及高度批次大小且大量的LLM推理所設(shè)計(jì)。配備了1U氣冷Supermicro NVIDIA MGXTM系統(tǒng)的第三款SuperCluster超級(jí)集群則針對(duì)云端級(jí)推理進(jìn)行了優(yōu)化。

Supermicro總裁兼首席執(zhí)行官梁見(jiàn)后(Charles Liang)表示:“在AI時(shí)代,算力以集群來(lái)衡量,不再只用服務(wù)器數(shù)量作為依據(jù)。我們的全球制造產(chǎn)能已擴(kuò)大到每月5,000臺(tái)機(jī)柜,能比以往更快地為客戶提供完整生成式AI計(jì)算集群。只需通過(guò)我們采用400Gb/s NVIDIA Quantum-2 InfiniBand和Spectrum-X Ethernet網(wǎng)絡(luò)技術(shù)的數(shù)個(gè)可擴(kuò)充型集群建構(gòu)組件,一個(gè)64節(jié)點(diǎn)的計(jì)算集群能支持具有72TB HBM3e的512個(gè)NVIDIA HGX H200 GPU。結(jié)合了NVIDIA AI Enterprise軟件的Supermicro SuperCluster解決方案非常適合用于針對(duì)現(xiàn)今企業(yè)與云端基礎(chǔ)架構(gòu)的LLM訓(xùn)練,且最高可達(dá)兆級(jí)參數(shù)?;ミB的GPU、CPU、內(nèi)存、儲(chǔ)存、以及網(wǎng)絡(luò)硬件在被部署至機(jī)柜內(nèi)的多個(gè)節(jié)點(diǎn)后形成現(xiàn)今AI技術(shù)的基礎(chǔ)。Supermicro的SuperCluster解決方案為快速發(fā)展的生成式AI與LLM提供了核心建構(gòu)組件?!?/p>

NVIDIA GPU產(chǎn)品管理副總裁Kaustubh Sanghani表示:“NVIDIA最新型GPU、CPU、網(wǎng)絡(luò)與軟件技術(shù)助力能讓系統(tǒng)制造者為全球市場(chǎng)內(nèi)不同類型的下一代AI工作運(yùn)行實(shí)現(xiàn)加速。通過(guò)結(jié)合基于Blackwell架構(gòu)產(chǎn)品的NVIDIA加速計(jì)算平臺(tái),Supermicro能提供客戶所需要的前沿服務(wù)器系統(tǒng),且這些系統(tǒng)可容易地被部署至數(shù)據(jù)中心?!?Supermicro 4U NVIDIA HGX H100/H200 8-GPU系統(tǒng)通過(guò)液冷技術(shù)使8U氣冷系統(tǒng)計(jì)算密度加倍,同時(shí)降低功耗量與總體擁有成本(TCO)。這些系統(tǒng)旨在為了支持下一代NVIDIA的Blackwell架構(gòu)GPU。Supermicro冷卻分配單元(Cooling Distribution Unit,CDU)與冷卻分配分流管(Cooling Distribution Manifold,CDM)是主要冷卻液流動(dòng)脈絡(luò),可將冷卻液輸送至Supermicro定制的直達(dá)芯片(Direct-to-Chip,D2C)冷板,使GPU和CPU處于最佳運(yùn)行溫度,進(jìn)而實(shí)現(xiàn)效能最大化。此散熱技術(shù)可使一整座數(shù)據(jù)中心電力成本降低最多40%,同時(shí)節(jié)省數(shù)據(jù)中心占地空間。

搭載NVIDIA HGX H100/H200 8-GPU的系統(tǒng)非常適合用于訓(xùn)練生成式Al。通過(guò)NVIDIA? NVLink?技術(shù)高速互連的GPU,以及高GPU內(nèi)存帶寬與容量,將成為符合成本效益地運(yùn)行LLM的核心關(guān)鍵。Supermicro的SuperCluster具備龐大GPU共享資源,能作為一個(gè)AI超級(jí)計(jì)算機(jī)進(jìn)行計(jì)算作業(yè)。

無(wú)論是導(dǎo)入一個(gè)最初就以數(shù)兆級(jí)詞元(token)數(shù)據(jù)集進(jìn)行完整訓(xùn)練的大型基礎(chǔ)模型,或開(kāi)發(fā)一個(gè)云端級(jí)LLM推理基礎(chǔ)架構(gòu),具有無(wú)阻式400Gb/s網(wǎng)絡(luò)結(jié)構(gòu)的脊葉網(wǎng)絡(luò)拓?fù)?/a>(Spine and Leaf Network Topology)都能從32個(gè)計(jì)算節(jié)點(diǎn)順暢地?cái)U(kuò)展至數(shù)千個(gè)節(jié)點(diǎn)。針對(duì)完全整合的液冷系統(tǒng),Supermicro在產(chǎn)品出廠前會(huì)憑借經(jīng)認(rèn)證的測(cè)試流程徹底驗(yàn)證與確保系統(tǒng)運(yùn)行有效性與效率。

采用了NVIDIA GH200 Grace Hopper Superchip的Supermicro NVIDIA MGX?系統(tǒng)設(shè)計(jì)將能打造出未來(lái)AI計(jì)算集群的架構(gòu)樣式以解決生成式AI的關(guān)鍵瓶頸:運(yùn)行高推理批次大小的LLM所需的GPU內(nèi)存帶寬及容量,進(jìn)而降低運(yùn)營(yíng)成本。具有256節(jié)點(diǎn)的計(jì)算集群能實(shí)現(xiàn)云端級(jí)大量推理算力引擎,并易于部署與擴(kuò)充。

配置4U液冷系統(tǒng)的5組機(jī)柜或8U氣冷系統(tǒng)的9組機(jī)柜型SuperCluster

配置1U氣冷NVIDIA MGX系統(tǒng)的9組機(jī)柜型SuperCluster

  • 單一可擴(kuò)充單元含256個(gè)GH200 Grace Hopper Superchips
  • 最高可達(dá)144GB HBM3e加480GB LPDDR5X的統(tǒng)一內(nèi)存,適用于云端級(jí)、大量、低延遲和高批次推理,并能在單一計(jì)算節(jié)點(diǎn)中容納超過(guò)700億個(gè)參數(shù)規(guī)模的模型
  • 400G InfiniBand或400GbE Ethernet網(wǎng)絡(luò)交換器結(jié)構(gòu)采用了高度可擴(kuò)充型脊葉網(wǎng)絡(luò)拓?fù)浼夹g(shù)
  • 每節(jié)點(diǎn)最多含8個(gè)內(nèi)建E1.S NVMe儲(chǔ)存裝置
  • 可定制化AI數(shù)據(jù)管道儲(chǔ)存結(jié)構(gòu)搭配NVIDIA BlueField?-3 DPU與領(lǐng)先業(yè)界的平行文件系統(tǒng)選項(xiàng),能為每個(gè)GPU提供高傳輸量、低延遲的儲(chǔ)存裝置存取
  • NVIDIA AI Enterprise 5.0軟件

通過(guò)GPU間可實(shí)現(xiàn)的優(yōu)異互連性能,Supermicro的SuperCluster解決方案針對(duì)LLM訓(xùn)練、深度學(xué)習(xí),以及大量且高批次推理進(jìn)行了優(yōu)化。Supermicro的L11和L12驗(yàn)證測(cè)試結(jié)合了現(xiàn)場(chǎng)部署服務(wù),可為客戶提供無(wú)縫體驗(yàn)??蛻羰盏郊床寮从玫目蓴U(kuò)充單元后能實(shí)現(xiàn)數(shù)據(jù)中心內(nèi)的輕松部署,并可更快獲取成果。

推薦器件

更多器件
器件型號(hào) 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊(cè) ECAD模型 風(fēng)險(xiǎn)等級(jí) 參考價(jià)格 更多信息
GCM155R71H104KE02D 1 Murata Manufacturing Co Ltd Ceramic Capacitor, Multilayer, Ceramic, 50V, 10% +Tol, 10% -Tol, X7R, 15% TC, 0.1uF, Surface Mount, 0402, CHIP, ROHS COMPLIANT

ECAD模型

下載ECAD模型
$0.04 查看
1658670-2 1 TE Connectivity BRASS, TIN (100) OVER NICKEL FINISH, WIRE TERMINAL
$0.18 查看
CRCW060333R0FKEA 1 Vishay Intertechnologies Fixed Resistor, Metal Glaze/thick Film, 0.1W, 33ohm, 75V, 1% +/-Tol, 100ppm/Cel, Surface Mount, 0603, CHIP, HALOGEN FREE AND ROHS COMPLIANT

ECAD模型

下載ECAD模型
$0.12 查看

相關(guān)推薦

電子產(chǎn)業(yè)圖譜