全球首款 HBM3e 處理器提供突破性的內(nèi)存和帶寬;能夠連接多個(gè) GPU 以實(shí)現(xiàn)卓越的性能;采用易于擴(kuò)展的服務(wù)器設(shè)計(jì)。
NVIDIA 于今日發(fā)布新一代 NVIDIA GH200 Grace Hopper? 平臺(tái),該平臺(tái)基于全球首款搭載 HBM3e 處理器的 Grace Hopper 超級(jí)芯片,專(zhuān)為加速計(jì)算和生成式 AI 時(shí)代而構(gòu)建。
新平臺(tái)專(zhuān)為處理大語(yǔ)言模型、推薦系統(tǒng)、矢量數(shù)據(jù)庫(kù)等全球最復(fù)雜的生成式 AI 工作負(fù)載而構(gòu)建,將提供多種配置選擇。
該平臺(tái)采用雙配置——提供的內(nèi)存容量和帶寬比當(dāng)前產(chǎn)品分別增加了 3.5 倍和 3 倍——包括一個(gè)擁有 144 個(gè) Arm Neoverse 內(nèi)核、8 petaflops 的 AI 性能和 282GB 最新 HBM3e 內(nèi)存技術(shù)的單個(gè)服務(wù)器。
NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示:“為了滿足對(duì)生成式 AI 不斷激增的需求,數(shù)據(jù)中心需要能夠滿足特定需求的加速計(jì)算平臺(tái)。全新 GH200 Grace Hopper 超級(jí)芯片平臺(tái)以出色的內(nèi)存技術(shù)和帶寬,提高了吞吐量,在不影響性能的情況下可連接多 GPU 以整合性能,并且具有可以輕松部署到整個(gè)數(shù)據(jù)中心的服務(wù)器設(shè)計(jì)?!?/p>
新平臺(tái)采用了 Grace Hopper 超級(jí)芯片,可以通過(guò) NVIDIA NVLink? 與其他超級(jí)芯片連接,使它們能夠協(xié)同工作,從而部署當(dāng)下大型生成式 AI 模型。這種高速、一致性技術(shù)使 GPU 可以完全訪問(wèn) CPU 內(nèi)存,在雙配置中可提供總計(jì) 1.2TB 的快速內(nèi)存。
HBM3e 內(nèi)存比當(dāng)前 HBM3 快 50%,可提供總計(jì) 10TB/s 的帶寬。這使得新平臺(tái)能夠運(yùn)行比上一版本大 3.5 倍的模型,同時(shí)憑借快 3 倍的內(nèi)存帶寬提升性能。
對(duì) Grace Hopper 的需求不斷增長(zhǎng)
業(yè)界領(lǐng)先的制造商已在提供基于先前發(fā)布的 Grace Hopper 超級(jí)芯片所打造的系統(tǒng)。為了推動(dòng)該技術(shù)的廣泛應(yīng)用,采用 HBM3e 的新一代 Grace Hopper 超級(jí)芯片平臺(tái)與今年早些時(shí)候在 COMPUTEX 上發(fā)布的 NVIDIA MGX? 服務(wù)器規(guī)格完全兼容。借助 MGX,任何系統(tǒng)制造商都可以快速、經(jīng)濟(jì)地將 Grace Hopper 添加到 100 多款服務(wù)器機(jī)型中。
供應(yīng)情況
預(yù)計(jì)業(yè)界領(lǐng)先的系統(tǒng)制造商將于 2024 年第二季度開(kāi)始交付搭載該平臺(tái)的系統(tǒng)。