GH200 Grace Hopper超級(jí)芯片助力生成式AI

一、大語(yǔ)言模型和生成模型不斷融合，多家科技企業(yè)紛紛入局

2022年底，OpenAI推出了大型語(yǔ)言生成模型ChatGPT，該產(chǎn)品具備語(yǔ)言生成、語(yǔ)言理解、語(yǔ)言翻譯、自然語(yǔ)言處理、生成對(duì)抗網(wǎng)絡(luò)等功能，可以通過(guò)學(xué)習(xí)現(xiàn)有的數(shù)據(jù)并生成新的數(shù)據(jù)，從而實(shí)現(xiàn)類似人類創(chuàng)造力的功能。由于其獨(dú)特的技術(shù)創(chuàng)新、良好的用戶體驗(yàn)，ChatGPT一經(jīng)推出便火爆網(wǎng)絡(luò)，進(jìn)而拉開(kāi)了大語(yǔ)言模型模型產(chǎn)業(yè)和生成式AI（AIGC）產(chǎn)業(yè)蓬勃發(fā)展的序幕，人機(jī)對(duì)話走向新高度。2023年前后大模型產(chǎn)品積極涌現(xiàn)，谷歌、百度、阿里等科技企業(yè)都在積極擁抱AIGC，不斷推出相關(guān)技術(shù)、平臺(tái)和應(yīng)用。

大語(yǔ)言模型的興起，為AIGC技術(shù)的地基——芯片帶來(lái)新的機(jī)遇與挑戰(zhàn)。ChatGPT算法模型從預(yù)訓(xùn)練模型的構(gòu)建，到監(jiān)督學(xué)習(xí)和人工干預(yù)學(xué)習(xí)的針對(duì)性訓(xùn)練，都需要耗費(fèi)大量的數(shù)據(jù)和運(yùn)算資源，這對(duì)人工智能芯片的算力提出非常高的要求。同時(shí)伴隨著大語(yǔ)言模型的更新迭代，大模型算法對(duì)芯片在算力、互聯(lián)、成本等方面的要求將不斷提高，因此AI芯片技術(shù)要持續(xù)在芯片架構(gòu)、算法優(yōu)化、功耗控制等方面實(shí)現(xiàn)創(chuàng)新與進(jìn)步。

二、GH200 Grace Hopper超級(jí)芯片平臺(tái)首發(fā)，直面生成式AI產(chǎn)業(yè)痛點(diǎn)

8月8號(hào)，英偉達(dá)CEO黃仁勛在SIGGRAPH上發(fā)布最新GH200 Grace Hopper超級(jí)芯片平臺(tái)，該平臺(tái)結(jié)合了72核Grace CPU和Hopper GPU，在Grace Hopper處理器基礎(chǔ)上實(shí)現(xiàn)重大改進(jìn)。Grace Hopper使用了全球最新款的HBM3e顯存，內(nèi)存容量高達(dá)141GB，是NVIDIA H100 GPU的1.7倍，有效提升了處理器存儲(chǔ)性能；Grace CPU與Hopper GPU通過(guò)NVLink進(jìn)行高速連接，該鏈路具備緩存一致性和顯存一致性，其具備4 petaflops的Transformer引擎處理能力，HBM3e顯存的帶寬性能可達(dá)5TB/s。該超級(jí)芯片平臺(tái)不僅使數(shù)據(jù)推理成本下降，還能夠連接多個(gè)GPU以實(shí)現(xiàn)卓越的性能和易于擴(kuò)展的服務(wù)器設(shè)計(jì)，同時(shí)可應(yīng)用于任何大語(yǔ)言模型。相對(duì)于x86 CPU芯片而言，該芯片平臺(tái)將使數(shù)據(jù)中心功耗降低20倍，成本減少12倍。目前，GH200 Grace Hopper已經(jīng)小規(guī)模生產(chǎn)，預(yù)計(jì)年底左右進(jìn)行樣品測(cè)試，明年第二季度末即可投入量產(chǎn)。芯片量產(chǎn)后將為加速計(jì)算提供有力支撐，同時(shí)也為全球數(shù)據(jù)中心向加速計(jì)算轉(zhuǎn)型提供助力。

為進(jìn)一步提升產(chǎn)業(yè)生態(tài)，英偉達(dá)還發(fā)布了NVIDIA AI Workbench、NVIDIA RTX及L40S等產(chǎn)品，并宣布更新基于快通用場(chǎng)景描述（OpenUSD）的NVIDIA Omniverse。NVIDIA AI Workbench是以幫助開(kāi)發(fā)人員快速部署、開(kāi)發(fā)生成式AI和大語(yǔ)言模型，其成功發(fā)布加速自定義生成式AI的應(yīng)用。桌面AI工作站GPU系列針對(duì)不同應(yīng)用場(chǎng)景推出4款新品，分別為RTX 6000、RTX 5000、RTX 4500和RTX 4000。針對(duì)數(shù)據(jù)中心市場(chǎng)，英偉達(dá)推出了最多可搭載8張L40S的OVX服務(wù)器。除了上述硬件產(chǎn)品外，黃仁勛還更新了應(yīng)用于多個(gè)領(lǐng)域的虛擬仿真平臺(tái)，對(duì)包括地理空間數(shù)據(jù)模型、指標(biāo)組裝和模擬就緒在內(nèi)的OpenUSD進(jìn)行增強(qiáng)。

三、多個(gè)領(lǐng)域進(jìn)入生成式AI時(shí)代，產(chǎn)業(yè)或?qū)l(fā)生顛覆性變革

生成式AI將所有人工智能技術(shù)進(jìn)行了融合，使不同領(lǐng)域均能使用AI技術(shù)，生成式AI時(shí)代已經(jīng)到來(lái)。AI技術(shù)通過(guò)采用革命性Transformer模型，能夠從跨越時(shí)空的大數(shù)據(jù)中學(xué)習(xí)、尋找模式和關(guān)系，學(xué)習(xí)幾乎所有具有結(jié)構(gòu)的事物表征，進(jìn)而使用數(shù)學(xué)表征和向量進(jìn)行語(yǔ)言表達(dá)。AI技術(shù)通過(guò)學(xué)習(xí)具有結(jié)構(gòu)性的事物，如：音頻、動(dòng)畫(huà)、3D、視頻、DNA、蛋白質(zhì)和化學(xué)品等，借助生成式模型和學(xué)習(xí)到的語(yǔ)言模型，幾乎可以生成所有內(nèi)容，生成式AI技術(shù)正在反哺現(xiàn)有產(chǎn)業(yè)應(yīng)用。

一是基礎(chǔ)辦公軟件革新，適用于辦公的生成式AI有望進(jìn)一步普及。微軟已經(jīng)將GPT-4與ChatGPT能力融入了Office 365全棧生產(chǎn)力工具，可以根據(jù)辦公需求自動(dòng)生成文章、報(bào)告等文檔，較大提升了數(shù)字化辦公的智能化水平，可有效解放重復(fù)性的基礎(chǔ)辦公勞動(dòng)力。同時(shí)，谷歌的Workspace、金山辦公等辦公軟件企業(yè)也在積極圍繞AIGC領(lǐng)域進(jìn)行類似產(chǎn)品的研發(fā)，適用于辦公的生成式AI有望得到進(jìn)一步普及。

二是企業(yè)數(shù)字化轉(zhuǎn)型迫切，企業(yè)海量應(yīng)用需求待滿足。近年來(lái)，宏觀外部環(huán)境發(fā)生改變，企業(yè)所經(jīng)受的各種不確定性和波動(dòng)性增加，迫切希望通過(guò)數(shù)字化轉(zhuǎn)型來(lái)提升企業(yè)韌性。云技術(shù)、數(shù)據(jù)、人工智能機(jī)器學(xué)習(xí)技術(shù)正在日趨成熟并不斷融合，企業(yè)更趨向于直接購(gòu)買(mǎi)“模型及服務(wù)”使用生成式AI技術(shù)，實(shí)現(xiàn)知識(shí)檢索、數(shù)據(jù)分析、輔助編程、數(shù)字員工、交互硬件、數(shù)字人等應(yīng)用。未來(lái)企業(yè)將更多地利用自身數(shù)據(jù)對(duì)預(yù)訓(xùn)練模型微調(diào)，從而讓企業(yè)發(fā)展實(shí)現(xiàn)質(zhì)的飛躍。

三是泛娛樂(lè)行業(yè)蓬勃發(fā)展，生成式AI得到有效實(shí)踐。早在前些年影視劇中的AI換臉已經(jīng)屢見(jiàn)不鮮，前一陣國(guó)內(nèi)通過(guò)模型訓(xùn)練和后期處理AI生成模仿歌手聲音的翻唱歌曲。生成式AI的發(fā)展有效地推動(dòng)新聞寫(xiě)作、文學(xué)創(chuàng)作、音頻生成、圖像生成、視頻生成等泛娛樂(lè)產(chǎn)業(yè)的發(fā)展。生成式AI已經(jīng)可以實(shí)現(xiàn)通過(guò)現(xiàn)有草圖補(bǔ)全全部圖像的功能，也可以根據(jù)場(chǎng)景需求補(bǔ)充綠幕背景畫(huà)面。