首款HBM4內(nèi)存控制器IP滿(mǎn)足AI 2.0時(shí)代內(nèi)存需求

當(dāng)今，人工智能（AI）已成為推動(dòng)各行各業(yè)創(chuàng)新與發(fā)展的核心驅(qū)動(dòng)力。AI技術(shù)的核心，通常被分為兩個(gè)緊密相連但又各具特色的過(guò)程：AI訓(xùn)練和AI推理。

在AI訓(xùn)練階段，需要向AI‘投喂’海量的數(shù)據(jù)，隨后AI對(duì)這些數(shù)據(jù)進(jìn)行分析，提取其中的規(guī)律，最終構(gòu)建出一個(gè)AI模型。例如，通過(guò)輸入貓、鳥(niǎo)、馬等動(dòng)物圖像數(shù)據(jù)，AI能夠培養(yǎng)出識(shí)別這些動(dòng)物形態(tài)的能力。

AI訓(xùn)練往往需要大量的數(shù)據(jù)，并需耗費(fèi)較長(zhǎng)的時(shí)間，才能完成一個(gè)完整的AI模型訓(xùn)練。這些模型往往模型龐大，如實(shí)時(shí)語(yǔ)言處理翻譯模型、實(shí)時(shí)生成式語(yǔ)言模型等。

Rambus研究員兼杰出發(fā)明家Steven Woo博士表示：“AI訓(xùn)練是當(dāng)前計(jì)算領(lǐng)域中最具挑戰(zhàn)性和難度最高的任務(wù)之一，因?yàn)樵谶@個(gè)階段需要管理和處理的數(shù)據(jù)量極為龐大。如果訓(xùn)練過(guò)程能夠越快完成，就意味著AI模型能夠更早投入使用，從而幫助投資者盡早獲得回報(bào)，并實(shí)現(xiàn)投資回報(bào)率的最大化?！?/p>

當(dāng)AI訓(xùn)練完成并形成大模型后，便可以將其應(yīng)用于實(shí)際場(chǎng)景中，并處理新的、大模型未曾接觸過(guò)的案例進(jìn)行推理，這一過(guò)程即AI的推理階段。在AI訓(xùn)練階段，數(shù)據(jù)是核心要素；而在AI推理階段，性能則成為關(guān)鍵所在，尤其在推理速度和準(zhǔn)確性方面，因?yàn)槿藗兌枷Ｍ竽Ｐ湍軌蚩焖偾覝?zhǔn)確地得出推理結(jié)果。

無(wú)論是AI訓(xùn)練階段還是AI推理階段，都需要具備極快的處理速度、強(qiáng)大的處理性能以及小巧的芯片尺寸。尤其在AI推理階段，還需更短的延遲和更高的帶寬，這些都對(duì)內(nèi)存提出了更高的要求。

Steven Woo博士表示：“對(duì)于內(nèi)存的需求一直在快速增長(zhǎng)和變化，自2012年以來(lái)，這一趨勢(shì)并未減緩。AI應(yīng)用對(duì)內(nèi)存帶寬和容量的需求更是永無(wú)止境?！?/p>

以OpenAI的大預(yù)言模型ChatGPT為例，其參數(shù)量和規(guī)模在過(guò)去幾年中大幅增長(zhǎng)。如2022年11月發(fā)布的GPT-3使用了1750億個(gè)參數(shù)，而今年5月發(fā)布的最新版本的GPT-4o則使用了超過(guò)1.5萬(wàn)億個(gè)參數(shù)。這意味著大語(yǔ)言模型的規(guī)模在過(guò)去兩年增長(zhǎng)了超過(guò)400倍，但同期硬件內(nèi)存的規(guī)模則僅增長(zhǎng)了兩倍。

Steven Woo博士表示：“為完成這些AI模型的任務(wù)，必須增加GPU和AI加速器的數(shù)量，才能滿(mǎn)足對(duì)內(nèi)存容量和帶寬的需求?！?/p>

HBM（High Bandwidth Memory，高帶寬內(nèi)存）被認(rèn)為是AI時(shí)代的理想內(nèi)存。HBM的DRAM堆棧采用多層堆疊架構(gòu)，這種設(shè)計(jì)為其帶來(lái)了極高的內(nèi)存帶寬、大容量和高能效，同時(shí)具有極低的延遲和占用面積小等優(yōu)勢(shì)。從HBM第一代到第二代、2E、3E，每一代最明顯的變化就是單個(gè)堆棧帶寬的急劇增加，HBM3E單個(gè)設(shè)備的帶寬已超過(guò)1.2TB/s。目前，HBM3已成為AI訓(xùn)練硬件中不可或缺的內(nèi)存技術(shù)，而HBM3E也為最先進(jìn)的AI加速芯片提供了所需的內(nèi)存帶寬。

在高帶寬內(nèi)存需求的推動(dòng)下，內(nèi)存行業(yè)一直致力于研發(fā)新一代的HBM內(nèi)存，目前，正在開(kāi)發(fā)中的HBM4就是由JEDEC制定標(biāo)準(zhǔn)的下一代技術(shù)。雖然HBM4仍在開(kāi)發(fā)中，但可以肯定的是，其每個(gè)堆棧的帶寬已超越前一代，HBM4的單個(gè)堆棧帶寬或?qū)⑦_(dá)到1.6TB/s，最終的實(shí)際帶寬可能會(huì)更高。

作為主要的內(nèi)存控制器IP提供商，Rambus也認(rèn)識(shí)到了HBM4對(duì)未來(lái)AI技術(shù)發(fā)展的重要性。近期，Rambus推出了業(yè)界首款HBM4控制器IP，旨在加速下一代AI工作負(fù)載。

據(jù)Steven Woo博士介紹，Rambus的這款HBM4控制器IP提供了32個(gè)獨(dú)立通道接口，總數(shù)據(jù)寬度可達(dá)2048位?；谶@一數(shù)據(jù)寬度，當(dāng)數(shù)據(jù)速率為6.4Gbps時(shí)，HBM4的總內(nèi)存吞吐量將比HBM3高出兩倍以上，達(dá)到1.64TB/s。此外，該HBM4內(nèi)存控制器IP還是一個(gè)模塊化、高度可配置的解決方案。

根據(jù)客戶(hù)的不同應(yīng)用場(chǎng)景，Rambus還提供定制化服務(wù)，包括尺寸、性能和功能等方面的定制。關(guān)鍵的可選功能包括ECC、RMW和錯(cuò)誤清理等。Rambus還與第三方PHY供應(yīng)商合作，確?？蛻?hù)在選擇使用第三方PHY時(shí)，能在開(kāi)發(fā)過(guò)程中一次流片成功。

Steven Woo博士表示：“Rambus此次發(fā)布的HBM4控制器IP表明我們正在支持下一代應(yīng)用程序，這將使用戶(hù)以及硬件和軟件開(kāi)發(fā)人員受益?！?/p>

Rambus大中華區(qū)總經(jīng)理蘇雷先生也表示：“我們推出的這款HBM4控制器IP基于Rambus多年來(lái)在HBM內(nèi)存領(lǐng)域積累的豐富經(jīng)驗(yàn)。我們?cè)贖BM市場(chǎng)的份額位居前列。Rambus始終著眼于未來(lái)，并致力于不斷擴(kuò)展內(nèi)存的性能和容量?！?/p>

隨著AI技術(shù)的蓬勃發(fā)展，即將邁入AI 2.0時(shí)代，這將進(jìn)一步提升對(duì)內(nèi)存技術(shù)帶寬和容量的需求。對(duì)于內(nèi)存廠商以及像Rambus這樣的公司來(lái)說(shuō)，這既是一個(gè)挑戰(zhàn)也是一個(gè)機(jī)遇。Rambus此次發(fā)布的HBM4控制器IP正是未雨綢繆之舉，專(zhuān)為AI 2.0而設(shè)計(jì)，滿(mǎn)足AI新時(shí)代對(duì)更高帶寬和更大容量的需求。