3630
作者：豐寧
HBM（HighBandwidth Memory，高帶寬內存）是一款新型的CPU/GPU內存芯片，其實就是將很多個DDR芯片堆疊在一起后和GPU封裝在一起，實現大容量，高位寬的DDR組合陣列。該內存技術突破了內存容量與帶寬瓶頸，被視為新一代DRAM解決方案，也契合了半導體技術小型化、集成化的發(fā)展趨勢。
過去10年里，HBM技術性能不斷升級迭代，已經成為高性能計算領域重要的技術基石之一。2023年初以來，以ChatGPT為代表的AI大模型催生了巨量的算力需求，使HBM成為整個存儲芯片行業(yè)為數不多的比較景氣的細分市場。在當下的HBM市場有兩大熱詞，一個是“HBM3缺貨”另一個便是“HBM4技術競賽”。HBM3缺貨的號角已經吹響很久。
近日SK海力士CEO郭魯正透露，公司今年的HBM產能已經全部售罄，明年訂單也基本售罄。三星電子也透露，HBM產能已售罄。美光科技也在日前的財報電話會議上透露，其HBM產品已全部售罄，且2025年的大部分產能也已被預訂。
盡管HBM產能的緊張狀況日益凸顯，三大原廠也并未因此而減緩新技術開發(fā)的步伐，反而將HBM4的技術競賽推向了更高的熱度。那么HBM4較HBM3有哪些不同？HBM4又能給我們帶來哪些驚喜？HBM4的推進是否會影響HBM3未來產能開出？在此之前，先來了解一下HBM4。
?01、HBM4亮點幾何？
據悉，自2015年以來，從HBM1到HBM3e各種更新和改進中，HBM在所有迭代中都保留了相同的1024位(每個堆棧)接口，即具有以相對適中的時鐘速度運行的超寬接口。
然而，隨著內存?zhèn)鬏斔俾室蟛粩嗵岣?，尤其是在DRAM單元的基礎物理原理沒有改變的情況下，這一速度將無法滿足未來AI場景下的數據傳輸要求。為此，下一代HBM4需要對高帶寬內存技術進行更實質性的改變，即從更寬的2048位內存接口開始。
接口寬度從每堆棧1024位增加到每堆棧2048位，為HBM4帶來突破性變革。采用2048位內存接口，理論上也可以使傳輸速度再次翻倍。例如，英偉達的旗艦Hopper H100 GPU，搭配的六顆HBM3達到6144-bit位寬。如果內存接口翻倍到2048位，英偉達理論上可以將芯片數量減半到三個，并獲得相同的性能。
HBM4在堆棧的層數上也有所變化，除了首批的12層垂直堆疊，預計2027年存儲器廠商還會帶來16層垂直堆疊。堆疊技術的進步意味著在同一物理空間內可以容納更多的內存單元，從而顯著提高內存容量和帶寬。這種高密度堆疊技術對于需要大容量和高速訪問的應用來說是一個巨大的優(yōu)勢，特別是在數據中心和超級計算機中。作為對比，HBM3的堆疊層數主要為8層/12層。
此外，HBM還會往更為定制化的方向發(fā)展，不僅排列在SoC主芯片旁邊，部分還會轉向堆棧在SoC主芯片之上。隨著技術的進步，HBM4E 有望帶來更低的功耗。這將有助于減少系統(tǒng)能耗，降低發(fā)熱，延長設備的電池壽命。與此同時，HBM4E 內存有望在各種領域得到應用，包括人工智能、高性能計算、數據中心、圖形處理等領域，為這些領域帶來更高的性能和效率。
?02、各存儲巨頭各展神通
在技術層面，SK海力士將繼續(xù)采用先進的MR-MUF技術，從而實現 16 層堆疊。
在MR-MUF（批量回流模制底部填充）中，批量回流焊（MR）是通過融化堆疊芯片之間的凸塊，讓芯片互相連接的技術。模塑底部填充（MUF）是在堆疊的芯片之間填充保護材料從而提高耐久性和散熱效果的技術。使用MR-MUF，則可同時封裝多層 DRAM。與此同時SK海力士還致力于芯粒（Chiplet）及混合鍵合（Hybrid bonding）等下一代先進封裝技術的開發(fā)，以支持半導體存儲器和邏輯芯片之間的異構集成，同時促進新型半導體的發(fā)展。根據SK海力士最新公布的信息顯示，HBM4將比第五代HBM3E速度提升40%，而耗電量僅為后者的70%。
SK海力士還計劃在HBM4基礎芯片上采用臺積電的先進邏輯工藝，以便可以將附加功能封裝到有限的空間中。這也有助于 SK 海力士生產定制 HBM，滿足客戶對性能和功效的廣泛需求。SK海力士和臺積電還同意合作優(yōu)化SK海力士的HBM和臺積電的CoWoS（基板上晶圓芯片）技術的集成，同時合作響應常見客戶與HBM相關的要求。SK 海力士總裁兼 AI 基礎設施負責人Justin Kim表示：“我們希望與臺積電建立強有力的合作伙伴關系，以幫助加快我們與客戶的開放合作，并開發(fā)業(yè)界性能最佳的 HBM4。”上個月，兩家公司簽署了諒解備忘錄。
三星：同步開發(fā)混合鍵合和傳統(tǒng)的 TC-NCF 工藝
三星電子在 HBM4 內存鍵合技術方面采用兩條腿走路的策略，同步開發(fā)混合鍵合和傳統(tǒng)的 TC-NCF （thermal compression with non-conductive film非導電薄膜熱壓縮）工藝?；旌湘I合技術作為一種新型的內存鍵合方式，相較于傳統(tǒng)的鍵合工藝，具有顯著的優(yōu)勢。它摒棄了在DRAM內存層間添加凸塊的繁瑣步驟，直接通過銅對銅的連接方式實現上下兩層的連接。這種創(chuàng)新的方式不僅提高了信號傳輸速率，更好地滿足了AI計算對高帶寬的迫切需求，同時也降低了DRAM層間距，使得HBM模塊的整體高度得到縮減?；旌湘I合技術的成熟度和應用成本一直是業(yè)界關注的焦點。為了解決這一問題，三星電子在HBM4內存鍵合技術方面采取了多元化的策略。除了積極推進混合鍵合技術的研究與應用，三星電子還同步開發(fā)傳統(tǒng)的TC-NCF工藝，以實現技術多樣化，降低風險，并提升整體競爭力。
從技術上看，TC-NCF是一種與MR-MUF略有不同的技術。在每次堆疊芯片時，都會在各層之間放置一層不導電的粘合膜。該薄膜是一種聚合物材料，用于使芯片彼此絕緣并保護連接點免受撞擊。這種方法的優(yōu)點是可以最大限度地減少隨著層數增加和芯片厚度減小而可能發(fā)生的翹曲，使其更適合構建更高的堆棧。據悉，SK海力士在第二代HBM之前也使用NCF，但從第三代（HBM2E）開始改用MUF（特別是MR-MUF）。業(yè)內人士認為MUF是SK海力士能夠在HBM市場脫穎而出的原因。也正因此不少人士對三星的技術路線保持懷疑。不過，三星副總裁 Kim Dae-woo 表示，在最多 8 個堆疊時，MR-MUF的生產效率比 TC-NCF 更高，但一旦堆疊達到 12 個或以上，后者將具有更多優(yōu)勢。該副總裁還指出，當 HBM4 推出時，定制請求預計會增加。
美光：HBMnext或出奇招
在HBM芯片上，美光科技也加快了追趕兩家韓國存儲巨頭的步伐。不過在技術細節(jié)上，美光并未公布太多信息。關于未來的布局，美光披露了暫名為HBMnext的下一代HBM內存，業(yè)界猜測這有可能便是其HBM 4。美光預計HBMNext將提供36 GB和64 GB容量，這意味著多種配置，例如12-Hi 24 Gb堆棧(36 GB)或16-Hi 32 Gb堆棧(64 GB)。至于性能，美光宣稱每個堆棧的帶寬為1.5 TB/s–2+TB/s，這意味著數據傳輸速率超過11.5 GT/s/pin。與三星和SK海力士不同，美光似乎并不打算把HBM和邏輯芯片整合到一個芯片中，在下一代HBM產品發(fā)展上，美光或許想要通過HBM-GPU的組合芯片形式以獲得更快的內存訪問速度。不過美媒表示，隨著機器學習訓練模型的增大和訓練時間的延長，通過加快內存訪問速度和提高每個GPU內存容量來縮短運行時間的壓力也將隨之增加，而為了獲得鎖定HBM-GPU組合芯片設計（盡管具有更好的速度和容量）而放棄標準化DRAM的競爭供應優(yōu)勢，可能不是正確的前進方式。
?03、三大原廠的HBM4量產時間
關于量產時間，SK 海力士在 5 月舉行的記者招待會上表示，其 HBM4 內存的量產時間已提前到 2025 年。具體來說，SK 海力士計劃在 2025 年下半年推出采用 12 層 DRAM 堆疊的首批 HBM4 產品，而 16 層堆疊 HBM 稍晚于 2026 年推出。據三星的規(guī)劃，HBM 4將在2025年生產樣品，2026年量產。美光預計將在2026年推出12和16層堆疊的HBM4，帶寬超過1.5TB/ s；到2027~2028年，還將發(fā)布12層和16層堆疊的HBM4E，帶寬可達2TB/s以上。如果按照當前各家的計劃推進，那么SK海力士將先人一步。
?04、臺積電也在為HBM4蓄力
除此之外，臺積電也在積極開發(fā)與優(yōu)化其封裝技術，以支持HBM4的集成。在今年4月的北美技術研討會上，臺積電推出了下一代晶圓系統(tǒng)平臺——CoW-SoW——該平臺將實現與晶圓級設計的 3D 集成。該技術建立在臺積電?2020 年推出的 InFO_SoW 晶圓級系統(tǒng)集成技術的基礎上，該技術使其能夠構建晶圓級邏輯處理器。
據了解，臺積電的CoW-SoW專注于將晶圓級處理器與HBM4內存集成。下一代內存堆棧將采用 2048 位接口，這使得將 HBM4 直接集成在邏輯芯片頂部成為可能。同時，在晶圓級處理器上堆疊額外的邏輯以優(yōu)化成本也可能是有意義的。
隨后在5月中旬的2024年歐洲技術研討會上，臺積電表示，將使用其12FFC+（12nm級）和N5（5nm級）制程工藝制造HBM4芯片。臺積電設計與技術平臺高級總監(jiān)表示：“我們正在與主要的HBM內存合作伙伴（美光、三星、SK海力士）合作，開發(fā)HBM4全棧集成的先進制程，N5制程可以使HBM4以更低的功耗提供更多的邏輯功能。”
N5制程允許將更多的邏輯功能封裝到HBM4中，并實現非常精細的互連間距，這對于邏輯芯片上的直接鍵合至關重要，可以提高AI和HPC處理器的內存性能。相對于N5，臺積電的12FFC+工藝（源自該公司的16nm FinFET 技術）更加經濟，制造的基礎芯片能構建12層和16層的HBM4內存堆棧，分別提供48GB和64GB的容量。
臺積電還在優(yōu)化封裝技術，特別是CoWoS-L和CoWoS-R，以支持HBM4集成。這些先進的封裝技術有助于組裝多達12層的HBM4內存堆棧。新的轉接板能確保2000多個互連的高效路由，同時保持信號完整性。據臺積電介紹，到目前為止，實驗性HBM4內存在14mA時的數據傳輸速率已達到6 GT/s。臺積電還在與Cadence、Synopsys和Ansys等EDA公司合作，對HBM4通道信號完整性、IR/EM和熱精度進行認證。那么，關于HBM4未來的研發(fā)進度，我們是否應擔憂它會侵占HBM3的產能呢？畢竟，HBM3當前的產能狀況已經相當緊張。
?05、HBM4是否會擠壓HBM3的產能？
眾所周知，HBM3市場的主要競爭者也只有SK海力士、三星和美光三大家。
各家HBM3系列產品量產進度
據悉，美光、SK海力士和三星先后在去年7月底、8月中旬、以及10月初向英偉達提供了8層垂直堆疊的HBM3E（24GB）樣品。其中美光和SK海力士的HBM3E在今年初已通過英偉達的驗證，并獲得了訂單。今年3月SK海力士宣布，公司將超高性能用于AI的存儲器新產品HBM3E率先成功量產，從3月末開始向客戶供貨。美光也宣布已開始批量生產其HBM3E解決方案，其首款24GB 8H HBM3E產品將會用于NVIDIA H200 GPU，將于2024年第二季度開始發(fā)貨。不過近日，據DigiTimes報道，三星HBM3E尚未通過英偉達的測試，仍需要進一步驗證。據了解，三星至今未能通過英偉達驗證主要卡在臺積電的審批環(huán)節(jié)。作為英偉達數據中心GPU的制造和封裝廠，臺積電也是英偉達驗證環(huán)節(jié)的重要參與者，傳聞采用的是基于SK海力士HBM3E產品設定的檢測標準，而三星的HBM3E產品在制造工藝上有些許差異，比如SK海力士采用了MR-RUF技術，三星則是TC-NCF技術，這多少會對一些參數有所影響。不過，5月24日，三星否認了有關其高帶寬內存芯片尚未通過英偉達的測試以用于這家美國芯片巨頭的人工智能處理器的報道。三星表示，其與全球各合作伙伴的 HBM 供應測試正在“順利”進展。三星在上個月發(fā)布的2024年第一季度財報中表示，8層垂直堆疊的HBM3E已經在4月量產，并計劃在第二季度內量產12層垂直堆疊的HBM3E，比原計劃里的下半年提前了。按照三星的說法，這是為了更好地應對生成式AI日益增長的需求，所以選擇加快了新款HBM產品的項目進度。HBM的供應緊張局面，主要是來自于英偉達、AMD等芯片巨頭對于HPC和GPU的強勁需求。在此背景下，各大存儲龍頭紛紛掏出重金推進HBM擴產計劃。
擴產動作頻頻
SK海力士在今年4月宣布，計劃擴大包括HBM在內的下一代DRAM的產能，以應對快速增長的AI需求。公司將投資約5.3萬億韓元（約279.84億人民幣）建設M15X晶圓廠，作為新的DRAM生產基地。該公司計劃于4月底開工建設，目標于2025年11月竣工并盡早量產。隨著設備投資計劃逐步增加，新生產基地建設總投資長期將超過20萬億韓元。值得注意的是，在此前的一次電話會議中，SK海力士表示，將擴大HBE生產設施投資，對通過硅通孔（TSV）相關的設施投資將比2023年增加一倍以上，力圖將產能翻倍。近日，SK 海力士產量主管 Kwon Jae-soon表示，該企業(yè)的 HBM3E 內存良率已接近 80%。此外，Kwon Jae-soon 也提到，SK 海力士目前已將 HBM3E 的生產周期減少了 50%。更短的生產用時意味著更高的生產效率，可為英偉達等下游客戶提供更充足的供應。這位高管再次確認?SK 海力士今年的主要重點是生產 8 層堆疊的 HBM3E，因為該規(guī)格目前是客戶需求的核心。三星執(zhí)行副總裁兼DRAM產品與技術部負責人Hwang Sang-joong在加州圣何塞舉行的“Memcon 2024”會議上透露了三星的產能擴增計劃。Hwang表示，三星預計今年的HBM芯片產量將比去年增長2.9倍，這一數字甚至高于三星早些時候在CES 2024上所預測的2.4倍的增長。此外，三星還公布了其HBM技術藍圖，預測到2026年，其HBM的出貨量將比2023年高出13.8倍，而到了2028年，這一數字將進一步攀升至2023年的23.1倍
為了滿足HBM領域的旺盛需求，美光也小幅上調了本財年的資本支出預算，由原計劃的75~80億美元調整為80億美元。美光預計，未來幾年內，其HBM內存位元產能的年均增長率將達到50%。
產能何時開出？HBM4是否沖突HBM3？
觀察發(fā)現，存儲三巨頭的新一代HBM4的推出時間預計最早將落在2025年下半年，而全面步入批量生產的步伐可能需等待至2026年。再細觀各家新產能的籌備情況，SK海力士的新工廠預計將在2025年11月竣工，若竣工后立即投入生產，新產能的啟動亦將緊隨其后，預計在2025年底。三星預測，到2026年，其HBM的出貨量將較2023年激增13.8倍。而美光科技雖在行動上稍顯穩(wěn)健，但從前兩家公司的產能擴展態(tài)勢來看，屆時HBM的產能緊張問題或許已得到緩解，HBM4的量產時機與新產能的啟動有望相互呼應。然而，考慮到新產品上市所需的適配周期和良率提升過程，以及部分訂單從HBM3向HBM4的遷移，HBM4的推進在短期內對HBM3的市場影響或許不會過于顯著。
下載ECAD模型
