HBM比臺積電更重要？

AI算力演進驅(qū)動HBM需求爆發(fā)

海力士 HBM3 芯片, 數(shù)據(jù)來源：海力士官網(wǎng)，財通證券研究所

自2023年初以來，生成式人工智能（AI）模型因其不斷的應(yīng)用和商業(yè)化而受到極大關(guān)注。這些模型的發(fā)展推動了對人工智能基礎(chǔ)設(shè)施的需求，尤其是在算力和通信領(lǐng)域。生成式AI模型，如大型語言模型GPT，需要大量高性能硬件（如GPU和TPU）、龐大的高質(zhì)量數(shù)據(jù)集以及先進的軟件算法。這些模型含有數(shù)十億參數(shù)，需要比傳統(tǒng)SOC更大的存儲空間和內(nèi)存訪問能力。隨著GPT等模型算力需求的增長，對芯片的速度和容量提出了更高的要求。在這個背景下，Chiplet技術(shù)在算力芯片領(lǐng)域的應(yīng)用顯得尤為重要，它不僅降低了大面積芯片的成本和提高了良率，還便于引入高速HBM存儲，從而允許更多計算核心的集成。

作為全球知名的AI計算領(lǐng)導者，NVIDIA占據(jù)了全球約80%的算力芯片市場。2022年發(fā)布的H100 GPU芯片，結(jié)合了Chiplet技術(shù)和臺積電4nm工藝，通過將HBM3顯存子系統(tǒng)集成到芯片中，實現(xiàn)了超高的顯存帶寬和性能。NVIDIA最近推出的AI超級計算機DGX GH200結(jié)合了Arm架構(gòu)的Grace CPU和Hopper架構(gòu)的GPU，具備強大的存儲和通信能力，特別適合于生成式AI模型的訓練。

除了NVIDIA，AMD最新發(fā)布的MI300X GPU是公司迄今為止最先進的AI圖形處理器，明確挑戰(zhàn)NVIDIA的H100 GPU。這款基于Chiplet設(shè)計的加速器擁有多個基于3D堆疊的5nm和6nm小芯片，周圍封裝了大容量HBM3顯存，擁有1530億個晶體管，顯存性能和容量均超過了NVIDIA的H100，非常適合于AI運算和適配大型語言模型。

隨著GPU等AI芯片的發(fā)展，帶寬需求不斷增加，傳統(tǒng)的GDDR5技術(shù)已無法滿足高性能計算場景的需求。HBM通過重新調(diào)整內(nèi)存的功耗效率，使每瓦帶寬比GDDR5高出3倍以上，大大降低了功耗。這些AI芯片的興起不僅促進了HBM等高傳輸能力存儲技術(shù)的發(fā)展，而且成為存儲巨頭應(yīng)對市場下行行情的重要增長點。

英偉達、AMD 目前主流 AI 訓練芯片都采用 HBM 以增加帶寬,來源：AMD、英偉達網(wǎng)站，國金證券研究所

解決內(nèi)存瓶頸，HBM的優(yōu)勢與挑戰(zhàn)？

DRAM 分類結(jié)構(gòu)圖，資料來源：互聯(lián)網(wǎng)公開信息整理，中原證券

HBM（High Bandwidth Memory）是一種高性能的3D DRAM技術(shù)，專門設(shè)計用于解決傳統(tǒng)內(nèi)存技術(shù)在帶寬和容量方面的局限性。這種高帶寬存儲器通過使用TSV（Through-Silicon Vias）技術(shù)，將多個DRAM芯片垂直堆疊在一起，并與GPU或CPU緊密封裝，從而實現(xiàn)了顯著的性能提升。

HBM 通過中介層（Interposer）與 GPU 連接, 資料來源：TrendForce，華安證券研究所

相對于其他類型的DRAM，HBM的主要優(yōu)勢在于其短外部導線長度，這意味著數(shù)據(jù)傳輸速度更快，能耗更低，因此被認為是最理想化的3D DRAM形式之一。這種設(shè)計使HBM能夠突破傳統(tǒng)內(nèi)存技術(shù)的限制，尤其是在內(nèi)存容量和帶寬方面，從而克服了被稱為“內(nèi)存墻”的性能瓶頸。

HBM技術(shù)在提供大容量和高帶寬方面具有顯著優(yōu)勢。例如，最新的HBM3可以達到819GB/s的高帶寬，這遠遠超過了傳統(tǒng)的DDR4和GDDR6內(nèi)存技術(shù)。這種顯著的性能提升對于AI計算、區(qū)塊鏈和數(shù)字貨幣挖礦等需要處理大量數(shù)據(jù)的應(yīng)用場景至關(guān)重要。

除了高性能計算領(lǐng)域外，HBM還被廣泛應(yīng)用于其他硬件，如汽車存儲器、GPU顯存芯片、部分CPU內(nèi)存芯片、邊緣AI加速卡和Chiplets等。例如，在NVIDIA的A100加速卡和富岳超級計算機的A64FX芯片中均應(yīng)用了HBM技術(shù)。隨著異構(gòu)計算和小芯片技術(shù)的發(fā)展，對高帶寬內(nèi)存的需求也在增長。

AI處理器架構(gòu)方面的IO問題也是HBM技術(shù)發(fā)展的重要推動因素。隨著AI模型變得更加復雜，算力需求增加，內(nèi)存帶寬成為了一個關(guān)鍵瓶頸。HBM通過晶片堆疊技術(shù)和硅聯(lián)通層將處理器和存儲器連接起來，提高了集成度和效率，降低了功耗，從而在一定程度上解決了IO瓶頸問題。

HBM的核心技術(shù)挑戰(zhàn)在于TSV技術(shù)的應(yīng)用，它通過在硅芯片內(nèi)部形成通孔并將多個芯片垂直堆疊來實現(xiàn)。這種方法不僅減小了封裝面積，而且允許在相同厚度下堆疊更多的芯片。隨著對更高容量存儲器的需求增加，未來可能需要12層甚至更多層的芯片堆疊技術(shù)。為了實現(xiàn)這一目標，需要減小芯片的厚度、縮小凸塊電極的尺寸，并采用混合鍵合技術(shù)，去除芯片間的填充物，實現(xiàn)直接銅電極連接。

由于 HBM 較傳統(tǒng) GDDR 與 DRAM 具備更高的帶寬，在數(shù)據(jù)流量不斷提升的當下，除了當前的AI 芯片的相關(guān)應(yīng)用以外，未來有望在其他各類邏輯芯片、通信行業(yè)交換機與路由器等都產(chǎn)生較廣闊的應(yīng)用，成為存儲行業(yè)未來新的增長點。

價格上漲與需求激增，三巨頭壟斷HBM市場

2022-2026E HBM 市場規(guī)模預測情況，資料來源：TrendForce，中銀證券測算

HBM的平均售價是DRAM的三倍以上，受到產(chǎn)能限制和生成式AI等應(yīng)用的推動，價格一直上漲。根據(jù)TrendForce數(shù)據(jù)，高端AI服務(wù)器GPU已普遍采用HBM，預計2023年全球HBM需求量將年增近六成，達到2.9億GB，2024年將再增長三成。預測從2023到2027年，HBM市場的復合年均增長率達到82%。根據(jù)DRAMexchange的數(shù)據(jù)，2022年7月31日8Gb DDR4合約價格為2.88美元，2023年同日價格為1.34美元。假設(shè)HBM價格為DDR4的5倍，2023年全球AI服務(wù)器存儲市場規(guī)模預計為76億美元，預計2026年能達到492.4億美元，2023-2026年CAGR為86.4%。

HBM 市占率預測，資料來源：TrendForce，中銀證券

目前HBM市場主要由SK海力士、三星和美光所壟斷。2022年，SK海力士占據(jù)了市場的50%，三星約40%，美光約10%。SK海力士和三星的市占率預計在2023-2024年間將會持平，達到約95%的總市場份額。美光則專注于開發(fā)HBM3e產(chǎn)品，但可能略有下滑。

HBM2014-2022 年發(fā)展歷程，資料來源：SK 海力士官網(wǎng)，三星官網(wǎng)，美光官網(wǎng)，中銀證券整理

SK海力士于2013年率先推出HBM1，2017年推出HBM2，2018年JEDEC推出HBM2E規(guī)范。2021年10月, SK海力士首創(chuàng)于并于2022年6月量產(chǎn)HBM3，三星也將于2023年末至2024年初量產(chǎn)。SK海力士被認為是目前唯一可以實現(xiàn)HBM3量產(chǎn)的廠商。他們最新開發(fā)的HBM3E數(shù)據(jù)傳輸速率提升了25%。三星和美光也積極布局HBM新產(chǎn)品，加速推動12層HBM內(nèi)存的生產(chǎn)。美光的HBM3 Gen 2計劃于2024年初量產(chǎn)，并在2022年宣布推出業(yè)界首款8層24GB HBM3 Gen2內(nèi)存芯片。

2024 年 HBM3 比重有望超越 HBM2e, 數(shù)據(jù)來源：TrendForce、開源證券研究所

根據(jù)TrendForce的數(shù)據(jù)，2023年主流需求從HBM2E轉(zhuǎn)向HBM3，HBM3需求占比提升至39%，預計2024年市場需求占比將達60%。三星與SK海力士的HBM訂單在2023年快速增加，HBM3規(guī)格DRAM價格上漲了5倍。三星電子和SK海力士計劃明年大幅增加高端HBM芯片的產(chǎn)量，SK海力士還將在其清州工廠增加新的HBM生產(chǎn)線。

三大存儲廠商 HBM 產(chǎn)品規(guī)劃情況, 數(shù)據(jù)來源：公司官網(wǎng)，東吳證券研究所

先進封裝的決勝時刻，HBM與chiplet技術(shù)融合

作為一種先進的存儲器技術(shù)，HBM通過硅中介層與系統(tǒng)芯片（SoC）集成在一起。HBM技術(shù)的核心之一是TSV（硅通孔）技術(shù)，它允許多個芯片（通常是4-8層）通過硅穿孔電極垂直堆疊，實現(xiàn)芯片間的連接。隨著市場對高容量存儲器產(chǎn)品需求的增加，預計未來可能需要采用更多層次的多芯片堆疊技術(shù)，例如12-16層甚至更高的堆疊技術(shù)。這種堆疊技術(shù)可以進一步提高存儲器的容量和性能，滿足市場不斷增長的需求。

應(yīng)用于主流 GPU 的 HBM 內(nèi)存技術(shù)持續(xù)升級，資料來源：英偉達官網(wǎng)，AMD 官網(wǎng)，中銀證券整理

SK海力士是在HBM技術(shù)應(yīng)用方面的先驅(qū)之一。2021年，海力士成功開發(fā)出全球首款12層堆疊HBM3 24GB產(chǎn)品，并在2022年實現(xiàn)量產(chǎn)。該產(chǎn)品采用了混合鍵合（HB）技術(shù)，去除了芯片間的填充物，使其直接連接到銅電極上，實現(xiàn)了更高的堆疊層數(shù)。海力士還在與包括Nvidia在內(nèi)的多家無晶圓廠公司討論HBM4的集成設(shè)計方法，預計將在臺積電生產(chǎn)，使用晶圓鍵合技術(shù)將HBM4器件安裝在邏輯芯片上。長江存儲也采用了混合鍵合HB技術(shù)。他們創(chuàng)新地在兩片晶圓上分別制造存儲陣列和外圍控制電路，然后通過HB技術(shù)將兩片晶圓鍵合在一起，這一關(guān)鍵技術(shù)的應(yīng)用使得3D NAND閃存的生產(chǎn)成為可能。

目前，HBM技術(shù)與chiplet技術(shù)的發(fā)展路徑正逐漸擬合。SK 海力士正在與包括 Nvidia 在內(nèi)的多家無晶圓廠公司討論其 HBM4 集成設(shè)計方法。SK 海力士和 Nvidia 很可能會從一開始就共同設(shè)計該芯片，并在臺積電生產(chǎn)，臺積電還將使用晶圓鍵合技術(shù)將 SK 海力士的 HBM4 器件安裝在邏輯芯片上。為了使存儲器和邏輯半導體在同一芯片上作為一個整體工作，聯(lián)合設(shè)計是不可避免的。

海力士提出的HBM4結(jié)構(gòu)將I/O直接構(gòu)建為die-to-die的接口，這正是chiplet的核心工藝。Die-to-die技術(shù)特別適合于存儲和邏輯電路的連接，目前可見的chiplet方案通常是SRAM和CPU的堆疊或是大芯片方案的分區(qū)應(yīng)用。如果海力士能成功地將大容量堆疊應(yīng)用到GPU上，這將是一個領(lǐng)先的嘗試，并可能成為chiplet技術(shù)發(fā)展的關(guān)鍵推動者。

日月光推出的VIPack?先進封裝平臺旨在提供高密度水平和垂直互連解決方案，適用于高效能運算、AI、機器學習等應(yīng)用。此外，他們的FOCoS-Bridge平臺作為六大核心封裝技術(shù)支柱之一，能夠?qū)崿F(xiàn)高密度芯片對芯片連接、高I/O數(shù)量和高速信號傳輸。這些技術(shù)已在大型高效能封裝體中通過橋接連接整合多個ASIC和HBM元件，并且支持多種串列和平行接口標準，如XSR、BOW、OpenHBI、AIB和UCIe，實現(xiàn)晶片對晶片的高頻寬、低延遲互連。這些進展預示著日月光及其他先進封裝技術(shù)領(lǐng)導者將在市場上扮演越來越重要的角色，特別是在滿足全球AI高算力芯片應(yīng)用需求方面。

全球部分先進封裝解決方案（2D/2.5D/3D）,來源：CEIA 電子智造，李楊《先進封裝與異構(gòu)集成》，信達證券研發(fā)中心

在先進封裝技術(shù)的決勝時刻，產(chǎn)業(yè)鏈的變化已經(jīng)非常明顯。例如，日月光最近在與Nvidia和TSMC討論CoWoS產(chǎn)能外移的問題，目標是增加同樣面積下的晶體管密度和數(shù)據(jù)傳輸量。這種合作可能使得日月光能夠避免后續(xù)成熟封裝工藝的重復建設(shè)，同時幫助Nvidia解決CoWoS產(chǎn)能不足的問題，促進先進封裝技術(shù)的發(fā)展。

隨著HBM4的設(shè)計成熟，Chiplet技術(shù)的發(fā)展將更加順暢。Chiplet本質(zhì)是類似于SoC的復用IP模式，存儲廠和TSMC能找到共同點，例如，合作以免相互競爭。AMD的2.5D或3D主要堆疊SRAM，但現(xiàn)在海力士攜帶最好的DRAM和HBM與TSMC的最佳5nm工藝合作，預示著Chiplet技術(shù)的重大進步。如果HBM+Chiplet應(yīng)用普及，對球鋁的需求可能會達到1000噸。封裝前道的散熱主要依賴材料和die堆疊，die越大、層數(shù)越多、體積越大，則材料使用量越多。HBM4方案可能會導致對球硅和球鋁的大量需求。

總結(jié)：HBM比臺積電更重要？

在AI時代，HBM已成為一項關(guān)鍵技術(shù)，它的出現(xiàn)和發(fā)展對傳統(tǒng)存儲技術(shù)構(gòu)成了重大挑戰(zhàn)，同時為未來人工智能和深度學習應(yīng)用的發(fā)展提供了強大的基礎(chǔ)支持。隨著數(shù)據(jù)量和計算量的不斷增長，超越現(xiàn)有DDR/GDDR帶寬瓶頸的HBM可能成為解決存儲問題的唯一方案。

11月14日，英偉達發(fā)布的NVDA H200顯卡進一步加強了這種趨勢。得益于HBM3e的搭載，H200顯卡擁有141GB的內(nèi)存和4.8TB/秒的帶寬。在GPU架構(gòu)無需調(diào)整的情況下，其推理速度達到了前代產(chǎn)品H100的兩倍。HBM3E是一種基于3D堆疊工藝的DRAM存儲芯片，AI服務(wù)器對其需求強烈。在摩爾定律放緩、GPU核心利用率不足的背景下，對高帶寬存儲的需求反而成為了性能提升的瓶頸，HBM因此成為破局的關(guān)鍵。當前H200搭載的HBM3e為海力士新一代產(chǎn)品，明年三星和美光也有望同步量產(chǎn)，標志著新一輪行業(yè)趨勢的到來。

HBM的使用采用了Chiplet技術(shù)，其中關(guān)鍵的材料包括TSV（穿透硅孔）和LMC（液態(tài)塑封料）。隨著HBM堆疊層數(shù)的增加，液態(tài)塑封料（LMC）、顆粒狀塑封料（GMC）、TSV電鍍液等材料的需求也隨之增長。同時，為了提高HBM的IO密度，需要增加每層芯片的TSV通孔數(shù)量，這也對電鍍液等材料提出了更高的要求。

筆者認為，從經(jīng)濟角度來看，HBM技術(shù)的發(fā)展和應(yīng)用對于相關(guān)企業(yè)來說，意味著賣價的提升和利潤的增加。盡管生產(chǎn)成本變化不大，但賣價的提高使得利潤回到正值。海力士和三星等大型原廠正在對HBM的產(chǎn)能進行調(diào)整，以匹配當前AI領(lǐng)域的需求。這種產(chǎn)能調(diào)配也帶來了較高的毛利。由于各家企業(yè)現(xiàn)在都在減少普通產(chǎn)品的產(chǎn)能，轉(zhuǎn)而增加HBM等高性能產(chǎn)品的生產(chǎn)，這導致供應(yīng)量的減少，進而推動了產(chǎn)品價格的上升。因此，HBM技術(shù)不僅在技術(shù)層面上對AI和深度學習的發(fā)展起到了推動作用，也在經(jīng)濟層面為相關(guān)企業(yè)帶來了顯著的利益增長。

最后，NVDAH200的發(fā)布揭示了算力下一步提升路徑。某位存儲廠商高管對筆者表示，“H200證明HBM比臺積電更重要”。英偉達證明了就算不添加更多CUDA核或超頻，只增加更多的HBM和更快的IO，即便保持現(xiàn)有Hopper架構(gòu)不便，依然可以實現(xiàn)相當于架構(gòu)代際升級的性能提升。