AI時代的存力騰飛

作者：九林

在數(shù)字經(jīng)濟(jì)大潮下，數(shù)據(jù)已經(jīng)成為新型的生產(chǎn)資料。

目前數(shù)據(jù)中心有三大力量：計算的力量——算力、存儲的力量——存力、運(yùn)輸?shù)牧α俊\(yùn)力，即網(wǎng)絡(luò)的力量。算力產(chǎn)業(yè)鏈正在火熱發(fā)展的同時，存力的需求也大幅度提升。2023年上半年，我國存力規(guī)模增長了23%，達(dá)到了1080EB。

為何存力越來越受到重視？因為不論大模型演進(jìn)還是算力中心發(fā)展，都離不開海量的數(shù)據(jù)基礎(chǔ)，和數(shù)據(jù)息息相關(guān)的存儲。

中國工程院院士倪光南曾指出：“各地都在建AI算力中心，往往大家關(guān)心的就是每秒多少次的運(yùn)算，這是算力，這顯然很重要。但是AI計算從科學(xué)的角度來看應(yīng)該用廣義的算力來表示，存力、算力和運(yùn)力三者合起來構(gòu)成廣義算力。”

?01、存力的定義

隨著智能世界的到來，數(shù)據(jù)量正在以驚人的速度增長，預(yù)計到2030年，全球數(shù)據(jù)將進(jìn)入YB時代。有數(shù)據(jù)的地方就需要數(shù)據(jù)存儲，如何將數(shù)據(jù)進(jìn)行妥善、安全地存儲，就顯得尤為重要，有賴于數(shù)據(jù)存儲的綜合能力，即數(shù)據(jù)存力。

計算存儲能力的容量，采用單位GDP存儲容量來確保不同國家的可比性，即用數(shù)據(jù)存儲空間容量除以GDP規(guī)模。每一萬美元GDP對應(yīng)的存力容量越高，表明該國的數(shù)據(jù)存力容量水平越高，該國數(shù)字經(jīng)濟(jì)在GDP中的滲透程度越高，能更好支撐經(jīng)濟(jì)社會高質(zhì)量發(fā)展。

各國單位GDP存儲容量表現(xiàn)測算結(jié)果顯示，新加坡、捷克、美國等發(fā)達(dá)國家的單位GDP存儲容量較高，每一萬美元的GDP對應(yīng)的存儲容量分別達(dá)46.7GB、33.4GB、33.3GB，存儲在經(jīng)濟(jì)發(fā)展中的支撐能力較為明顯。

南非、俄羅斯、中國等經(jīng)濟(jì)體量較大的發(fā)展中國家處于中間水平，每一萬美元GDP對應(yīng)的存儲容量在23GB和31GB之間。

通過計算一國數(shù)據(jù)存儲容量除以一國數(shù)據(jù)總產(chǎn)量可以反映當(dāng)年一個國家或地區(qū)所生產(chǎn)的所有數(shù)據(jù)中，有多大占比可以被存儲，以反映存力的充足性可以衡量一個國家的數(shù)據(jù)存力是否足夠充足以支撐其經(jīng)濟(jì)社會高質(zhì)量的發(fā)展需求。

各國數(shù)據(jù)存力充足性表現(xiàn)全球范圍內(nèi)，每萬億美元GDP匯聚的數(shù)據(jù)量均保持14.5%的快速增長態(tài)勢，北美的美國、加拿大等發(fā)達(dá)國家更是達(dá)到16.8%，反映出數(shù)據(jù)量增長的迅猛之勢。存力投資增長率指標(biāo)使用2017年-2019年三年間各國的存儲投資的年復(fù)合增長率來衡量各國增長動能。高增長率體現(xiàn)的是在各國已有的數(shù)據(jù)存儲規(guī)模之上數(shù)據(jù)存儲的發(fā)展速度和潛力。

各國存力投資增長率表現(xiàn)沙特、中國、俄羅斯等發(fā)展中國家的存儲市場增長迅速2017-2019年復(fù)合存力投資增長率均超過40%。存力作為算力的重要組成部分，隨著大模型對算力需求的爆發(fā)式增長，行業(yè)對存儲能力提出了更高的需求，先進(jìn)存力也成為了算力高質(zhì)量發(fā)展的重要發(fā)展方向。

?02、AI時代，存力如何演進(jìn)？

AI時代對于存儲提出了更多的要求：高速數(shù)據(jù)處理：尤其是深度學(xué)習(xí)模型，AI需要快速處理和分析龐大數(shù)據(jù)集，這要求存儲系統(tǒng)必須具備高效的數(shù)據(jù)讀寫能力。

大容量存儲：隨著數(shù)據(jù)量的劇增，存儲系統(tǒng)需要更大的空間來容納訓(xùn)練數(shù)據(jù)、模型參數(shù)及推理結(jié)果。

低延遲訪問：實時AI應(yīng)用對存儲系統(tǒng)的響應(yīng)速度要求極高，低延遲的存儲解決方案能顯著提高處理速度和應(yīng)用響應(yīng)時間。

可擴(kuò)展性：存儲系統(tǒng)必須能夠隨著AI應(yīng)用的擴(kuò)展而靈活增長，適應(yīng)日益增長的存儲需求。按照調(diào)取速度的快慢和成本的高低，AI時代需要的內(nèi)存和存儲器可以分為四種。

最末的層級，處于金字塔的低端，對應(yīng)的是速度較慢的、成本較低的SSD存儲產(chǎn)品。SSD屬于數(shù)據(jù)存儲的底座，相較于DRAM解決的主要是計算時數(shù)據(jù)傳輸的問題，巨量數(shù)據(jù)保存還是依靠NAND Flash制成的SSD、嵌入式存儲。

“SSD（固態(tài)硬盤）將成為AI的一部分。”?

花旗分析師Peter Lee日前發(fā)布報告，提醒投資者注意即將到來的“更換周期”，SSD可能會取代硬盤驅(qū)動器用于AI。他指出，SSD“更適合AI訓(xùn)練應(yīng)用”，因為其速度較HDD快40倍。SSD的演進(jìn)主要通過兩方面：一方面是容量，另一方面是性能和功耗。

一方面，AI時代對于高容量的SSD需求正在快速上升。需要SSD不僅有更大的存儲容量，還要能夠在不犧牲性能的前提下，通過技術(shù)的改進(jìn)等提高NAND密度。隨著 TLC 閃存架構(gòu)開始達(dá)到原始存儲容量的極限（就像之前的 SLC 和 MLC 一樣），QLC 代表了希望不斷突破主流消費(fèi) SSD 容量極限的 SSD 制造商的未來。目前，存儲廠商都已經(jīng)發(fā)布QLC閃存。

三星發(fā)布的新一代 QLC NAND 閃存，其面積密度極高，達(dá)到每平方毫米 28.5 Gbit。SK海力士的子公司，Solidigm推出了采用QLC閃存的61.44 TB D5-P5336 SSD產(chǎn)品。從最新的需求來看，TrendForce集邦咨詢表示，第二季AI服務(wù)器對大容量SSD的需求持續(xù)看漲，除了推升第二季Enterprise SSD合約價格續(xù)漲超過兩成，預(yù)估第二季Enterprise SSD營收成長幅度仍有機(jī)會續(xù)增20%，QLC大容量產(chǎn)品的需求動能明顯優(yōu)于其他容量。

另一方面，在性能和功耗方面，隨著數(shù)據(jù)中心對于存儲設(shè)備速度要求的不斷提升，SSD需要提供更高的IOPS（每秒輸入輸出操作次數(shù)）和帶寬（GBPS），同時在保證高性能的同時必須有效控制功率消耗，實現(xiàn)單位性能所需的能耗降低。

協(xié)議接口和NAND接口速率是最大助力點(diǎn)。目前，為了追求高性能，NVMe/PCIe SSD是數(shù)據(jù)中心的高性能標(biāo)配。PCIe5.0的規(guī)范早在5年前就已經(jīng)發(fā)布，不過散熱、信號損耗等問題一直是阻止PCIe5.0 SSD在PC市場推廣的重要原因。不過，隨著技術(shù)的普及，PCIe5.0的市場份額將不斷擴(kuò)大。三星半導(dǎo)體也預(yù)計，PCIe5.0很快會應(yīng)用于PC端的SSD產(chǎn)品。此外，目前PCIe 6.0已經(jīng)發(fā)布，將把數(shù)據(jù)傳輸速率從PCIe 5.0的32 GT/s和PCIe 4.0的16 GT/s提高到每引腳64 GT/s，PCIe 6.0 ×16通道單向理論數(shù)據(jù)傳輸速度達(dá)到了128 GB/s（雙向256 GB/s）。

第三層級，則是可以以更高性價比給大模型提供跟大容量的CXL的內(nèi)存擴(kuò)展方案。需要注意的是，PCLe是可擴(kuò)展且有層次的，帶有嵌入式交換機(jī)或交換機(jī)芯片，支持一個根端口與多個終端連接，例如多個存儲設(shè)備（以及以太網(wǎng)卡和顯示驅(qū)動程序等其他終端）。然而，這種實現(xiàn)方式在一種帶有孤立內(nèi)存池的大型系統(tǒng)中存在局限，這種系統(tǒng)中的處理器和加速器在同一個 64 位地址空間內(nèi)共享相同的數(shù)據(jù)和內(nèi)存空間進(jìn)行異構(gòu)計算。

與使用 CXL 的替代實現(xiàn)方案相比，缺乏緩存一致性機(jī)制會導(dǎo)致這些應(yīng)用的內(nèi)存性能低下，延遲不可接受。因此，雖然 64GT/s 的 PCIe 6.0.1 的引入有助于增加存儲應(yīng)用程序的可用帶寬，而延遲增加很少或沒有增加，但一致性的缺乏仍然限制了 PCIe 應(yīng)用程序，如傳統(tǒng)的 SSD 這種塊存儲設(shè)備。對于這些存儲應(yīng)用，使用 PCIe 作為傳輸接口的 NVMe 已經(jīng)占據(jù)了 SSD 技術(shù)的主導(dǎo)地位。

正在開發(fā)中的下一代 SSD，它們將使用 CXL 接口替代 PCIe。

從產(chǎn)品來看，三星有兩款CXL存儲模組用在數(shù)據(jù)存儲方面。一款是已經(jīng)推出的第一代基于SoC的CXL2.0產(chǎn)品CMM-D，三星半導(dǎo)體計劃在2025年發(fā)布搭載第二代控制器、容量為128GB的新產(chǎn)品。與此同時，三星還在不斷研發(fā)同時使用NAND和DRAM的混合式CXL存儲模組架構(gòu)CMM-H，該架構(gòu)針對AI和ML系統(tǒng)使用。美光推出了CZ120 CXL內(nèi)存擴(kuò)展方案，最多可以擴(kuò)展2TB內(nèi)存容量。此外，添加可擴(kuò)展內(nèi)存后，Llama2 LLM的推理性能提升了22%，可以更大程度釋放GPU性能。

第二層級，是速度更快，價格也更高的DDR內(nèi)存。

DDR、LPDDR、GDDR是基于DRAM的三種內(nèi)存規(guī)范或標(biāo)準(zhǔn)。DDR因其性能和成本優(yōu)勢成為目前PC和服務(wù)器端主流內(nèi)存。2020年，為解決從客戶端系統(tǒng)到高性能服務(wù)器的廣泛應(yīng)用所面臨的性能和功耗挑戰(zhàn)，JEDEC（固態(tài)技術(shù)協(xié)會）正式發(fā)布了下一代主流內(nèi)存標(biāo)準(zhǔn)DDR5 SDRAM的最終規(guī)范(JESD79-5)。JEDEC將DDR5描述為一種“具備革命意義”的內(nèi)存架構(gòu)。與DDR4相比，DDR5具備更高速度、更大容量和更低能耗等特點(diǎn)。DDR5內(nèi)存的最高傳輸速率達(dá)6.4Gbps，比DDR4高出一倍。如今，無論是 PC、筆記本電腦還是人工智能，各行業(yè)正在加速向 DDR5 新紀(jì)元邁進(jìn)。2024年年初DDR5供不應(yīng)求，缺口達(dá)3%。據(jù)市場消息人士預(yù)測，得益于生成式人工智能（GenAI）的需求，DDR5在內(nèi)存市場的滲透率將加速增加，預(yù)計將在2024年下半年達(dá)到兩位數(shù)百分比。目前在AI服務(wù)器中的另一個趨勢則是DDR轉(zhuǎn)向GDDR。DDR存儲器的設(shè)計延遲極低，它的目的是盡可能快地傳輸少量緩存數(shù)據(jù)，來配合CPU進(jìn)行串行計算。而顯卡多為并行任務(wù)，有大量重復(fù)存取需求，但它對于延時的要求沒有CPU那么高。于是，具有更大帶寬和更高頻率的GDDR出現(xiàn)了。今天GDDR的標(biāo)準(zhǔn)更新到了第七代，也就是GDDR7。美光已經(jīng)宣布了將用于顯示卡的新一代GDDR7顯示存儲器開始送樣測試，相比前一代GDDR6顯示存儲器將可提升60%資料傳輸頻寬，同時也新增睡眠模式，將使待機(jī)能耗降低70%。

第一個層級處于金字塔頂端，對應(yīng)工作速度非?？?，但是成本非常昂貴的內(nèi)存，比如HBM。

作為內(nèi)存芯片，它可以將大量數(shù)據(jù)快速喂養(yǎng)給GPU。HBM是高帶寬存儲器，是基于3D堆棧工藝的高性能DRAM，其實就是將很多個DDR芯片堆疊在一起后和GPU封裝在一起，實現(xiàn)大容量，高位寬的DDR組合陣列。HBM 解決了傳統(tǒng) GDDR 遇到的“內(nèi)存墻”問題，采用了近存計算架構(gòu)，不通過外部連線的方式與 GPU/CPU/Soc 連接，而是通過中間介質(zhì)層緊湊快速地連接信號處理器芯片，極大的節(jié)省了數(shù)據(jù)傳輸所使用的時間與耗能。

HBM的技術(shù)方面已經(jīng)發(fā)展至第五代。分別是：HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）。對于規(guī)格更高的HBM4，可能在2026年推出。HBM的市場方面，在2023年的全球HBM市場，SK海力士市占率有望提升至53%，三星市占率為38%、美光市占率約為9%。不過，5日美光宣布預(yù)計2024會計年度將搶下HBM市場超過20%的份額。AMD 和 NVIDIA 兩家尖端的 GPU都陸續(xù)配備了 HBM。

?03、存儲的下一站：存算一體

到這里，我們已經(jīng)能看到存力不斷演進(jìn)的過程。從一開始的數(shù)據(jù)存儲SSD，再到數(shù)據(jù)計算DDR5，再到進(jìn)一步解決數(shù)據(jù)傳輸問題的HBM，存儲一直在解決數(shù)據(jù)存取的效率問題。因此，存儲的下一步，關(guān)鍵還是在打破“存儲墻”。

存算一體的優(yōu)勢正是解決傳統(tǒng)馮·諾依曼架構(gòu)下的“存儲墻”和“功耗墻”問題。消除不必要的數(shù)據(jù)搬移延遲和功耗，并使用存儲單元提升算力，成百上千倍的提高計算效率，降低成本。

AMD、特斯拉、三星、阿里巴巴等公司都曾在公開場合表示，下一代技術(shù)的儲備和演進(jìn)的方向是在“存算一體”技術(shù)架構(gòu)中尋找新的發(fā)展動能。例如，阿里達(dá)摩院就曾表示，相比傳統(tǒng)CPU計算系統(tǒng)，存算一體芯片的性能可以提升10倍以上，能效提升超過300倍。

目前，存算一體的技術(shù)路徑大致分為近存計算（PNM）、存內(nèi)處理（PIM）、存內(nèi)計算（CIM）。國際巨頭比如英特爾、IBM、特斯拉、三星、阿里等，探索磁性存儲器（MRAM）、憶阻器（RRAM）等產(chǎn)品相繼量產(chǎn)；國內(nèi)方面知存科技、億鑄科技、九天睿芯等初創(chuàng)公司都在押注PIM、CIM等“存”與“算”更親密的存算一體技術(shù)路線。