強攻GPU，TPU芯片一夜躥紅

作者：豐寧

自ChatGPT爆火之后，AI大模型的研發(fā)層出不窮，而在這場“百模大戰(zhàn)”激戰(zhàn)正酣之際，美國芯片公司英偉達卻憑借其GPU在大模型計算中的出色發(fā)揮賺得盆滿缽滿。

然而，近日蘋果的一項舉動，給英偉達的火熱稍稍降溫。

?01、AI模型訓(xùn)練，蘋果選擇TPU而非GPU

英偉達一直是 AI 算力基礎(chǔ)設(shè)施領(lǐng)域的領(lǐng)導(dǎo)者，在 AI 硬件市場，尤其是 AI 訓(xùn)練領(lǐng)域，其市場份額在 80% 以上，英偉達GPU一直是亞馬遜、微軟、Meta、OpenAI 等眾多科技巨頭在 AI 和機器學(xué)習(xí)領(lǐng)域的首選算力解決方案。因此，英偉達也持續(xù)遭遇行業(yè)內(nèi)多元挑戰(zhàn)，競爭對手中不乏自主研發(fā)GPU的強者，亦有探索創(chuàng)新架構(gòu)的先驅(qū)。谷歌的TPU也憑借其獨特優(yōu)勢，成為英偉達不容忽視的強大對手。

7月30日，蘋果公司發(fā)布了一篇研究論文。在論文中，蘋果介紹了給Apple Intelligence提供支持的兩個模型——AFM-on-device（AFM是蘋果基礎(chǔ)模型的縮寫）和 AFM-server（一個基于服務(wù)器的大語言模型），前者是一個30億參數(shù)的語言模型，后者則是一個基于服務(wù)器的語言模型。

蘋果在論文中表示，為了訓(xùn)練其AI模型，使用了谷歌的兩種張量處理器（TPU），這些單元被組成大型芯片集群。為了構(gòu)建可在iPhone和其他設(shè)備上運行的AI模型AFM-on-device，蘋果使用了2048個TPUv5p芯片。對于其服務(wù)器AI模型AFM-server，蘋果部署了8192個TPUv4處理器。蘋果放棄英偉達 GPU 轉(zhuǎn)向谷歌 TPU 的戰(zhàn)略選擇，在科技界投下了一枚震撼彈，當(dāng)日英偉達股價應(yīng)聲下跌超 7%，創(chuàng)下三個月來最大跌幅，市值蒸發(fā) 1930 億美元。業(yè)內(nèi)人士表示，蘋果的決定表明一些大型科技公司在人工智能訓(xùn)練方面可能正在尋找英偉達圖形處理單元的替代品。

?02、TPU VS GPU，誰更適合大模型？

在討論TPU與GPU誰更適合大模型之前，我們需要對這兩者有一個初步的了解。

TPU與GPU對比

TPU全稱Tensor Processing Unit，是谷歌專門為加速機器學(xué)習(xí)工作負載而設(shè)計的專用芯片，它主要應(yīng)用于深度學(xué)習(xí)模型的訓(xùn)練和推理。值得注意的是，TPU也屬于 ASIC芯片的一類，而ASIC是一種為了某種特定的需求而專門定制的芯片。GPU大家就比較熟悉了，GPU是最初為圖形渲染設(shè)計的處理器，后來廣泛用于并行計算和深度學(xué)習(xí)。它具有強大的并行處理能力，經(jīng)過優(yōu)化后的GPU，也非常適合深度學(xué)習(xí)和科學(xué)計算等并行任務(wù)?？梢钥吹剑@兩種不同的芯片在初始設(shè)計時便有著各自不同的目標(biāo)。與傳統(tǒng)的 CPU 相比，GPU 的并行計算能力使其特別適合處理大規(guī)模數(shù)據(jù)集和復(fù)雜計算任務(wù)，于是在 AI 大模型爆發(fā)的近幾年，GPU 一度成為?AI 訓(xùn)練的算力硬件首選。然而，隨著AI大模型的不斷發(fā)展，計算任務(wù)在指數(shù)級地日益龐大與復(fù)雜化，這對計算能力與計算資源提出了全新的要求，GPU 用于 AI 計算時的算力利用率較低、能耗較高的能效比瓶頸，以及英偉達 GPU 產(chǎn)品的價格高昂和供貨緊張，讓本就是為深度學(xué)習(xí)和機器學(xué)習(xí)而生的 TPU 架構(gòu)受到更多的關(guān)注。GPU在這一領(lǐng)域的霸主地位開始面臨挑戰(zhàn)。據(jù)悉，谷歌早在 2013 年就開始在內(nèi)部研發(fā)專用于 AI 機器學(xué)習(xí)算法的芯片，直到 2016 年這款自研的名叫 TPU 的芯片才被正式公開。在 2016 年 3 月打敗李世石和 2017 年 5 月打敗柯杰的 AlphaGo，就是使用谷歌的 TPU 系列芯片訓(xùn)練而成。如果說TPU更適合用作AI大模型訓(xùn)練，不具體說明它的“本領(lǐng)”恐怕難以令眾人信服。

TPU如何適合大模型訓(xùn)練？

首先，TPU具有多維度的計算單元提高計算效率。相較于 CPU 中的標(biāo)量計算單元和 GPU 中的矢量計算單元，TPU 使用二維乃至更高維度的計算單元完成計算任務(wù)，將卷積運算循環(huán)展開的方式實現(xiàn)最大限度的數(shù)據(jù)復(fù)用，降低數(shù)據(jù)傳輸成本，提升加速效率。

其次，TPU具有更省時的數(shù)據(jù)傳輸和高效率的控制單元。馮諾依曼架構(gòu)帶來的存儲墻問題在深度學(xué)習(xí)任務(wù)當(dāng)中尤為突出，而 TPU 采用更為激進的策略設(shè)計數(shù)據(jù)傳輸，且控制單元更小，給片上存儲器和運算單元留下了更大的空間。

最后，TPU具有設(shè)計面向 AI 的加速，強化 AI/ML 計算能力。定位準(zhǔn)確，架構(gòu)簡單，單線程控制，定制指令集，TPU 架構(gòu)在深度學(xué)習(xí)運算方面效率極高，且易于擴展，更適合超大規(guī)模的 AI 訓(xùn)練計算。

據(jù)悉，谷歌?TPUv4 與英偉達?A100 相比的功耗低 1.3-1.9 倍，在 Bert、ResNet等多類工作模型中，效率高于A100 1.2- 1.9 倍；同時其 TPUv5/TPU Trillium產(chǎn)品相比 TPUv4，能夠進一步提升 2 倍/接近 10 倍的計算性能?？梢钥吹焦雀鑄PU產(chǎn)品相比英偉達的產(chǎn)品在成本與功耗上存在更多優(yōu)勢。在今年5月的I / O 2024 開發(fā)者大會上，Alphabet首席執(zhí)行官桑達爾·皮查伊（Sundar Pichai）宣布了第六代數(shù)據(jù)中心 AI 芯片 Tensor 處理器單元（TPU）--Trillium，稱該產(chǎn)品的速度幾乎是上一代產(chǎn)品的五倍，并表示將于今年晚些時候推出交付。

谷歌表示，第六代Trillium芯片的計算性能比TPU v5e芯片提高4.7倍，能效比v5e高出67%。這款芯片旨在為從大模型中生成文本和其他內(nèi)容的技術(shù)提供動力。谷歌還表示，第六代Trillium芯片將在今年年底可供其云客戶使用。谷歌的工程師通過增加高帶寬內(nèi)存容量和整體帶寬實現(xiàn)了額外的性能提升。人工智能模型需要大量的高級內(nèi)存，而這一直是進一步提高性能的瓶頸。

值得注意的是，谷歌并不會以獨立產(chǎn)品的形態(tài)單獨出售自己的TPU 芯片，而是通過谷歌云平臺（ Google Cloud Platform，簡稱 GCP）向外部客戶提供基于 TPU 的算力服務(wù)。在這一方案上也可窺見谷歌的聰明之處：直接銷售硬件涉及高昂的開銷和復(fù)雜的供應(yīng)鏈管理。而通過云服務(wù)提供TPU，谷歌可以簡化安裝、部署和管理過程，減少不確定性和額外開銷。這樣的模式也簡化了銷售流程，無需額外建立硬件銷售團隊。

另外，谷歌正在與OpenAI就生成性AI進行激烈的競爭，如果谷歌開始銷售TPU，它將同時與兩個強大的對手競爭：英偉達和OpenAI，這可能不是目前最明智的策略。文章說到這里，可能會有人發(fā)問：既然TPU具有如此出色的性能優(yōu)勢，是否會在很快的未來取代GPU？

?03、現(xiàn)在談取代GPU？或許為時尚早

這一問題也并沒有這么簡單。只說TPU的優(yōu)勢，不講GPU的優(yōu)勢，可謂是一葉障目。

接下來我們還要了解一下相比TPU，GPU又是如何適用于當(dāng)前的AI大模型訓(xùn)練。我們看到TPU的優(yōu)勢在于出眾的能效比與單位成本算力指標(biāo)，然而作為一種ASIC芯片，其試錯成本高的劣勢也較為明確。此外，在生態(tài)系統(tǒng)的成熟度方面。GPU 經(jīng)過多年的發(fā)展，擁有龐大且成熟的軟件和開發(fā)工具生態(tài)。眾多的開發(fā)者和研究機構(gòu)長期基于 GPU 進行開發(fā)和優(yōu)化，積累了豐富的庫、框架和算法。而 TPU 的生態(tài)相對較新，可用的資源和工具可能不如 GPU 豐富，這對于開發(fā)者來說可能增加了適配和優(yōu)化的難度。

在通用性方面。GPU 最初是為圖形渲染設(shè)計，但其架構(gòu)具有較高的靈活性，能夠適應(yīng)多種不同類型的計算任務(wù)，不僅僅局限于深度學(xué)習(xí)。這使得 GPU 在面對多樣化的應(yīng)用場景時具有更強的適應(yīng)性。相比之下，TPU 是專為機器學(xué)習(xí)工作負載定制設(shè)計的，對于其他非機器學(xué)習(xí)相關(guān)的計算任務(wù)，可能無法像 GPU 那樣有效地處理。最后，GPU 市場競爭激烈，各廠商不斷推動技術(shù)創(chuàng)新和產(chǎn)品更新，新的架構(gòu)和性能提升較為頻繁。

而 TPU 的發(fā)展主要由谷歌主導(dǎo)，其更新和演進的節(jié)奏可能相對較慢，整體來說，英偉達和谷歌在 AI 芯片上的策略各有側(cè)重：英偉達通過提供強大的算力和廣泛的開發(fā)者支持，推動 AI 模型的性能極限；而谷歌則通過高效的分布式計算架構(gòu)，提升大規(guī)模 AI 模型訓(xùn)練的效率。這兩種不同的路徑選擇，使得它們在各自的應(yīng)用領(lǐng)域中都展現(xiàn)出了獨特的優(yōu)勢。

蘋果選擇谷歌TPU的原因可能在于以下幾點：首先，TPU在處理大規(guī)模分布式訓(xùn)練任務(wù)時表現(xiàn)出色，提供高效、低延遲的計算能力；其次，使用Google Cloud平臺，蘋果可以降低硬件成本，靈活調(diào)整計算資源，優(yōu)化AI開發(fā)的總體成本。此外，谷歌的AI開發(fā)生態(tài)系統(tǒng)還提供了豐富的工具和支持，使得蘋果能夠更高效地開發(fā)和部署其AI模型。

蘋果的實例證明了TPU在大模型訓(xùn)練上的能力。但相比于英偉達，TPU目前在大模型領(lǐng)域的應(yīng)用依舊還是太少，背后更多的大模型公司，包括OpenAI、特斯拉、字節(jié)跳動等巨頭，主力AI數(shù)據(jù)中心依然是普遍采用英偉達GPU。因此，現(xiàn)在就下定義說谷歌的TPU可以打敗英偉達的GPU或許為時尚早，不過TPU一定是一個具有極強挑戰(zhàn)力的選手。

?04、GPU的挑戰(zhàn)者，不只TPU

中國也有押注TPU芯片的企業(yè)—中昊芯英。中昊芯英創(chuàng)始人楊龔軼凡曾在谷歌作為芯片研發(fā)核心人員，深度參與了谷歌TPU 2/3/4的設(shè)計與研發(fā)，在他看來，TPU是為AI大模型而生的優(yōu)勢架構(gòu)。

2023年，中昊芯英“剎那”芯片正式誕生?！皠x那”芯片憑借其獨特的1024片芯片高速片間互聯(lián)能力，構(gòu)建了名為“泰則”的大規(guī)模智算集群，其系統(tǒng)集群性能遠超傳統(tǒng)GPU數(shù)十倍，為超千億參數(shù)AIGC大模型的訓(xùn)練與推理提供了前所未有的算力保障。這一成就不僅彰顯了中昊芯英在AI算力技術(shù)領(lǐng)域的深厚積累，更為國產(chǎn)芯片在國際舞臺上贏得了寶貴的一席之地。

然而，在如今人工智能淘金熱，但英偉達H100芯片供不應(yīng)求、價格昂貴的背景下，大大小小的企業(yè)都在尋求替代英偉達的AI芯片產(chǎn)品，其中包括走傳統(tǒng)GPU路線的公司，也包括探尋新型架構(gòu)的企業(yè)。GPU面臨的挑戰(zhàn)者，可遠不止TPU。

在GPU路徑研發(fā)中，英偉達的勁敵莫過于AMD，今年一月有研究人員在Frontier超算集群上，利用其中8%左右的GPU，訓(xùn)練出一個GPT 3.5級別規(guī)模的大模型。而Frontier超算集群是完全基于AMD硬件的，由37888個MI250X GPU和9472個Epyc 7A53 CPU組成，這次研究也突破了在AMD硬件上突破了先進分布式訓(xùn)練模型的難點，為AMD平臺訓(xùn)練大模型驗證了可行性。同時，CUDA生態(tài)也在逐步擊破，今年7月英國公司Spectral Compute推出了可以為AMD GPU原生編譯CUDA源代碼的方案，大幅提高了AMD GPU對CUDA的兼容效率。

英特爾的Gaudi 3 也在發(fā)布時直接對標(biāo)英偉達H100。今年4月，英特爾就推出用于深度學(xué)習(xí)和大型生成式AI模型的Gaudi 3，英特爾稱，對比前代，Gaudi 3可提供四倍的浮點格式BF16 AI計算能力，內(nèi)存帶寬提升1.5倍，服務(wù)于大規(guī)模系統(tǒng)擴展的網(wǎng)絡(luò)帶寬提升兩倍。對比英偉達的芯片H100，如果應(yīng)用于7B和13B參數(shù)的Meta Llama2 模型以及175B參數(shù)的OpenAI GPT-3模型中，Gaudi 3預(yù)計可以讓這些模型的訓(xùn)練時間平均縮短50%。

此外，應(yīng)用于7B和70B參數(shù)的Llama以及180B參數(shù)的開源Falcon模型時，Gaudi 3的推理吞吐量預(yù)計將比H100平均高50%，推理功效平均高40%。而且，在較長的輸入和輸出序列上，Gaudi 3有更大的推理性能優(yōu)勢。應(yīng)用于7B和70B參數(shù)的Llama以及180B參數(shù)的Falcon模型時，Gaudi 3的推理速度相比英偉達H200提高30%。英特爾稱，Gaudi 3將在今年第三季度向客戶供應(yīng)，二季度向包括戴爾、HPE、聯(lián)想和Supermicro在內(nèi)的 OEM 廠商提供，但并未公布Gaudi 3的售價范圍。

去年11月，微軟在Ignite技術(shù)大會上發(fā)布了首款自家研發(fā)的AI芯片Azure Maia 100，以及應(yīng)用于云端軟件服務(wù)的芯片Azure Cobalt。兩款芯片將由臺積電代工，采用5nm制程技術(shù)。

據(jù)悉，英偉達的高端產(chǎn)品一顆有時可賣到3萬到4萬美元，用于ChatGPT的芯片被認為大概就需要有1萬顆，這對AI公司是個龐大成本。有大量AI芯片需求的科技大廠極力尋求可替代的供應(yīng)來源，微軟選擇自行研發(fā)，便是希望增強ChatGPT等生成式AI產(chǎn)品的性能，同時降低成本。

Cobalt是基于Arm架構(gòu)的通用型芯片，具有128個核心，Maia 100是一款專為 Azure 云服務(wù)和 AI 工作負載設(shè)計的 ASIC 芯片，用于云端訓(xùn)練和推理的，晶體管數(shù)量達到1050億個。這兩款芯片將導(dǎo)入微軟Azure數(shù)據(jù)中心，支持OpenAI、Copilot等服務(wù)。負責(zé)Azure芯片部門的副總裁Rani Borkar表示，微軟已開始用Bing和Office AI產(chǎn)品測試Maia 100芯片，微軟主要AI合作伙伴、ChatGPT開發(fā)商OpenAI，也在進行測試中。

有市場評論認為，微軟 AI 芯片立項的時機很巧，正好在微軟、OpenAI 等公司培養(yǎng)的大型語言模型已經(jīng)開始騰飛之際。不過，微軟并不認為自己的 AI 芯片可以廣泛替代英偉達的產(chǎn)品。有分析認為，微軟的這一努力如果成功的話，也有可能幫助它在未來與英偉達的談判中更具優(yōu)勢。

除了芯片巨頭外，也不乏來自初創(chuàng)公司的沖擊。比如Groq推出的LPU、Cerebras推出的Wafer Scale Engine 3、Etched推出的Sohu等等。當(dāng)下，英偉達大約掌控著 80%的人工智能數(shù)據(jù)中心芯片市場，而其余 20%的大部分則由不同版本的谷歌 TPU 把控。

未來，TPU 所占的市場份額會不會持續(xù)上揚？會增長幾何？是否會有其他架構(gòu)的 AI 芯片將現(xiàn)有的市場格局一分為三？這些懸念預(yù)計在接下來的數(shù)年間將逐步揭曉。