云端算力，如何帶ChatGPT狂飆？

ChatGPT有多強？

這取決于這個問題提出的時間。一個月以前，這可能還是個問題。但是，當(dāng)ChatGPT連續(xù)創(chuàng)造記錄、并不斷顛覆人們認知的現(xiàn)在，這已經(jīng)不是個問題了。

真正的問題是，ChatGPT如何變的這么強？

2022年，谷歌和斯坦福的研究者發(fā)現(xiàn)，當(dāng)人工智能模型的參數(shù)量超過千億（100B）時，模型的精度會出現(xiàn)跳躍式增長，他們把這個發(fā)現(xiàn)稱作人工智能「能力的涌現(xiàn)」。

說白了，就像我們說某個人哪根筋搭上了、開竅了。量變終于引發(fā)質(zhì)變。

質(zhì)變之后，OpenAI首席執(zhí)行官Sam Altman甚至還提出了自己的「奧特曼定律」：宇宙中的智能數(shù)量，每18個月翻一番 —— 并引發(fā)學(xué)術(shù)界的群嘲。

不管怎樣，煉一個千億參數(shù)的大模型、支撐指數(shù)級的「智能」增長，談何容易？首當(dāng)其沖的，就是對算力的需求。有人做過統(tǒng)計，ChatGPT需要超過1萬顆A100 GPU提供算力支持，單次訓(xùn)練成本超過400萬美元，每天成本超過10萬美元。

「算力」，再一次被推到所有人眼前，但其實這并不是一個新概念。

顧名思義，算力指的就是計算的能力。如果你從來沒聽說過這個詞，或許可以把它等價成A100的數(shù)量。但很多人還沒意識到的是，算力已經(jīng)像水、電、氣一樣，成為了我們現(xiàn)代社會不可或缺的關(guān)鍵基礎(chǔ)資源。

我國在2022年正式啟動「東數(shù)西算」工程，在全國規(guī)劃了8個國家算力樞紐節(jié)點、10個國家數(shù)據(jù)中心集群。就像「西氣東輸」、「南水北調(diào)」一樣，「東數(shù)西算」也成為了我們國家的戰(zhàn)略資源跨域調(diào)配工程，這也從非常高的高度，認可了算力的重要意義。

也正是因為看到算力的重要性，包括亞馬遜微軟谷歌阿里騰訊在內(nèi)的這些國內(nèi)外的頂級科技巨頭，已經(jīng)早早的把業(yè)務(wù)重點轉(zhuǎn)向云計算了。而云計算的本質(zhì)，就是希望能像自來水一樣，為用戶提供源源不斷的算力。擰開水龍頭就會出水，插上電源就會有電，未來接上算力網(wǎng)絡(luò)，就能使用云端的大量算力。

我們用自來水的時候不會擔(dān)心水怎么來、也不關(guān)心中間經(jīng)過多少道處理工序。同理，有了云端算力之后，用戶就不用擔(dān)心算力怎么來，也不需要關(guān)心硬件實現(xiàn)的底層步驟，只需要專注于用算力的使用就可以了。

聽起來好像很簡單，實際做起來其實非常復(fù)雜，更離不開云計算技術(shù)的不斷進步與迭代。而自研芯片也已經(jīng)成了各大國內(nèi)外云計算大廠發(fā)力的重點，甚至是他們的「標(biāo)配」和「殺手锏」，并且成為各個云廠商的主要差異化所在。此外，云計算領(lǐng)域木桶效應(yīng)越來越明顯，軟件和硬件不能有短板；未來進化方向，一定是軟硬件協(xié)同優(yōu)化。接下來我們就一個一個來說。

云廠商為何要自研芯片

云計算領(lǐng)域的一個重要趨勢，就是這些云計算和互聯(lián)網(wǎng)大廠都在紛紛自研芯片，包括亞馬遜云科技、微軟、阿里云都是如此。他們并不是在玩票，而是把自研芯片作為自己的核心競爭優(yōu)勢和主要的差異化。

要說清楚為什么云廠商要自研芯片，就要首先看一下云計算里的一個「不可能三角」，也就是說在云計算里，性能、成本、安全性，這三點不可同時兼得。如果既要又要，就不能還要。比如，追求高性能和低成本，那安全性就要妥協(xié)；追求低成本和高安全，那就很難做到高性能；如果既要高性能又要高安全，那成本肯定低不了。

不可能三角出現(xiàn)的本質(zhì)原因，就是市面上的那些通用軟硬件并沒有針對特定場景做優(yōu)化。比如CPU廠商提供的處理器芯片，并不是專門為了某個云廠商的實際應(yīng)用專門設(shè)計的，那么在核心數(shù)量、主頻、緩存大小，以及軟件的并行性支持和應(yīng)用開發(fā)上，肯定不會優(yōu)化的那么深入。這就像去商店買的公版的衣服或許也不錯，但肯定不如裁縫量體裁衣來的合適。

于是，這些財大氣粗的互聯(lián)網(wǎng)和云計算大廠，就紛紛開始下水自己做芯片了，而亞馬遜云科技，應(yīng)該算是最早吃螃蟹的那個。

Nitro：亞馬遜云科技的基石芯片

Nitro是亞馬遜云科技自研芯片的起點，從2013年推出首顆Nitro芯片起，它已經(jīng)經(jīng)歷了4代迭代，并且已經(jīng)成為驅(qū)動當(dāng)今所有EC2實例的基礎(chǔ)性技術(shù)。我們先介紹下Nitro的技術(shù)特點，然后來看看這次大會上發(fā)布的最新一代Nitro v5芯片。

從廣義上來說，Nitro并不是單獨的芯片本身，而是由多個芯片和板卡組成的基礎(chǔ)架構(gòu)，可以實現(xiàn)存儲訪問、加密、監(jiān)控、實例配置等等幾乎所有的工作。對于云計算、特別是公有云來說，Nitro最重要的意義就是幫助CPU減負。也就是說，它能把數(shù)據(jù)中心里的「網(wǎng)絡(luò)」「計算」「存儲」這些基本功能都從CPU里卸載出來，從而釋放CPU寶貴的內(nèi)核資源。專用的Nitro卡可以實現(xiàn)高速網(wǎng)絡(luò)、高速EBS和I/O加速，不需要在CPU上運行額外的管理軟件。

同時，Nitro系統(tǒng)還能虛擬出來一個統(tǒng)一的用戶接口，不管底層硬件用的是x86 CPU、ARM CPU，甚至是蘋果的Mac硬件，對于用戶來說都沒有區(qū)別。這種軟硬件的解耦，就極大地釋放了軟硬件設(shè)計的靈活性，讓二者不會相互掣肘，這也是亞馬遜云科技能大規(guī)模部署基于ARM架構(gòu)處理器的本質(zhì)原因。

當(dāng)然，Nitro出現(xiàn)的本質(zhì)原因還是基于安全性的考慮，這也一直是Nitro的核心功能之一。比如它會阻止主機之外的任何系統(tǒng)登錄或讀取基于Nitro的實例內(nèi)存，從而在硬件層面直接保障安全性。

也就是說，Nitro的核心設(shè)計理念，就是為了很好的平衡前面說到的那個云計算「不可能三角」，它并不是為了追求單個領(lǐng)域的極致，而追求的是三個重要因素很好的平衡。

去年底，亞馬遜云科技召開了一年一度的re:Invent大會，并發(fā)布了最新的Nitro v5芯片，重點聚焦在通信帶寬的提升：PCIe帶寬提升2倍、DRAM速度提升50%、數(shù)據(jù)包處理速度提升60%、通信延時降低30%。和前一代相比，Nitro v5的晶體管數(shù)量增加一倍，并由此帶來每瓦性能40%的提升。

事實上，大會上并未公布Nitro v5的架構(gòu)細節(jié)和制造工藝，但這對于用戶來說可能并不重要，畢竟用戶不會單獨購買或者使用Nitro本身，它已經(jīng)作為每臺EC2服務(wù)器的基礎(chǔ)設(shè)施而存在了。有了Nitro的高性能和虛擬化功能的加持，也給用戶提供了更多的計算實例。在2022年初，EC2實例有400多款；經(jīng)過一年的發(fā)展，已經(jīng)超過600款。這就讓算力的供給更加快速和靈活。

Graviton3E：一切為了高算力

除了Nitro，亞馬遜云科技還有一個看家芯片，那就是基于ARM架構(gòu)的服務(wù)器CPU芯片Graviton。

很多人認為，和x86架構(gòu)相比，ARM架構(gòu)不適合用于數(shù)據(jù)中心或者高性能計算領(lǐng)域。但事實上，決定性能的并不是指令集，而是微架構(gòu)。Graviton系列處理器不僅能取得高性能、更能兼顧ARM架構(gòu)低功耗的優(yōu)勢，從而實現(xiàn)更好的「性能功耗比」。和x86實例相比，基于Graviton3的實例能取得高達60%的每瓦功耗提升。

在去年的re：Invent大會上，并沒有發(fā)布第四代Graviton芯片，但在第三代的基礎(chǔ)上增加了對高性能計算的優(yōu)化。具體來說，就是特別優(yōu)化了對向量計算和浮點計算的支持。這也是ARM架構(gòu)進一步進軍HPC的重要嘗試。要知道，性能在HPC領(lǐng)域只是重要因素之一，同樣重要的還有功耗、成本、性價比。在這些方面，ARM架構(gòu)無疑有著更大優(yōu)勢。再加上自研芯片的加持，通過大規(guī)模部署進一步攤薄成本，就會讓性價比進一步提升。這些才是這些云廠商自研處理器芯片的本質(zhì)動力。

除了硬件，軟件同樣重要

云計算未來的發(fā)展方向，肯定是軟硬件協(xié)同優(yōu)化。就像木桶里不能存在短板一樣，芯片和算力上去了，軟件也不能拉胯。所以對于云廠商來說，芯片和硬件只是一小部分，剩下的主要部分，都集中在軟件和系統(tǒng)層面的創(chuàng)新。

比如在協(xié)議層面，亞馬遜云科技提出了新的網(wǎng)絡(luò)協(xié)議SRD（Scalable Reliable Datagram），和TCP的但路徑相比采用了多路徑路由，并且可以亂序傳輸數(shù)據(jù)包，從而達到更高的吞吐量。

在服務(wù)層面，他們繼續(xù)加碼serverless，這也是全球云計算領(lǐng)域最近的最大熱點。這個可以稍微展開說說。

Serverless「無服務(wù)器」這個概念最早出現(xiàn)在2012年左右，它的核心思想就是讓開發(fā)人員不需要關(guān)注服務(wù)器的物理限制和資源管理這些底層細節(jié)，而是把重點放在服務(wù)和任務(wù)本身的開發(fā)，專注于構(gòu)建產(chǎn)品和應(yīng)用，讓整個開發(fā)過程更加敏捷、成本更低。

Serverless給開發(fā)人員提供極大便利，但勢必需要底層的硬件和基礎(chǔ)設(shè)施的更好配合與支撐，這就極大考驗云服務(wù)提供商的能力。亞馬遜云科技在2006年就搭建了類似思路的Amazon S3存儲服務(wù)。然后在2014年，發(fā)布了著名的Serverless計算服務(wù)Amazon Lambda，直到目前已經(jīng)有超過百萬用戶、每月的調(diào)用請求量超過100萬億次。

在他們最新的產(chǎn)品中，針對erverless的冷啟動問題推出一個名叫Lambda SnapStart的新功能。它在首次啟動時會執(zhí)行標(biāo)準(zhǔn)初始化，并且將內(nèi)存和磁盤狀態(tài)進行快照并緩存。當(dāng)面對大量服務(wù)要進行初始化和擴展的時候，可以用SnapStart的快照機制實現(xiàn)直接啟動，從而跳過初始化的過程，這樣就極大提高了冷啟動延時。根據(jù)大會上的數(shù)據(jù)，Lambda Snapshot可以將啟動延時降低90%以上。

云計算的未來發(fā)展

云計算的未來發(fā)展，有兩個大概率的趨勢，一個是自研芯片仍然會是這些云計算大廠未來發(fā)力的重點，另一個是軟硬件的協(xié)同優(yōu)化也將不斷獲得更多關(guān)注。這些趨勢的本質(zhì)目的，就是為云計算的客戶提供更強、更靈活的算力。

事實上，算力的「基礎(chǔ)設(shè)施化」，也已經(jīng)成為了未來發(fā)展的必然趨勢。開頭提到的「東數(shù)西算」，就是要建立全國一體化的算力網(wǎng)絡(luò)，就像水網(wǎng)、電網(wǎng)一樣，讓算力網(wǎng)變的更加普及。

農(nóng)業(yè)時代的標(biāo)志是水的合理使用；工業(yè)時代的標(biāo)志是電的廣泛應(yīng)用?，F(xiàn)在通過云計算，已經(jīng)在一定程度上實現(xiàn)了算力能像水和電一樣能隨用隨取。但是如何獲得性能更高、更安全、更節(jié)能的算力，仍然是云計算廠商和學(xué)術(shù)界不斷探索的課題，一旦解決，或許就會開啟人類社會的新時代。

用中國工程院院士孫凝暉的話說，算力時代是算力的基礎(chǔ)設(shè)施化時代，是走向智能時代的必由之路。