從2023年底開始,英偉達開啟了暴漲模式,三個月翻了快一倍,女神節(jié)那天最高漲到926.69美元,總市值達到2.32萬億美元,僅次于微軟和蘋果,成為全球市值第三大的公司,而且只離蘋果一步之遙。單從數(shù)字來看,英偉達的2.32萬億市值已經(jīng)超過地球上絕大多數(shù)國家的GDP,僅次于美中德日印英法,排名第八。
眼看英偉達富可敵國、遙遙領(lǐng)先,買了英偉達股票的人在財富暴漲的同時、期待著英偉達股價超過1000美元;沒買英偉達的人一邊說著泡沫太大,一邊祈禱這趟飛馳的列車什么時候能停一停讓他們上車。而整個科技圈和全球投資者都在尋找,看誰會成為下一個英偉達。
從傳統(tǒng)的芯片巨頭,到初創(chuàng)公司,再到互聯(lián)網(wǎng)大廠和人工智能公司,算力已經(jīng)成了人工智能時代最重要的鏟子。誰能掌握鏟子的銷售權(quán),誰就拿到了通往萬億市值的鑰匙。
今天要討論的這家公司,和芯片沒毛線關(guān)系。但在人工智能領(lǐng)域,它已經(jīng)是像英偉達那樣遙遙領(lǐng)先的存在了。更有意思的是,它是算力這把鏟子的最大買家,或許也是英偉達最大的金主爸爸。
是的,這家公司就是OpenAI。OpenAI這個濃眉大眼的家伙,也要自己造芯片了,而且一出手就是七萬億美元。不僅要造芯,如今又傳出OpenAI要和微軟共建一個地表最強的AI數(shù)據(jù)中心,代號「星際之門」,耗資1150億美元。
這些操作,簡直和英偉達的布局一毛一樣。那么問題來了,OpenAI能否成為下一個英偉達?
英偉達,如何成為英偉達?
在詳細分析OpenAI的造芯前景之前,我們得先弄明白英偉達走到現(xiàn)在的高度,到底是因為什么原因、它到底做對了什么。先說結(jié)論,在我看來英偉達做對了四點,分別是領(lǐng)導(dǎo)者、技術(shù)、生態(tài)、運氣,缺一不可。
先說領(lǐng)導(dǎo)者。打工人肯定都有體會,一個靠譜的老大是多重要。不過我們這里說的領(lǐng)導(dǎo)者,顯然要更高一層,是帶領(lǐng)整個公司甚至行業(yè)發(fā)展的真正領(lǐng)袖。不用多說,英偉達老大黃仁勛應(yīng)該是當(dāng)前全球最炙手可熱、而且還在一線工作的科技領(lǐng)袖之一。
31年前,老黃在美國加州的一個小餐廳里創(chuàng)立英偉達,目標(biāo)是要開拓一個「0億美元市場」,也就是從0到1進軍一個大家從未聽說過的領(lǐng)域,而不是在存量市場里不斷內(nèi)卷。事實證明,正是因為老黃非凡的想象力和前瞻性,帶領(lǐng)英偉達踩中了過去三十年的幾乎所有風(fēng)口,也把英偉達帶到了現(xiàn)在前所未有的高度。
所以對于科技領(lǐng)袖來說,最重要的就是「預(yù)見未來」的能力、以及開疆破土的勇氣。所有萬億美元的產(chǎn)業(yè),都是來自于0億美元的市場。這對于我們的創(chuàng)業(yè)者來說也是一個很重要的啟示。比如在ChatGPT出現(xiàn)之后,一堆初創(chuàng)公司去自研大模型,并不是說這沒有意義,而是或許這并不是個0億美元的市場。如何把握公司的未來方向,領(lǐng)導(dǎo)者起到的作用至關(guān)重要。
再來說技術(shù)和生態(tài)。這是英偉達遙遙領(lǐng)先的兩個最重要護城河,之前視頻里也說過多次了。一方面通過對GPU架構(gòu)的不斷優(yōu)化,集成更多AI算力,讓GPU成為人工智能掘金路上不可或缺的鏟子。另一方面通過CUDA構(gòu)建軟件和開發(fā)者生態(tài),培養(yǎng)加強AI從業(yè)者對英偉達GPU的依賴。
就像我們從小學(xué)中文;長大后是可以再學(xué)英語法語,但肯定不如母語用起來順手。技術(shù)和生態(tài)構(gòu)成了一個不斷旋轉(zhuǎn)的飛輪,芯片和技術(shù)做的好,會吸引更多人來用,從而形成了生態(tài);生態(tài)做的好,用戶就習(xí)慣留在這里,同時提出更多需求,幫助下一代芯片再上一個臺階。其他公司想要成為下一個英偉達,技術(shù)和生態(tài)缺一不可。
最后再說運氣。不管是99%的努力加1%的運氣,還是1%的努力加99%的運氣,運氣本身都是取得成功的必要因素。英偉達之所以達到今天富可敵國的程度,很重要的原因就是踩中了過去三十年幾乎所有的風(fēng)口。從游戲到云計算到數(shù)字貨幣挖礦到元宇宙到汽車再到現(xiàn)在的人工智能,無一例外。
但是,我想說的并不是創(chuàng)業(yè)公司要像「周處除三害」里的陳桂林一樣去找關(guān)圣帝笅杯占卜,而是要不斷提升好運到來的概率,這樣當(dāng)運氣沒來時蟄伏、運氣一旦來到就能一把抓住。就像英偉達本質(zhì)上并不是在追風(fēng)口,而是構(gòu)建GPU的基礎(chǔ)技術(shù),讓它靈活到能適用于前面說的這么多領(lǐng)域,但又足夠強大,能成為風(fēng)口到來時的唯一選擇。當(dāng)然,運氣和產(chǎn)業(yè)本身的發(fā)展?fàn)顟B(tài)、甚至和領(lǐng)導(dǎo)者的造勢能力也有很大關(guān)系。
所以,領(lǐng)導(dǎo)者、技術(shù)、生態(tài)、運氣這四點,是衡量一個公司未來發(fā)展的重要因素。接下來我們就用這個框架來看看,到底OpenAI能否成為下一個英偉達。
OpenAI造芯,到底是誰瘋了?
很多朋友應(yīng)該會疑惑,OpenAI不是做大模型的人工智能公司嗎?他應(yīng)該是英偉達的金主爸爸啊。但事實上在大模型領(lǐng)域,算力和模型,誰是爸爸誰是兒子還不一定。由于訓(xùn)練一個大模型特別吃GPU算力,所有公司都在瘋狂買卡,這就形成了一個賣方占主導(dǎo)的市場。
強如OpenAI,雖然有微軟數(shù)據(jù)中心近乎all-in的強力支持,也逐漸遇到了算力瓶頸。要知道GPT3的訓(xùn)練成本大概400萬美元,到了GPT4就飆升到1億,有人預(yù)估GPT-5的訓(xùn)練成本會高達驚人的25億美元,其中絕大部分都要用來買英偉達的GPU算力。
于是,OpenAI的CEO Sam Altman大筆一揮,宣布要籌措7萬億美元自己造芯(后來他在Lex Freddman的播客里說「我從來沒說過7萬億」,Lex說「OK,但你說了8萬億」……)。聽到這個消息,我感覺不是他瘋了,就是我瘋了。根據(jù)他的說法,要用這筆錢徹底改造全球的半導(dǎo)體行業(yè)。所以他不止要做芯片設(shè)計,還要自己造晶圓廠。
7萬億美元是什么概念呢,網(wǎng)友也幫我們算了一筆賬,7萬億可以買下包括英偉達在內(nèi)的全球前20名芯片公司,外加Meta,然后奧特曼還能剩下三千億美元,就是這么夸張。你把所有芯片公司都買了,搞個OpenChip公司自己玩就行了唄。為此,硅仙人Jim Keller現(xiàn)場打臉,在社交媒體隔空喊話,說這些事兒給我一萬億就搞定了。
話說回來,且不論7萬億美元造芯有多瘋狂,我覺得OpenAI造芯是在算力緊缺情況下的一個理智的選擇。那么套用我們的領(lǐng)導(dǎo)者-技術(shù)-生態(tài)-運氣框架,OpenAI能否成為下一個英偉達呢?領(lǐng)導(dǎo)者方面,Sam Altman可以說是現(xiàn)在全球科技圈最有名的八零后領(lǐng)袖。不管是ChatGPT、GPT應(yīng)用商店,還是年初發(fā)布的Sora,OpenAI在他的帶領(lǐng)下已然成為了人工智能領(lǐng)域創(chuàng)業(yè)公司的王者公司。他自己的個性也很鮮明,把硅谷搞成了好萊塢,把OpenAI搞成了宮斗現(xiàn)場,還上演了熹貴妃歸來的大戲。不過和老黃相比,奧特曼個性有余、從容親和略顯不足。
所以領(lǐng)導(dǎo)者這一項,我給OpenAI四顆星。
再來看技術(shù)維度,OpenAI七萬億造芯到底能干成嗎?先看芯片架構(gòu)的選擇。根據(jù)現(xiàn)在披露的非常有限的信息,我們不知道OpenAI是做專用芯片還是通用芯片,但我猜大概率是以AI專用芯片開始,可能會通過收購一些初創(chuàng)AI芯片公司快速起步,之前就有傳言說OpenAI看上了來自英國的Graphcore,這也是很多大廠自研芯片的常用套路。外加OpenAI的看家本領(lǐng)是大模型本身,因此會為芯片設(shè)計提供非常理想的應(yīng)用和優(yōu)化的場景。所以如果OpenAI真的下場造芯,我毫不懷疑他們能設(shè)計出一個高性能的AI芯片。
不過,在奧特曼的七萬億規(guī)劃中,還包含芯片制造的部分,這就有點不靠譜了。當(dāng)前芯片行業(yè)的主流模式是fabless、也就是無晶圓廠模式。這個模式的核心是絕大部分芯片公司只負責(zé)芯片設(shè)計,只有少數(shù)公司負責(zé)芯片制造,讓大家專注在擅長的領(lǐng)域、發(fā)揮各自的優(yōu)勢,不用既要又要還要,從而實現(xiàn)資源的合理分配。這種無晶圓廠模式也是芯片行業(yè)經(jīng)過幾十年的發(fā)展分工逐漸形成的穩(wěn)定而高效的模式。
具體來看芯片制造,如今有高端芯片制造能力的公司只有三個:臺積電、三星和英特爾。這是個資本和技術(shù)極度密集且門檻極高的行業(yè),沒錢不行,只有錢也是萬萬不夠的,必須得有幾十年行業(yè)經(jīng)驗和工程實踐的技術(shù)積累。這么說吧,如果你從來沒做過包子,想在你家小區(qū)旁邊開一家包子鋪應(yīng)該都費勁。更不用說從來沒做過芯片的人上來就去蓋芯片廠了。這么深的水,我怕你把握不住。
也有分析說,奧特曼為了動用鈔能力彎道超車,打算搞加盟模式,也就是把錢給臺積電,請臺積電建廠和運營,只為OpenAI服務(wù),硬生生把臺積電搞成7-11,果然有錢就是任性。
綜上,開啟買買買模式的OpenAI造芯,在技術(shù)維度我給四顆星。
GPT7和暗硅效應(yīng)
再來看生態(tài)。OpenAI在人工智能領(lǐng)域有著夢幻開局,但先發(fā)優(yōu)勢能否轉(zhuǎn)化為像英偉達那樣的萬億市值和技術(shù)統(tǒng)治力,還取決于生態(tài)的發(fā)展和未來路線圖的設(shè)計,而這恰恰也是我認為最存疑的地方。
為什么這么說呢?四年前,OpenAI發(fā)表了一篇論文,提出了大語言模型的縮放定律(scaling law)。這個定律表明,只要對大語言模型投入更多算力和數(shù)據(jù)進行訓(xùn)練,就能提高它下一個單詞的預(yù)測準(zhǔn)確性。有人也把這個定律簡單描述為:scaling is all you need,好像只要不斷投算力和數(shù)據(jù),大模型就能不斷發(fā)展下去。
但事實真的是這樣嗎?有人做了一個計算,如果保持現(xiàn)在GPT1234發(fā)展的速度,到2030年左右的GPT7就需要全世界所有計算機提供算力、需要一個超過三峽大壩或者現(xiàn)在任何核電站的巨型發(fā)電廠提供能源,以及超過現(xiàn)在地球上所有的數(shù)據(jù),這顯然是不現(xiàn)實的。
OpenAI提出的縮放定律,讓我想到了芯片領(lǐng)域的兩個非常類似的縮放規(guī)律,一個是登納德縮放定律(Dennard Scaling Law),一個是阿姆達爾定律(Amdahl's Law)。登納德縮放定律認為,隨著晶體管體積的縮減,它們的工作電壓也會降低,從而使得芯片單位面積功耗保持不變。
也就是說,隨著芯片技術(shù)的發(fā)展,我們可以同樣的芯片面積上放更多晶體管,性能更高,但功耗不變;或者為了實現(xiàn)同樣的性能,芯片面積會更小、功耗會更低。阿姆達爾定律認為,要顯著提升一個程序的執(zhí)行速度,就需要盡可能減少他串行部分的執(zhí)行時間,同時增加并行代碼的比例。
因此十幾年前,芯片領(lǐng)域?qū)W術(shù)界和工業(yè)界的主要發(fā)展趨勢就是多核心架構(gòu)。雖然這還沒有完全成為一個正式的全球性共識,但在當(dāng)時,多核架構(gòu)是非常熱門的研究方向。人們認為,如果可以找到編寫和運行并行軟件的方法,我們就能直接將處理器架構(gòu)擴展到數(shù)千個核心,從而帶來芯片性能成百上千倍的提升。
然而,我們現(xiàn)在知道,這種趨勢是不能無限擴展的。2011年,德州大學(xué)奧斯汀分校的道格博格爾教授發(fā)表了一篇論文,提出并研究了所謂的“暗硅效應(yīng)”。我的骨灰級老粉應(yīng)該聽過這個概念,因為我的第一期視頻就講了這個,大家可以去考古一下,鏈接在「閱讀原文」中查看。
那么什么是暗硅效應(yīng)呢?它指的是雖然我們可以不斷增加處理器核心的數(shù)量,但是由于能耗限制,我們卻無法讓這些計算核心同時工作。這就好像一幢大樓里有很多房間,但由于能耗限制,你無法同時開啟每個房間的燈光,使得這幢大樓在夜里看起來有很多黑暗的部分。這就是暗硅這個詞得名的原因。
暗硅效應(yīng)的本質(zhì)原因是,在后摩爾定律時代,晶體管的能效發(fā)展已經(jīng)趨于停滯。這樣,即使人們開發(fā)出了并行軟件,并且不斷增加了核心數(shù)量,所帶來的性能提升也會非常有限。所以為了克服“暗硅效應(yīng)”帶來的問題,業(yè)界還需要在其他的方面帶來更多進展,包括定制計算等等。道格博格爾之后也加入了微軟,并且領(lǐng)導(dǎo)了微軟的FPGA項目,這個就不多說了。
再回到OpenAI的大語言縮放定律,OpenAI萬億造芯的本質(zhì),其實就是奧特曼希望通過提供「無限的計算能力,帶來全能的人工智能」,但現(xiàn)在OpenAI的這種暴力堆算力和數(shù)據(jù)的方法,或許并不是實現(xiàn)超級人工智能的可行途徑。
再進一步,大模型究竟是人工智能的終點、還是人工智能發(fā)展過程中的一個重要節(jié)點,也是很多人一直在思考的問題。比如圖靈獎得主、人工智能教父之一的LeCun就公開反對OpenAI的自回歸生成模型的技術(shù)路線,并認為Sora「通過生成像素來模擬世界的行為,既浪費資源且注定會失敗」。
所以,生態(tài)部分我給OpenAI三星半。
AI的黃金時代
最后來看看運氣。前面說隨著芯片的縮放臨近極限,迫使人們不得不去尋找更多更高效的芯片設(shè)計方法,這反而促進了芯片行業(yè)的發(fā)展。圖靈獎得主John Hennessy和David Patterson也在此時提出了著名的論斷,未來十年會是體系結(jié)構(gòu)的黃金時代。至少現(xiàn)在我們可以看到,在這個黃金年代中,英偉達是最大的贏家,沒有之一。
所以,當(dāng)AI縮放定律走到盡頭時,是否也會開啟AI芯片的下一個黃金時代?從這個角度看,是不是OpenAI造芯的好日子還在后頭?芯片是個長周期行業(yè),從現(xiàn)在開始布局,少則兩三年,多則五六年才能看到結(jié)果。運氣方面OpenAI從來沒輸給過誰,它已經(jīng)踩中了大模型這個超級大風(fēng)口,而芯片,或許會成為OpenAI踩中的下一個風(fēng)口。
所以,運氣方面,我給OpenAI四星半。
以上就是我對OpenAI造芯未來的想法,不知道你是否同意?你覺得OpenAI會成為下一個英偉達嗎?歡迎在評論區(qū)說說你的想法。感謝你一直看到這里,所以我給你準(zhǔn)備了一個福利:我列了四個可能成為英偉達的公司,分別是AMD、谷歌、特斯拉、Tenstorrent,你希望我先講誰?把你的選擇寫在評論區(qū),我優(yōu)先安排。
(注:本文不代表老石任職單位的觀點。)