ChatGPT作為近幾個月持續(xù)的熱點話題,熱度不減的背后,是人工智能內容自動生成技術算力需求的水漲船高。一方面,ChatGPT帶動了算力需求增長,另一方面,ChatGPT又對算力支撐提出了更高的要求。
有數據顯示,ChatGPT一次模型訓練需要的總算力消耗是3640PF-days,耗資約1200萬美元,且在運營過程中也需要相當大的開銷。
根據國盛證券報告,以ChatGPT在1月的獨立訪客平均數1300萬計算,其對應芯片需求為3萬多片英偉達A100 GPU,大概需要的算力成本為8億美元,每天的電費成本在5萬美元左右。ChatGPT獲得微軟130億美元的投資,是其高算力投入背后的信心支撐。
正是有了科技巨頭微軟從資金、未來市場,到算力基礎設施(Azure云)的全方位支持,OpenAI才能夠以獨立創(chuàng)業(yè)企業(yè)的身份,完成如此巨大的工程。算力要求和參數量級緊密相關,參數量級也是當前衡量大模型訓練質量的一個重要參考。參數量越大,模型越智能,隨之而來的開銷也就越大。這一點形成了GPT類型高門檻的特點。GPT-3之前的版本是開源的,其他創(chuàng)業(yè)者比較容易以此為基礎開展新的研發(fā)工作。從GPT-4開始,OpenAI開放API以字節(jié)流量收費。不論是應用開發(fā),還是在此基礎上進行二次模型開發(fā),都存在較高門檻。
比較有趣的事情是Meta公司的LLaMA源代碼泄露。由此出現(xiàn)了所謂的“羊駝家族”(“Llama”可譯為“羊駝”)大模型,希望獲得開源資源的開發(fā)者可以在GPT-3之外獲得一個新的選擇。
“大模型”對算力的高度依賴至少造成兩個重大影響
一是這已經不是“草根”創(chuàng)業(yè)的游戲,也不是以往互聯(lián)網創(chuàng)業(yè)“Copy To China”的游戲,而是“真刀真槍”的核心能力大比拼,從資金、技術到企業(yè)戰(zhàn)略定力的全方位考核。
在傳統(tǒng)工業(yè)時代,中國從加工業(yè)開始,逐漸向高價值的核心技術研發(fā)攀升,但實際上距離歐美最先進水平還有一定距離。特別是在材料科學等需要長時間技術積累的類目上,差距依然很大。
進入數字時代,中國產業(yè)界的共識變?yōu)橹苯訌暮诵募夹g研發(fā)開始。
美國與中國的科技依存度減弱已成趨勢。雖然現(xiàn)在只是芯片行業(yè)受到掣肘, 但是如果“大模型”發(fā)展成為生產要素,我們也一定會遇到同樣的問題。因此,中國必須擁有自己的“大模型”核心技術。中國科技企業(yè)看到這樣的必然性,對“大模型”進行大投入也成為趨勢。
中小科技企業(yè)在沒有能力開發(fā)原生“大模型”的情況下,可以利用GPT-3或者LLaMA的開源模型進行開發(fā)或二次開發(fā),形成自己的“大模型”。應用開發(fā)企業(yè)很少會開發(fā)原生“大模型”,除非對其應用的銷售市場有極高的信心,否則將屈服于巨大的算力成本壓力,轉而支付API使用費,利用現(xiàn)成模型開發(fā)相關應用。
二是“東數西算”建設恰逢其時,可能迎來大商機。
西部地區(qū)“綠電”資源豐富,在“東數西算”整體規(guī)劃下,西部樞紐主要承擔備份存儲的工作;東部地區(qū)在智慧城市、產業(yè)互聯(lián)網和互聯(lián)網服務中的即時計算工作,則放在東部地區(qū)的樞紐解決。“大模型”對算力要求巨大,東部IDC大規(guī)模占用算力資源,有三大缺點:成本高(東部電費高)、排放高(東部綠電比例?。D占低時延需求應用的算力資源,這為西部的算力中心創(chuàng)造了新的商機。
一方面,將“大模型”的訓練計算放在西部地區(qū)的IDC,對當地的通信網絡性能提升有更高要求。海量數據的吞吐是一個需要解決的問題,但解決這個問題的成本遠遠小于IDC使用費差異。
另一方面,科技公司巨頭都提出了自己的ESG(環(huán)境社會責任)目標,碳排放是其中最重要的指標?!按竽P汀?、大算力,運行就會產生大量的碳排放,對“綠色算力”的需求也就越迫切。
*本文刊載于《通信世界》
總第918期 2023年4月25日 第8期原文標題:《ChatGPT對算力存在雙重影響》
作者:野村綜研未來創(chuàng)新中心主任咨詢顧問 閔海蘭
責編/版式:王鶴迦
審核:舒文瓊
監(jiān)制:劉啟誠