扒一扒騰訊混元大模型“老底”

魚羊 蕭簫 發(fā)自 凹非寺，量子位 | 公眾號(hào) QbitAI

騰訊自研混元通用大模型，終于正式在騰訊全球數(shù)字生態(tài)大會(huì)上亮相。

模型亮相的同時(shí)，騰訊還宣布幾大騰訊業(yè)務(wù)就已經(jīng)直接用上了：騰訊文檔、騰訊會(huì)議、騰訊廣告等均已接入。

舉個(gè)，在接入智能助手的騰訊文檔里，現(xiàn)在只需打字輸入需求，AI就能自動(dòng)寫出函數(shù)，完成數(shù)據(jù)分析。

不得不說，鵝廠混元大模型這一波“淡定上分”，確實(shí)是給外界帶來了一些小小的震撼。

畢竟通用大模型雖好，真正要落地應(yīng)用，尤其是用到行業(yè)生產(chǎn)當(dāng)中，卻也不是簡(jiǎn)簡(jiǎn)單單。即使是OpenAI，從ChatGPT到ChatGPT企業(yè)版，也需歷經(jīng)大半年的測(cè)試、迭代。

那么，問題來了：騰訊是如何做到大模型一亮相，就“行業(yè)開箱即用”的？

會(huì)上，騰訊集團(tuán)副總裁、云與智慧產(chǎn)業(yè)事業(yè)群COO、騰訊云總裁邱躍鵬，把調(diào)教騰訊大模型的“底層秘密”透了出來。

通用大模型落地行業(yè)的“三道關(guān)”

大模型從想法到實(shí)際落地，至少面臨“三道關(guān)”：高質(zhì)量數(shù)據(jù)，訓(xùn)練迭代模型所需算力，內(nèi)容安全合規(guī)性。

首先是算力問題，無論是定期迭代、重新訓(xùn)練還是推理，大模型所需算力都比普通計(jì)算的穩(wěn)定性要求更高、需求量更大。

這并非幾百張卡就能解決的事情。

對(duì)于動(dòng)輒成千上萬億參數(shù)的大模型而言，需要的往往是高密度GPU算力，以提供更高的并行計(jì)算性能。

在持續(xù)不斷的訓(xùn)練過程中，一旦GPU出現(xiàn)故障導(dǎo)致訓(xùn)練中斷，而之前沒有“設(shè)好存檔點(diǎn)”（做好checkpoint）、模型權(quán)重參數(shù)寫入讀取過慢的話，耗時(shí)就會(huì)成倍增加。

因此，在單純的GPU數(shù)量基礎(chǔ)上，同樣不可忽視的還有工程實(shí)踐能力，如何確保訓(xùn)練過程的穩(wěn)定性、中斷訓(xùn)練時(shí)的回滾能力、并最大程度上降低訓(xùn)練成本，同樣是訓(xùn)練大模型無法忽視的一環(huán)。

其次是數(shù)據(jù)問題，要想實(shí)現(xiàn)通用大模型的高“智商”，高質(zhì)量的數(shù)據(jù)不可或缺。

通用數(shù)據(jù)，是確保大模型“智商在線”的基礎(chǔ)，來源于網(wǎng)上各種公開網(wǎng)站和開源數(shù)據(jù)集。

但不僅整理數(shù)據(jù)、確保多樣性和準(zhǔn)確性（尤其是中文數(shù)據(jù)）難度不小，加上需要定期更新，迭代起來又非常復(fù)雜。

行業(yè)數(shù)據(jù)，是確保大模型“業(yè)務(wù)水平在線”的知識(shí)庫，通常為行業(yè)公司所有，例如法律行業(yè)所具備的的大量歷史案件信息、以及工程領(lǐng)域具備的大量專家經(jīng)驗(yàn)、行業(yè)實(shí)驗(yàn)數(shù)據(jù)等，這些數(shù)據(jù)同樣需要清洗去重后才能使用。

像騰訊混元大模型，光是預(yù)訓(xùn)練用到的數(shù)據(jù)就達(dá)到2萬億tokens，從整理到清洗每一步都需要大量的時(shí)間和技術(shù)成本，維護(hù)起來更是十分復(fù)雜。

最后是安全可用性，對(duì)于企業(yè)而言，從訓(xùn)練到使用的輸入輸出階段，都存在安全可用的問題。

訓(xùn)練階段，如何確保將行業(yè)數(shù)據(jù)用于訓(xùn)練的同時(shí)，又不會(huì)泄露企業(yè)自身的敏感數(shù)據(jù)；

交互階段，除了輸入模型過程中，不希望提示詞被記錄以外，還需要考慮行業(yè)大模型輸出的數(shù)據(jù)是否合乎規(guī)范、不會(huì)生成錯(cuò)誤甚至違法信息。

這里面涉及到的安全可控合規(guī)的內(nèi)容審核、大模型“圍欄”等技術(shù)，同樣需要大量的行業(yè)經(jīng)驗(yàn)積累和技術(shù)搭建。

然而，騰訊的通用大模型不僅跨過了這三道關(guān)，而且已經(jīng)接入不少自家和行業(yè)應(yīng)用中，給大模型落地“打了個(gè)樣”。

像是代碼輔助領(lǐng)域，騰訊云的AI代碼助手接入混元大模型后，在代碼補(bǔ)全場(chǎng)景中，代碼生成率直接提升到30%，程序員采用的比率也達(dá)到30%。

換言之，相比重復(fù)編寫某些代碼，現(xiàn)在30%的工作都能交給大模型干了。

又像是線上會(huì)議領(lǐng)域，混元大模型還支持騰訊會(huì)議APP打造AI小助手，一鍵就能總結(jié)會(huì)議的綱要、實(shí)時(shí)更新當(dāng)前會(huì)議話題，并在會(huì)議前后對(duì)需要掌握的內(nèi)容進(jìn)行總結(jié)，堪稱“打工人摸魚神器”。

配合3D會(huì)議、音視頻處理能力，即使實(shí)時(shí)使用大模型也能很好地hold住會(huì)議流暢度，不會(huì)出現(xiàn)使用后體驗(yàn)反而降低的問題。

同時(shí)，騰訊還宣布，騰訊混元大模型將通過騰訊云正式對(duì)外開放，既可以調(diào)用混元大模型的API，也可以基于它做模型精調(diào)。

這些將大模型“開箱可用”、快速落地行業(yè)的案例，騰訊云究竟是怎么實(shí)現(xiàn)的？

騰訊云的大模型“底座”長(zhǎng)啥樣？

答案或許能從騰訊云為大模型搭建的兩層“底座”中找到。

無論是“基礎(chǔ)層”的算力、數(shù)據(jù)、安全性能力，還是“行業(yè)層”快速落地應(yīng)用、模型精調(diào)能力，騰訊云都已經(jīng)迭代出了一套內(nèi)部經(jīng)驗(yàn)公式，并將它們轉(zhuǎn)變?yōu)榭捎玫墓ぞ摺?/p>

先來看看“基礎(chǔ)層”的三大技術(shù)。

數(shù)據(jù)上，基于大模型落地積累的數(shù)據(jù)清洗、存儲(chǔ)和檢索能力，騰訊云打造了云原生的數(shù)據(jù)湖倉和向量數(shù)據(jù)庫。

其中，數(shù)據(jù)湖倉用于存儲(chǔ)、處理各種類型和格式的原始數(shù)據(jù)，能將原始數(shù)據(jù)與經(jīng)過清洗和轉(zhuǎn)換的數(shù)據(jù)存儲(chǔ)在同一個(gè)環(huán)境中并進(jìn)行處理；向量數(shù)據(jù)庫則相當(dāng)于提供了一個(gè)高效的“查詢接口”。

針對(duì)模型迭代過程中遇到的數(shù)據(jù)清洗問題，基于數(shù)據(jù)湖倉和向量數(shù)據(jù)庫技術(shù)，已經(jīng)能做到每秒寫入百萬級(jí)數(shù)據(jù)，清洗時(shí)吞吐能力達(dá)到Tbps。

基于這套方案，在大模型訓(xùn)練時(shí)，數(shù)據(jù)清洗性能提升超過40%，數(shù)據(jù)處理運(yùn)營(yíng)成本整體降低50%；

在大模型推理階段，向量數(shù)據(jù)庫不僅能提供行業(yè)知識(shí)快速查找，日均處理向量檢索千億次。

算力上，通過對(duì)計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)的升級(jí)，騰訊云做出了一套專門面向大模型訓(xùn)練的新一代HCC高性能計(jì)算集群，不僅算力性能相比之前提升3倍，互聯(lián)帶寬更是達(dá)到3.2Tbps。

其中，騰訊云在計(jì)算方面自研了星星海服務(wù)器，將GPU服務(wù)器故障率降低超過50%，避免大模型訓(xùn)練過程中出bug帶來的成本成倍增加；

網(wǎng)絡(luò)方面則基于星脈自研網(wǎng)絡(luò)，做到支持超過10萬張卡并行計(jì)算；

存儲(chǔ)方面進(jìn)一步提升了數(shù)據(jù)吞吐量，已經(jīng)能做到在60秒內(nèi)寫入3TB數(shù)據(jù)，便于在GPU等計(jì)算卡發(fā)生故障時(shí)，快速寫入保存和讀出模型參數(shù)，提升訓(xùn)練效率。

這也是騰訊云將大模型的迭代周期不斷提速的“核心秘訣”。

大模型創(chuàng)業(yè)公司如百川智能、MiniMax等，都已經(jīng)用上騰訊云的這套解決方案。

安全上，騰訊云在輸入和輸出上進(jìn)行了“雙重技術(shù)防護(hù)”。

先是針對(duì)大模型輸入，騰訊云將玄武實(shí)驗(yàn)室打造的一套隱私安全解決方案用到大模型中，用戶可以在端側(cè)部署使用，確保和大模型交互時(shí)，輸入的提示詞等敏感數(shù)據(jù)不被記錄；

同時(shí)，針對(duì)大模型訓(xùn)練過程，騰訊云還將多年積累的內(nèi)容安全能力完善成了一套工具，確保大模型“吐出”的內(nèi)容是安全、可控、合規(guī)的。

不僅是降低模型整體訓(xùn)練成本的“基礎(chǔ)層”，騰訊云還將精調(diào)參數(shù)設(shè)計(jì)和各類開源大模型集成到一整套“行業(yè)層”工具上。

這個(gè)工具，就是騰訊云TI平臺(tái)。騰訊云TI平臺(tái)提供做大模型過程中的精調(diào)、部署等全棧式工具，用戶只需少量算力+領(lǐng)域?qū)I(yè)數(shù)據(jù)，就能快速提升特定任務(wù)效果，更快更高效地構(gòu)建出行業(yè)大模型。

用戶在TI平臺(tái)上可以基于混元大模型打造行業(yè)專屬模型，也可以調(diào)用Llama 2、Falcon、Dolly、Vicuna、Bloom、Alpaca等20多個(gè)業(yè)界當(dāng)前主流的大模型。而且，調(diào)用這些大模型也不需要復(fù)雜的調(diào)試過程，甚至可以在騰訊云平臺(tái)上一鍵調(diào)用測(cè)試效果。

可以說，相比于開放Chat，先“卷大模型”的思路，騰訊云的考量，從一開始就有點(diǎn)不太一樣——

直接比拼大模型業(yè)務(wù)“倍增器”的能力，建立起讓大模型在更快在行業(yè)中落地的“底座”。

騰訊這么干，是不是悟到了什么？

大模型時(shí)代的云，競(jìng)速門檻變了

這一切，還要從大模型給云計(jì)算行業(yè)帶來的沖擊說起。

云計(jì)算作為一個(gè)自大模型誕生始，就與其緊密關(guān)聯(lián)的行業(yè)，在浪潮涌起的最初時(shí)刻，就被預(yù)言“規(guī)則重寫”。

在過去幾個(gè)月，我們也看到MaaS（模型即服務(wù)）作為云廠商新的競(jìng)技場(chǎng)，已然成為云產(chǎn)品架構(gòu)中不可或缺的一環(huán)。

就在這一輪新的競(jìng)逐中，場(chǎng)上玩家如騰訊，逐漸摸清了水面之下的暗流。

首先，云是大模型的最佳載體，尤其是在大模型越來越成熟，開始走向應(yīng)用落地的階段，云計(jì)算底座的重要性愈發(fā)凸顯，正式進(jìn)入關(guān)鍵的競(jìng)爭(zhēng)階段。

因?yàn)榇竽Ｐ偷挠?xùn)練和推理，涉及到的不僅僅是算力，更涉及到穩(wěn)定的GPU千卡、萬卡并行計(jì)算，存儲(chǔ)方面快速的寫入和讀出，以及高性能網(wǎng)絡(luò)、數(shù)據(jù)清洗、安全等等工程化能力。

當(dāng)大模型走向大規(guī)模應(yīng)用階段，開始跟各行各業(yè)產(chǎn)生更深入的融合，一方面，重復(fù)造輪子并不現(xiàn)實(shí)，越來越多的企業(yè)需要低門檻接入、使用大模型的平臺(tái)。

另一方面，正如馬化騰此前在財(cái)報(bào)電話會(huì)中所說：

越想越覺得這（大模型）是幾百年不遇的、工業(yè)革命一樣的機(jī)遇，但做它的確需要很多積累。

對(duì)于工業(yè)革命來講，早一個(gè)月把電燈泡拿出來在長(zhǎng)的時(shí)間跨度上來看是不那么重要。關(guān)鍵還是要把底層的算法、算力和數(shù)據(jù)扎扎實(shí)實(shí)做好。

這其中的“很多積累”，除了大模型技術(shù)本身，云計(jì)算技術(shù)也是不可或缺的一部分。

以騰訊云為例，能在過去幾個(gè)月中，迅速組織起從算力集群，到數(shù)據(jù)處理引擎，再到保障模型安全、支持模型訓(xùn)練和精調(diào)的工具鏈等全套大模型輔助能力，絕非偶然突擊可得：

騰訊新一代HCC高性能計(jì)算集群中用到的星脈高性能計(jì)算網(wǎng)絡(luò)，背后已歷經(jīng)三代技術(shù)演進(jìn)。

騰訊云向量數(shù)據(jù)庫，則早在2019年就已在內(nèi)部進(jìn)行孵化。其向量化能力在2021年曾登頂MS MARCO榜單第一，相關(guān)成果已發(fā)表在NLP頂會(huì)ACL上。

……

其次，對(duì)于云計(jì)算本身而言，也需要順應(yīng)大模型給各行各業(yè)帶來的創(chuàng)新潮流。

直觀的一個(gè)體現(xiàn)是，大模型將重新定義、甚至重構(gòu)云上工具。云廠商需要提供智能化水平更高、更便捷易用的云產(chǎn)品，來適應(yīng)新技術(shù)沖擊下企業(yè)用戶降本增效的新需求。

關(guān)鍵問題在于，作為一個(gè)明確以需求驅(qū)動(dòng)的名詞，“產(chǎn)品”從誕生之初就應(yīng)當(dāng)有其明確的落地場(chǎng)景所在，而不能是手握錘子，看什么都是釘子。

相比一個(gè)僅展示了chat功能的“半成品”，騰訊一直在將場(chǎng)景需求融入進(jìn)大模型中，力圖讓它從誕生之初就直接落地可用。

正因如此，在發(fā)布前騰訊才會(huì)將大模型提前接入自家各種APP中，通過用戶的反饋找到最直接的需求場(chǎng)景，再據(jù)此將功能落地。

邱躍鵬指出，“大模型進(jìn)一步提升了云產(chǎn)品的效能”。

目前，包括騰訊云AI代碼助手、騰訊會(huì)議AI小助手在內(nèi)的產(chǎn)品，都已經(jīng)用大模型能力，實(shí)現(xiàn)了不少用戶的“AI設(shè)想”，完成了顯著的效率提升和體驗(yàn)優(yōu)化。

△騰訊會(huì)議AI總結(jié)會(huì)議要點(diǎn)

而無論是云計(jì)算基礎(chǔ)設(shè)施對(duì)于大模型應(yīng)用落地的支撐，還是大模型給云計(jì)算帶來變革，最終都指向一點(diǎn)：

大模型時(shí)代的云，競(jìng)速規(guī)則已經(jīng)改變。

甚至隨著技術(shù)的發(fā)展、應(yīng)用的深入，僅有算力已經(jīng)夠不到準(zhǔn)入門檻，從網(wǎng)絡(luò)到存儲(chǔ)，從底層計(jì)算到上層應(yīng)用，對(duì)云計(jì)算基礎(chǔ)設(shè)施更全面、更綜合的考量正在拉開序幕。

所以大模型如何變革云計(jì)算游戲規(guī)則，云計(jì)算又如何反作用于大模型的下一步發(fā)展，騰訊已經(jīng)給出了思考和實(shí)踐。

大模型的發(fā)展，最后還是要看背后的云計(jì)算廣度和厚度。大模型決定了智能應(yīng)用和服務(wù)的能力，云計(jì)算決定了大模型的能力。

云計(jì)算是底層基礎(chǔ)，大模型是上層建筑，AIGC應(yīng)用都是這個(gè)基礎(chǔ)和上層建筑上的磚瓦生態(tài)。