大模型，化繁為簡(jiǎn)歸文心

近兩年，圍繞大模型的技術(shù)創(chuàng)新、工具創(chuàng)新層出不窮。在繁花似錦的整體趨勢(shì)下，我們似乎也能看到隱藏的問題。比如大模型的門檻依舊偏高，與產(chǎn)業(yè)結(jié)合更多偏向案例性質(zhì)，大范圍應(yīng)用還有非常多的挑戰(zhàn)。參數(shù)繁榮、技術(shù)繁多、種類繁復(fù)的大模型，正有待迎接一次轉(zhuǎn)變。

11月30日，由深度學(xué)習(xí)技術(shù)與應(yīng)用國家工程研究中心主辦、飛槳承辦的WAVE SUMMIT+ 2022在線上舉行。期間，圍繞文心大模型的一系列更新、升級(jí)引發(fā)了開發(fā)者廣泛關(guān)注。如果我們?yōu)槲男拇竽Ｐ偷纳?jí)進(jìn)行一個(gè)簡(jiǎn)要描述，或許可以用到“化繁為簡(jiǎn)”這個(gè)詞。

而在構(gòu)建智能化基座的過程中，大模型的產(chǎn)業(yè)化路徑，必然是要封裝復(fù)雜的模型生產(chǎn)過程，從而高效支撐千行百業(yè)應(yīng)用。

大模型的復(fù)雜技術(shù)與研發(fā)挑戰(zhàn)，應(yīng)該是停留在產(chǎn)業(yè)上游的。具有算法、算力和數(shù)據(jù)綜合優(yōu)勢(shì)的企業(yè)，應(yīng)該將模型生產(chǎn)進(jìn)行封裝，在產(chǎn)業(yè)鏈上游就解決大數(shù)據(jù)、大算力、大模型的能力挑戰(zhàn)。這樣，應(yīng)用場(chǎng)景與企業(yè)用戶、開發(fā)者，將得到簡(jiǎn)單、易用、工業(yè)化的大模型能力。只有這樣，大模型才能真正落下去、推廣開。

兩點(diǎn)之間，直線最短。大模型已經(jīng)來到了化繁為簡(jiǎn)的臨界點(diǎn)，而百度正在用飛槳+文心大模型，在技術(shù)與產(chǎn)業(yè)之間畫出這條直線。

在目前階段，大模型正處在高速發(fā)展期。我們近乎每個(gè)月，甚至每星期都可以看到產(chǎn)業(yè)界、學(xué)術(shù)界公布大模型創(chuàng)新。并且在今天，已經(jīng)很少看到大模型創(chuàng)新過分執(zhí)著參數(shù)對(duì)比，更多是進(jìn)行不同技術(shù)路線、不同應(yīng)用領(lǐng)域的多樣化創(chuàng)新。

與此同時(shí)，伴隨著大模型種類、功能的繁復(fù)多樣，輔助大模型的開發(fā)工具、軟硬件基礎(chǔ)設(shè)施、開源開放平臺(tái)也豐富了起來，圍繞大模型的產(chǎn)業(yè)生態(tài)開始?jí)汛蟆?/p>

然而在這種情況下，我們依舊會(huì)發(fā)現(xiàn)大模型發(fā)展中有一個(gè)客觀存在的核心問題：產(chǎn)業(yè)主要提升的，是“訓(xùn)大模型”的能力，而不是“用大模型”的能力。

一般來說，前者關(guān)注如何讓大模型更加“繁華”；但后者卻需要考慮實(shí)際場(chǎng)景，消弭應(yīng)用門檻。在某種程度上需要反過來，化繁為簡(jiǎn)。

2.想要應(yīng)用成熟的大模型，又往往缺少產(chǎn)業(yè)示范與行業(yè)路徑。不知道自己的行業(yè)該用哪種大模型，行業(yè)知識(shí)與行業(yè)需求如何與大模型對(duì)齊。

3.即使選到想用的大模型，又會(huì)發(fā)現(xiàn)本地環(huán)境難以兼容適配。大模型應(yīng)用的工程化能力很難讓人滿意。

面對(duì)這些問題，千行百業(yè)需要從基礎(chǔ)模型、開發(fā)工具、開發(fā)社區(qū)，到行業(yè)路徑的一系列幫助與加持，打通從大模型到產(chǎn)業(yè)的一系列關(guān)節(jié)。這種圍繞行業(yè)需求與產(chǎn)業(yè)應(yīng)用進(jìn)行創(chuàng)新，而不是圍繞大模型本身進(jìn)行提升的思路，就是百度發(fā)展文心大模型，以及構(gòu)建飛槳+文心產(chǎn)業(yè)智能化基座的獨(dú)特思路。

WAVE SUMMIT+ 2022所展現(xiàn)的，就是這種思路的進(jìn)一步完備與壯大。

面向這種困難，只有一個(gè)個(gè)行業(yè)去探索，在重點(diǎn)行業(yè)形成有效的大模型落地參考路徑。這或許是“最重”的選擇，但同時(shí)也是“最優(yōu)解”。

今年5月，文心大模型面向具體的行業(yè)需求，發(fā)布了行業(yè)大模型這一全新發(fā)展路徑。其通過文心大模型的基礎(chǔ)模型能力，搭配對(duì)海量行業(yè)數(shù)據(jù)的挖掘，以及由合作機(jī)構(gòu)、行業(yè)客戶提供的行業(yè)特色數(shù)據(jù)和知識(shí)，加上行業(yè)特色的專家經(jīng)驗(yàn)多方結(jié)合，進(jìn)行相應(yīng)的行業(yè)訓(xùn)練任務(wù)設(shè)計(jì)，最終形成了文心行業(yè)大模型。

在與行業(yè)結(jié)合的過程中，文心大模型知識(shí)增強(qiáng)與產(chǎn)業(yè)級(jí)兩大特色得以充分發(fā)揮，形成了行業(yè)知識(shí)增強(qiáng)的關(guān)鍵路徑。這一路徑不僅解決了大模型的應(yīng)用挑戰(zhàn)，還凝結(jié)成了一系列面向重點(diǎn)行業(yè)的大模型產(chǎn)業(yè)落地方法。實(shí)現(xiàn)了大模型在行業(yè)場(chǎng)景中“不但能用還便捷好用”的價(jià)值。

在本次峰會(huì)上，文心行業(yè)大模型持續(xù)升級(jí)，在原有能源、金融、航天、傳媒等行業(yè)的基礎(chǔ)上，進(jìn)一步升級(jí)到了11個(gè)行業(yè)大模型，將行業(yè)大模型延伸到了制造業(yè)、城市管理、汽車等關(guān)鍵領(lǐng)域。可以說，行業(yè)大模型已經(jīng)從先鋒、探索性質(zhì)，發(fā)展到了覆蓋行業(yè)眾多、體系完備的新階段。從應(yīng)用效果與行業(yè)覆蓋上來說，都已經(jīng)實(shí)現(xiàn)了蔚為大觀。

在哈爾濱，近年來冰城探索了一系列AI技術(shù)賦能城市高質(zhì)量發(fā)展、東北老工業(yè)基地振興的嘗試，取得了顯著成效。而就在剛剛，哈爾濱市政府?dāng)y手百度，聯(lián)合發(fā)布面向城市領(lǐng)域的行業(yè)大模型——冰城-百度·文心。

冰城-百度·文心大模型，可以將城市中跨業(yè)務(wù)、跨結(jié)構(gòu)、跨部門的數(shù)據(jù)知識(shí)和多種任務(wù)算法進(jìn)行融合，基于百度文心NLP大模型ERNIE 3.0，打造統(tǒng)一預(yù)訓(xùn)練模型，提供強(qiáng)大的語言理解、語義分析等能力，支撐城市中各領(lǐng)域的AI規(guī)?；Ч嵘?。文心行業(yè)大模型，至此可以從城市治理、產(chǎn)業(yè)發(fā)展、公共服務(wù)等多個(gè)領(lǐng)域支持哈爾濱的數(shù)字化發(fā)展。從產(chǎn)業(yè)路徑上看，這一聯(lián)合發(fā)布、聯(lián)合打造，將大模型與智慧城市需求有效結(jié)合在了一起，為更多城市獲得大模型價(jià)值提供了參考路徑。

如今，行業(yè)大模型已經(jīng)在多個(gè)領(lǐng)域取得可信的成果。比如文心大模型與電影頻道結(jié)合，可以實(shí)現(xiàn)每天修復(fù)28.5萬幀老舊影片。即使是精修，文心大模型的修復(fù)速度也較人工效率提升了3到4倍。在能源、金融等一系列領(lǐng)域，行業(yè)大模型已經(jīng)形成了產(chǎn)業(yè)智能化的發(fā)展路標(biāo)。

當(dāng)然，除了行業(yè)大模型之外，文心大模型還以更多方式融入更廣泛的行業(yè)應(yīng)用。比如從2019年3月文心ERNIE1.0發(fā)布以來，幾乎百度全系列產(chǎn)品都在逐步使用文心大模型。在千行百業(yè)，文心大模型已通過飛槳開源開放平臺(tái)、百度智能云等賦能到工業(yè)、能源、金融、通信、媒體、教育等各行各業(yè)。

行業(yè)有路徑，是文心大模型持續(xù)升級(jí)的首要目標(biāo)。

在真實(shí)的應(yīng)用場(chǎng)景中，企業(yè)和開發(fā)者需要接入大模型的方式是十分多樣的。有的企業(yè)確實(shí)需要自己開發(fā)大模型；也有企業(yè)需要以最低成本完成大模型適配；還有一些企業(yè)可能需要具有特殊能力的模型；有一部分企業(yè)需要產(chǎn)品級(jí)、可API接入的大模型能力。

只有從模型到工具，再到產(chǎn)品、社區(qū)都有完善、完整的技術(shù)儲(chǔ)備，才有能力降低大模型應(yīng)用門檻，才有機(jī)會(huì)成為產(chǎn)業(yè)智能化的基座。

為此，百度全面升級(jí)了文心大模型的全景圖，既豐富了大模型的種類。同時(shí)也在大模型開發(fā)工具、產(chǎn)品能力、社區(qū)建設(shè)上進(jìn)行了升級(jí)。

同時(shí)，在跨模態(tài)領(lǐng)域，百度發(fā)布跨模態(tài)理解大模型ERNIE ViL 2.0、跨模態(tài)生成大模型ERNIE ViLG 2.0、文檔智能大模型 ERNIE-Layout。在生物計(jì)算方面，最新發(fā)布了蛋白質(zhì)預(yù)測(cè)模型HelixFold-Single。而在任務(wù)大模型方面，則發(fā)布了代碼大模型ERNIE-Code。其可以通過多語言學(xué)習(xí)的形式，在語料上更加豐富多樣，使得模型能力更強(qiáng)，并且能夠支持多個(gè)語種。

在一系列新加入的模型之外，百度也在推動(dòng)大模型開發(fā)工具建設(shè)、產(chǎn)品化升級(jí)與社區(qū)建設(shè)。在工具與平臺(tái)的技術(shù)升級(jí)上，百度提供面向場(chǎng)景化，以及行業(yè)大模型的配套能力。比如在模型精調(diào)方面提供的技術(shù)工具更加豐富，大模型的API當(dāng)中將包含更豐富的精調(diào)能力。同時(shí)，在大模型訓(xùn)練中也會(huì)添加一系列可信學(xué)習(xí)工具，滿足開發(fā)者對(duì)大模型的安全、可控需求。

在文心大模型的產(chǎn)品和社區(qū)方面，百度保留了旸谷社區(qū)作為創(chuàng)意社區(qū)。同時(shí)增加了兩款以大模型為核心驅(qū)動(dòng)的產(chǎn)品。這些產(chǎn)品既可以直接賦能給有相關(guān)需求的產(chǎn)業(yè)用戶和泛科技用戶，豐富大模型的應(yīng)用價(jià)值。同時(shí)也為行業(yè)起到了示范作用，展示了大模型產(chǎn)品化的技術(shù)路徑。

在最近備受關(guān)注的AIGC方面，百度打造的文心一格，在本次峰會(huì)上進(jìn)行了一系列新能力的發(fā)布。比如近期非?；鸨囊詧D生圖能力、圖片通過文字進(jìn)行編輯的能力，以及一鍵生成視頻的能力。

從新的模型、新的工具，到產(chǎn)品與社區(qū)的升級(jí)，文心大模型可以說從多角度、全方位升級(jí)了技術(shù)儲(chǔ)備。這些技術(shù)能力對(duì)應(yīng)著不同類型開發(fā)者、企業(yè)對(duì)大模型的多樣化需求。只有滿足這些具體的需求，打通一個(gè)個(gè)關(guān)隘，大模型才能去向它最應(yīng)該去的地方——應(yīng)用。

為了解決這些問題，百度的思考是盡量畫一條直線，讓開發(fā)者與行業(yè)可以不走彎路，以最高效率直接抵達(dá)大模型的內(nèi)在價(jià)值。

這條直線，需要包含工具集成性、技術(shù)豐富性、行業(yè)路徑完善性等等價(jià)值。只有把這些能力合而為一，才能實(shí)現(xiàn)將化繁為簡(jiǎn)的目標(biāo)。面向大模型的產(chǎn)業(yè)需求、應(yīng)用場(chǎng)景，不僅需要做到有模型、有工具，同時(shí)需要將大模型與深度學(xué)習(xí)平臺(tái)結(jié)合起來，滿足企業(yè)、開發(fā)者從算力到應(yīng)用的全流程需求。

為了更好幫助企業(yè)與開發(fā)者，實(shí)現(xiàn)從開發(fā)大模型到應(yīng)用大模型的全流程實(shí)踐，百度勾勒出了飛槳+文心，即深度學(xué)習(xí)平臺(tái)+大模型的產(chǎn)業(yè)路徑。二者結(jié)合，開發(fā)者可以獲得從算力、框架、模型庫，再到大模型調(diào)用、大模型行業(yè)化的所有能力，獲得了完善、穩(wěn)固的產(chǎn)業(yè)智能化基座。自然也就完成了從大模型到產(chǎn)業(yè)的最短距離直達(dá)。

至此，我們可以看到百度在搭建飛槳+文心產(chǎn)業(yè)基座，賦能大模型開發(fā)過程中的清晰思路：大模型并不僅僅是某種技術(shù)的創(chuàng)新，或者一個(gè)平臺(tái)的搭建。而是需要從最終用戶，最開發(fā)者與企業(yè)的應(yīng)用需求出發(fā)。一步步倒推需要哪些支持，每一個(gè)環(huán)節(jié)還有哪些阻礙？

只要將這些阻礙一個(gè)個(gè)解決掉，將支持一個(gè)個(gè)搭建好，將所有復(fù)雜且具有挑戰(zhàn)的事先行完成，那么開發(fā)者和企業(yè)最終就將得到最簡(jiǎn)單、可用的大模型。大模型與產(chǎn)業(yè)之間，也就實(shí)現(xiàn)了兩點(diǎn)之間，直線最短的連接。

這就是百度式的大模型發(fā)展思路，這就是化繁為簡(jiǎn)歸文心。