打響大模型「平民化」第一槍，云天勵(lì)飛推出“深目”AI 模盒

作者 | 劉路遙 ，編輯?| 余快

面向長(zhǎng)尾場(chǎng)景，“深目”AI模盒是如何做到零學(xué)習(xí)成本、秒速訓(xùn)練的？

過(guò)去一年，大模型如燎原之火，迅速席卷了人工智能領(lǐng)域的每一個(gè)角落，以其規(guī)模和深度，重新定義人工智能的邊界。

這場(chǎng)技術(shù)的盛宴中，AI的新老玩家們都渴望利用嶄新的AI之鑰，打開人工智能應(yīng)用更遼闊的未來(lái)之門。

然而，伴隨這一顛覆性機(jī)遇的到來(lái)，行業(yè)也面臨大型模型發(fā)展早期的挑戰(zhàn)，即模型層與應(yīng)用層整合之間的鴻溝：以大模型為核心的AI技術(shù)應(yīng)用，雖具有切實(shí)降本增效的前景，但大多數(shù)企業(yè)難以負(fù)擔(dān)訓(xùn)練專屬大模型的成本。

由于大量長(zhǎng)尾場(chǎng)景缺乏高性價(jià)比的解決方案，AI普惠化也更多停留在口號(hào)層面。

一邊是AI企業(yè)面臨技術(shù)轉(zhuǎn)化困難、商業(yè)化挑戰(zhàn)，一邊是中小企業(yè)客戶需求未得到充分滿足，在這樣的背景下，云天勵(lì)飛提出大模型“平民化”的目標(biāo)，推出“深目”AI模盒，旨在將大模型變成人人可用的產(chǎn)品，從而解決人工智能落地的最后一公里難題。

解決最后一公里問(wèn)題包含兩個(gè)核心，如何通過(guò)技術(shù)上的創(chuàng)新生產(chǎn)出一款低成本的產(chǎn)品，以及如何在數(shù)據(jù)缺乏的情況下，仍能保證算法的精度。

大模型通往落地的一個(gè)公式

GPT-4發(fā)布已一周年，AI領(lǐng)域在過(guò)去一年的成果已然超越過(guò)去十年的積累。

在云天勵(lì)飛AI大模型產(chǎn)品發(fā)布會(huì)上，CEO陳寧博士表示：未來(lái)3年，全球80%的企業(yè)都將運(yùn)行在大模型之上。

經(jīng)過(guò)上一波人工智能浪潮的洗禮，在人臉識(shí)別、車牌識(shí)別等頭部算法問(wèn)題上，已經(jīng)形成了較為成熟的解決方案。但是，大量低頻的長(zhǎng)尾算法并沒(méi)有得到很好的解決，成為制約人工智能賦能千行百業(yè)的問(wèn)題所在。

大模型出現(xiàn)以前，對(duì)于AI公司來(lái)說(shuō)，每個(gè)小模型的長(zhǎng)尾算法與頭部算法在投入成本和周期上相當(dāng)，都需要強(qiáng)大的算力、高效的算法支持及大量的算法工程師，投入產(chǎn)出比極不匹配，絕大多數(shù)企業(yè)也都不會(huì)為如此高昂的成本買單。

大模型出現(xiàn)后，技術(shù)底座煥然一新，帶來(lái)了高性價(jià)比解決各類長(zhǎng)尾問(wèn)題的機(jī)會(huì)。

但是，積極擁抱和布局大模型，并沒(méi)有想象中那么容易。

本質(zhì)上，大模型由算力、算法、數(shù)據(jù)三者共同構(gòu)成，誰(shuí)能更好地整合三方面能力，提供更低成本、更高效率的產(chǎn)品，才是競(jìng)爭(zhēng)的關(guān)鍵點(diǎn)。

因此，大模型的技術(shù)轉(zhuǎn)化能力，實(shí)際是對(duì)AI公司綜合實(shí)力的考驗(yàn)，能夠脫穎而出的企業(yè)屬于少數(shù)。

云天勵(lì)飛在“算法芯片化”的核心能力下，基于自研多模態(tài)大模型和自研芯片的深度融合，做到了將大模型塞進(jìn)一個(gè)小盒子中。

這個(gè)小盒子不僅具有物理上的緊湊性，用單手就可以托舉起；還具有技術(shù)上的緊湊性，實(shí)現(xiàn)了模型的精簡(jiǎn)和高效化。據(jù)介紹，“深目”AI模盒可以做到“3個(gè)90%”——覆蓋場(chǎng)景超過(guò)90%、算法精度超過(guò)90%，使用成本降低90%。

要做到這一點(diǎn)，需要直面一系列的技術(shù)挑戰(zhàn)，包括如何在邊緣側(cè)完成大模型高性能的推理、高效的訓(xùn)練，如何在內(nèi)存、計(jì)算精度都受限的情況下提升精度等。

那么，云天勵(lì)飛是如何將大模型塞進(jìn)千元級(jí)的小盒子中的？

“能夠?qū)崿F(xiàn)3個(gè)90%，離不開云天勵(lì)飛的核心能力——算法芯片化?！标悓幉┦空f(shuō)。

圍繞“算法芯片化”，云天勵(lì)飛用時(shí)一年，進(jìn)行了兩大技術(shù)攻關(guān)：一是自研多模態(tài)大模型“云天天書”，二是自研大模型推理芯片DeepEdge10。

“深目”AI模盒的算力基礎(chǔ)，來(lái)源于去年云天勵(lì)飛推出的14nm Chiplet 大模型推理芯片DeepEdge10。

這款芯片采用自主可控的國(guó)產(chǎn)工藝，內(nèi)含國(guó)產(chǎn) RISC-V 核，支持大模型推理部署。依托其創(chuàng)新的D2D Chiplet 架構(gòu)打造的推理卡，已適配并可承載SAM CV 大模型、Llama2等百億級(jí)大模型運(yùn)算，可廣泛應(yīng)用于 AloT 邊緣視頻、移動(dòng)機(jī)器人等場(chǎng)景。

云天勵(lì)飛首席科學(xué)家肖嶸博士進(jìn)一步補(bǔ)充道：“芯片設(shè)計(jì)時(shí)，考慮到模型參數(shù)上升會(huì)帶來(lái)效果上的改進(jìn)，我們?cè)O(shè)計(jì)了Chiplet；其次改進(jìn)了算法，用低成本的INT8和FP16替代FP16和FP32，只把模型1%的計(jì)算放在FP32上，使運(yùn)行成本大幅下降；模型訓(xùn)練的基礎(chǔ)、模型的結(jié)構(gòu)也做了顛覆性改變，空間占用更小。”

這些技術(shù)突破，使得云天勵(lì)飛可以通過(guò)算法和芯片一體化設(shè)計(jì)，將芯片設(shè)計(jì)成本做得很低。

“深目”AI模盒的大模型能力，則來(lái)源于云天勵(lì)飛自主研發(fā)的多模態(tài)大橫型“云天天書”。

云天天書大模型包含語(yǔ)言大模型、多模態(tài)大模型等不同系列，在C-Eval、CMMLU等權(quán)威測(cè)試中多次獲得第一名，并于去年正式通過(guò)中央網(wǎng)信辦備案。云天天書1.0版本于2023年初正式推出，已完成3個(gè)版本的迭代，預(yù)計(jì)今年6月將迭代4.0版本。

以云天天書為底座，云天勵(lì)飛與生態(tài)合作伙伴完成預(yù)訓(xùn)練長(zhǎng)尾算法，再將預(yù)訓(xùn)練算法提供給廣大中小企業(yè)用戶。

由于大模型具備泛化和算法邊緣側(cè)在線學(xué)習(xí)能力，部署算法后，大模型還能夠根據(jù)現(xiàn)實(shí)應(yīng)用場(chǎng)景情況，在線學(xué)習(xí)、優(yōu)化算法，不斷提升算法精度，幫助客戶在邊緣端完成算法微調(diào)，訓(xùn)練出可實(shí)戰(zhàn)應(yīng)用的算法。

簡(jiǎn)單理解，云天勵(lì)飛不僅將大模型塞進(jìn)了盒子中，并且還能在限定條件下，根據(jù)實(shí)際情況用少量數(shù)據(jù)做微調(diào)，最終實(shí)現(xiàn)效果的提升。

對(duì)于云天勵(lì)飛來(lái)說(shuō)，這款“壓縮”了大模型和芯片能力的全新產(chǎn)品，是通過(guò)算法芯片化能力平臺(tái)，實(shí)現(xiàn)大模型“硬件化”的一次重要嘗試。

在邊緣計(jì)算的趨勢(shì)下，未來(lái)云天勵(lì)飛將繼續(xù)朝著內(nèi)存更小、算力更小、性價(jià)比更高的方向不斷改進(jìn)和更新產(chǎn)品。

讓長(zhǎng)尾場(chǎng)景客戶輕松使用AI

大模型賦能的數(shù)據(jù)處理產(chǎn)品之所以備受矚目，在于它們具備人類般的思維能力，以及媲美人類的邏輯推理能力。

但對(duì)于使用者來(lái)說(shuō)，重要的不是技術(shù)層面深目盒子積累了多么深厚的底蘊(yùn)，而是應(yīng)用層面產(chǎn)品是否足夠簡(jiǎn)單易用。

一款能直擊客戶痛點(diǎn)問(wèn)題的大模型產(chǎn)品，一定是技術(shù)創(chuàng)新與產(chǎn)品體驗(yàn)雙輪驅(qū)動(dòng)的產(chǎn)物。

“深目”AI模盒正是這樣一款零學(xué)習(xí)成本，真正做到長(zhǎng)尾算法秒速訓(xùn)練的產(chǎn)品。

城市治理是一個(gè)典型的碎片化場(chǎng)景，由于各個(gè)城市的需求不一樣，因此可能存在上百種場(chǎng)景算法，很難尋求一種放之四海而皆準(zhǔn)的解決方案，一勞永逸地解決所有場(chǎng)景問(wèn)題。

不僅如此，以往針對(duì)具體場(chǎng)景的微調(diào)，都需要將數(shù)據(jù)收集好，重新帶回實(shí)驗(yàn)室，經(jīng)過(guò)清洗、標(biāo)注、訓(xùn)練、發(fā)布全流程后，再返回現(xiàn)場(chǎng)部署，周期十分漫長(zhǎng)。

云天勵(lì)飛通過(guò)將這一過(guò)程拆解為兩個(gè)步驟，將原來(lái)幾個(gè)月的落地周期壓縮到了一兩周。

第一步，訓(xùn)練邊緣大模型。目前云天勵(lì)飛與生態(tài)合作伙伴，已在算法訓(xùn)練平臺(tái)上搭建了覆蓋14個(gè)大類、100+個(gè)小類、千余種算法的預(yù)訓(xùn)練算法倉(cāng)庫(kù)；

第二步，在“深目”AI模盒上引入微調(diào)，實(shí)現(xiàn)邊緣端的自學(xué)習(xí)、自進(jìn)化。

這意味著，用戶也只需通過(guò)兩步極簡(jiǎn)的交互，就能獲得一個(gè)高性價(jià)比的、聰明的專屬大模型。

第一步，直接調(diào)用云天勵(lì)飛的預(yù)訓(xùn)練算法，利用平臺(tái)基礎(chǔ)數(shù)據(jù)集，完成算法的初步訓(xùn)練；

第二步，上傳自身場(chǎng)景圖片，直接在現(xiàn)場(chǎng)完成算法的微調(diào)和升級(jí)，快速訓(xùn)練出高精度算法。

長(zhǎng)尾場(chǎng)景最大的痛點(diǎn)在于樣本數(shù)據(jù)少，但一旦用戶使用了云天勵(lì)飛的“深目”AI模盒，這個(gè)問(wèn)題便能迎刃而解。

針對(duì)數(shù)據(jù)少的情況，云天勵(lì)飛副總裁羅憶用城市治理中的店外經(jīng)營(yíng)和游攤小販場(chǎng)景舉例，“只需要上傳五張場(chǎng)景照片，進(jìn)行簡(jiǎn)單標(biāo)注，就能將初步訓(xùn)練的算法精度從76%提升到95%。”

針對(duì)數(shù)據(jù)幾乎空白的情況，如加油站場(chǎng)景的吸煙識(shí)別，可以用AIGC生成在該環(huán)境抽煙的人，這樣既能填補(bǔ)訓(xùn)練數(shù)據(jù)的空白，又能規(guī)避隱私安全等問(wèn)題。

除此之外，在云天勵(lì)飛的算法訓(xùn)練平臺(tái)上，借助大模型的泛化能力，還能解決識(shí)別對(duì)象標(biāo)準(zhǔn)不統(tǒng)一帶來(lái)的算法訓(xùn)練難題。

不過(guò)，想要用少量數(shù)據(jù)產(chǎn)生很好的效果，還有一個(gè)重要的大前提，即培育一個(gè)良好的生態(tài)。

站在數(shù)據(jù)角度，當(dāng)下國(guó)內(nèi)的互聯(lián)網(wǎng)數(shù)據(jù)、文本數(shù)據(jù)、視頻數(shù)據(jù)已幾乎被挖掘殆盡，與此同時(shí)行業(yè)數(shù)據(jù)又不公開，想要獲取高質(zhì)量數(shù)據(jù)，AI公司就需要團(tuán)結(jié)行業(yè)伙伴、高校院所和頭部企業(yè)，前者提供技術(shù)，后者提供數(shù)據(jù)，共創(chuàng)行業(yè)大模型。

站在渠道角度，云天勵(lì)飛雖然提供了一個(gè)技術(shù)平臺(tái)，但僅憑一家企業(yè)，是無(wú)法解決整個(gè)AI行業(yè)落地過(guò)程中，各種各樣的技術(shù)、商業(yè)模式、市場(chǎng)等方方面面挑戰(zhàn)的。

“我們認(rèn)為多模態(tài)大模型在邊緣的訓(xùn)推一體，尤其算法芯片的深入融合方向一定不會(huì)錯(cuò)，共創(chuàng)行業(yè)模型賦能行業(yè)長(zhǎng)尾場(chǎng)景一定是未來(lái)的趨勢(shì)，今天是云天勵(lì)飛生態(tài)構(gòu)建的一個(gè)重大開端?！标悓幉┦空f(shuō)。

AI技術(shù)終將解碼物理世界

在云天勵(lì)飛CEO陳寧看來(lái)，無(wú)論通信、互聯(lián)網(wǎng)、電子信息等技術(shù)，都經(jīng)歷了方案化、運(yùn)營(yíng)化和產(chǎn)品化三個(gè)階段，AI也不例外。

與此同時(shí)，AI方案化、AI運(yùn)營(yíng)化和AI產(chǎn)品化，也是云天勵(lì)飛的三個(gè)核心業(yè)務(wù)板塊。

AI方案化，指AI企業(yè)通過(guò)項(xiàng)目制滿足不同行業(yè)客戶的需求。

在2022年底之前，這種趨勢(shì)在G端和B端呈現(xiàn)出了蓬勃發(fā)展的跡象，各種行業(yè)解決方案層出不窮。

自2014年成立至今，云天勵(lì)飛已經(jīng)沉淀了智慧安防、智慧交通、城市治理、人居生活四大基礎(chǔ)領(lǐng)域的成熟行業(yè)解決方案，并在過(guò)去兩年探索了智慧教育、低空經(jīng)濟(jì)等創(chuàng)新領(lǐng)域。

AI運(yùn)營(yíng)化，指將已開發(fā)的AI解決方案投入實(shí)際項(xiàng)目中，不斷積累行業(yè)認(rèn)知和數(shù)據(jù)，持續(xù)進(jìn)行優(yōu)化改進(jìn)，形成具備越來(lái)越強(qiáng)泛化能力的AI平臺(tái)。

隨著AI技術(shù)成熟和市場(chǎng)接受度提升，兩年前市場(chǎng)開始走向AI運(yùn)營(yíng)化，開啟了商業(yè)模式的創(chuàng)新。

云天勵(lì)飛基于在大量行業(yè)的落地經(jīng)驗(yàn)，已形成智能算力運(yùn)營(yíng)、數(shù)據(jù)運(yùn)營(yíng)和新能源運(yùn)營(yíng)平臺(tái)。

AI產(chǎn)品化，指將AI技術(shù)或解決方案轉(zhuǎn)化為標(biāo)準(zhǔn)化、通用化的產(chǎn)品或服務(wù)，通過(guò)物理實(shí)體賦能，滿足更廣泛的市場(chǎng)需求。

從成立之初自研AI芯片，到去年與華為昇騰聯(lián)合推出天舟大模型訓(xùn)推一體機(jī)，再到如今推出面向邊緣訓(xùn)推場(chǎng)景的“深目”AI模盒，以及通過(guò)資本紐帶進(jìn)軍智能穿戴市場(chǎng)，云天勵(lì)飛一直在致力于做物理世界的“解碼者”，并在日復(fù)一日的堅(jiān)持中，構(gòu)建起日益完善的大模型產(chǎn)品體系。

陳寧博士表示，“多模態(tài)大模型將推動(dòng)AI從方案化，走向運(yùn)營(yíng)化，最終走向標(biāo)準(zhǔn)化的智能硬件。在AI產(chǎn)品化方面，最重要的是推出面向C端的產(chǎn)品，如終極形態(tài)的人形機(jī)器人，將成為標(biāo)準(zhǔn)化的智能硬件之一?！?/p>

在云天勵(lì)飛的布局中，標(biāo)準(zhǔn)化的智能硬件分為端、邊、云三個(gè)不同的計(jì)算節(jié)點(diǎn)和產(chǎn)品形態(tài)。

終端和云端更多是整合生態(tài)，在終端設(shè)備上，通過(guò)生態(tài)構(gòu)建，并購(gòu)了一家可穿戴設(shè)備方案供應(yīng)商；云端設(shè)備上，全面擁抱華為昇騰，在天舟大模型訓(xùn)推一體機(jī)后，聯(lián)合探索各類場(chǎng)景；邊緣設(shè)備上，則是端到端的開發(fā)打磨的一系列深目AI模盒，解決過(guò)往十年細(xì)分場(chǎng)景精度不夠、成本太高、周期太長(zhǎng)、數(shù)據(jù)量太大等一系列痛點(diǎn)問(wèn)題。

當(dāng)人工智能技術(shù)能夠解決應(yīng)用到實(shí)際場(chǎng)景中的最后一公里難題時(shí)，AI將不再僅僅是虛擬世界中的工具，而是真正成為了物理世界的生產(chǎn)力。

結(jié)語(yǔ)

過(guò)去一年，創(chuàng)業(yè)者們都在思考如何利用大模型這一顛覆性機(jī)會(huì)構(gòu)建新的護(hù)城河，生成式AI的局限性，使得大模型與產(chǎn)業(yè)的結(jié)合，成為一個(gè)需要不斷驗(yàn)證和改進(jìn)的過(guò)程。

這個(gè)過(guò)程，恰如云天勵(lì)飛十年間對(duì)“深目”產(chǎn)品的更新迭代。

CV小模型時(shí)代，名為”深目”的人工智能產(chǎn)品，引領(lǐng)了AI產(chǎn)業(yè)化應(yīng)用的浪潮，揭開了“AI+公共安全”市場(chǎng)的新紀(jì)元。

大模型時(shí)代，名為“深目”AI模盒的邊緣訓(xùn)推一體產(chǎn)品，基于大模型技術(shù)演進(jìn)和芯片深度融合的聯(lián)合設(shè)計(jì)，已經(jīng)擁有了煥然一新的技術(shù)底座。

從“深目”到“深目”，從“方案化”到“產(chǎn)品化”，從“CV小模型創(chuàng)業(yè)”到“大模型創(chuàng)業(yè)”，云天勵(lì)飛向著AI普惠的目標(biāo)，再次出發(fā)了。