大模型賽點(diǎn)：場(chǎng)景與成本

作者：葉子凌，編輯：陳彬

前幾天，OpenAI舉行首次開發(fā)者大會(huì)。一系列的更新發(fā)布使得現(xiàn)場(chǎng)高潮不斷，最令人驚艷的可能莫過(guò)于：OpenAI為創(chuàng)業(yè)者開放了支持自定義模型的GPTs。也就是說(shuō)，創(chuàng)業(yè)者可以針對(duì)專業(yè)場(chǎng)景進(jìn)行定制化的模型研發(fā)。

場(chǎng)景，其實(shí)一直是大模型創(chuàng)新最主要的難題之一。

現(xiàn)場(chǎng)另一個(gè)重磅發(fā)布則是降價(jià)。和原版GPT-4相比，新版GPT-4 Turbo價(jià)格降低了2.75倍多。OpenAI的舉動(dòng)頗具代表性。場(chǎng)景與成本，正是當(dāng)下大模型都在全力攻克的兩座大山。

另一個(gè)風(fēng)口

當(dāng)下，相比于創(chuàng)造全新的場(chǎng)景，利用大模型改造現(xiàn)存場(chǎng)景，實(shí)現(xiàn)生產(chǎn)力提升，或許是一個(gè)更好的思路。

一個(gè)典型案例是營(yíng)銷場(chǎng)景：復(fù)雜的營(yíng)銷模式和供應(yīng)鏈環(huán)節(jié)，為AI提供了絕佳的應(yīng)用場(chǎng)景。當(dāng)下，行業(yè)已經(jīng)開始思考，如何把大模型應(yīng)用在品牌營(yíng)銷，尤其是營(yíng)銷標(biāo)配的電商直播中，以領(lǐng)先技術(shù)實(shí)現(xiàn)成本的極致壓縮。

電商直播的優(yōu)勢(shì)已無(wú)需贅述，大到奢侈品牌，小到莆田廠家都試圖通過(guò)這一方式尋求新增長(zhǎng)。但對(duì)品牌商家而言，做直播需要耗費(fèi)人力、資源、時(shí)間等高成本投入，并且對(duì)人員專業(yè)能力有較高要求。因此不免會(huì)出現(xiàn)主播在直播時(shí)閑聊、產(chǎn)品介紹不到位、主播不招人喜歡、回答不夠?qū)I(yè)等問(wèn)題，讓不少品牌商望而卻步。

而這一類場(chǎng)景則恰恰適合大模型一展拳腳。京東云以言犀大模型加持的言犀虛擬主播，用不及真人主播1/10的低成本、2小時(shí)即可開播的高效率，以及24h拉滿直播時(shí)長(zhǎng)，給出了高度適配這一場(chǎng)景的降本增效方案。

同仁堂是第一批吃螃蟹的品牌。如今，專業(yè)度極高的京東云言犀虛擬主播，已成為同仁堂京東自營(yíng)旗艦店的“正式員工”，實(shí)現(xiàn)了24小時(shí)不間斷直播。特別是在深夜無(wú)人值守時(shí)段，虛擬主播帶貨了燕窩、阿膠等100余款熱門產(chǎn)品，成交轉(zhuǎn)化率超10%。

除同仁堂外，京東云言犀虛擬主播已經(jīng)入駐青蛙王子、六神、百雀羚等4000多個(gè)品牌直播間，累計(jì)帶動(dòng)超10億元GMV，占真人直播40%。今年11.11期間，更以全棧自研技術(shù)支撐，幫助品牌實(shí)現(xiàn)提升業(yè)績(jī)?cè)隽?、客服溫度、營(yíng)銷效率等多維度的價(jià)值創(chuàng)造。

評(píng)估一項(xiàng)技術(shù)的價(jià)值，不應(yīng)該只看發(fā)了多少篇論文，更要看給社會(huì)生產(chǎn)力帶來(lái)了多少提升，大模型也不例外，而這正是京東的目標(biāo)。

事實(shí)上，除數(shù)字人主播之外，京東針對(duì)營(yíng)銷的各個(gè)環(huán)節(jié)都提供了對(duì)應(yīng)的AI工具。

例如在金融營(yíng)銷上，京東科技的AI增長(zhǎng)營(yíng)銷平臺(tái)，可以快速生成創(chuàng)意營(yíng)銷方案，僅需1人即可完成過(guò)去涉及及產(chǎn)品、研發(fā)等5類以上職能才能完成的流程。同時(shí)，一個(gè)入口的全新交互模式，讓人機(jī)交互次數(shù)從2000次降低至少于50次，將操作效率提升了超過(guò)40倍。

加持大模型能力的AI專家，如今正成為營(yíng)銷場(chǎng)景中必不可少的一員。

從通用到產(chǎn)業(yè)

10月23日晚上8點(diǎn)，今年的雙11大戰(zhàn)正式開幕。同往年一樣，社交平臺(tái)上立馬充斥著關(guān)于大促期間，物流快到令人咂舌的段子。

31日晚8剛過(guò)10分鐘，全國(guó)已于有超1000個(gè)縣區(qū)市的消費(fèi)者收到了小時(shí)達(dá)訂單，這背后其實(shí)是平臺(tái)運(yùn)營(yíng)效率的提升。今年在大量商家和消費(fèi)者服務(wù)上，京東云的產(chǎn)業(yè)AI技術(shù)代替真人分擔(dān)了相當(dāng)一部分工作：

自10月23日京東11.11開啟以來(lái)，京東云智能客服已經(jīng)完成了超10億次消費(fèi)者的應(yīng)答。作為京東官方的服務(wù)與營(yíng)銷一體化平臺(tái)，京小智至今服務(wù)商家數(shù)量超36萬(wàn)，其中，中小商家較去年11.11增加102%，較今年618增加62%。

零售讓大模型找到了一個(gè)可以深入落地的場(chǎng)景，但想解決產(chǎn)業(yè)場(chǎng)景中的實(shí)際問(wèn)題，其實(shí)并不容易。

大模型內(nèi)部是一個(gè)黑箱，輸出存在不可控的問(wèn)題。但在更加嚴(yán)肅的商業(yè)場(chǎng)景，品牌商及消費(fèi)者肯定不能接受大模型胡說(shuō)八道。得益于長(zhǎng)期以來(lái)對(duì)專業(yè)場(chǎng)景語(yǔ)料訓(xùn)練的京東言犀大模型，京東云已經(jīng)找到了一套解決方案。

京東云將零售、物流、健康等專業(yè)領(lǐng)域知識(shí)在預(yù)訓(xùn)練階段就注入到言犀大模型中，對(duì)電商商品屬性、價(jià)格、品類知識(shí)等進(jìn)行重點(diǎn)強(qiáng)化，使基礎(chǔ)大模型一開始就對(duì)關(guān)鍵性信息進(jìn)行抓取和表征。在應(yīng)用的時(shí)候，在客服，導(dǎo)購(gòu)，直播帶貨，對(duì)于非常敏感的信息點(diǎn)就會(huì)有更高的保證度和專業(yè)性。

通過(guò)信息抽取，京東云將類似信息問(wèn)答的準(zhǔn)確率從80%+正確率提升到96%的準(zhǔn)確率。而在此基礎(chǔ)上，京東云又通過(guò)運(yùn)營(yíng)審核對(duì)信息準(zhǔn)確性進(jìn)行兜底，使得最終準(zhǔn)確率達(dá)到近乎100%，真正實(shí)現(xiàn)可用。

不過(guò)，解決胡說(shuō)八道只是第一步，消費(fèi)者不會(huì)因?yàn)锳I專家回答準(zhǔn)確而激情下單。

另一項(xiàng)考驗(yàn)是：如何讓虛擬主播擁有真人主播的情緒，感染到消費(fèi)者？京東云在為國(guó)臺(tái)提供數(shù)字人服務(wù)時(shí)就曾遇到過(guò)這個(gè)問(wèn)題，開發(fā)出的第一版聲音溫柔且咬字清晰，顯得過(guò)于一板一眼。收到商家反饋后，技術(shù)團(tuán)隊(duì)迅速迭代出第二版：充滿激情的人聲。

在這個(gè)過(guò)程中，京東云打造了一條“聲音供應(yīng)鏈”：

從聲音最基礎(chǔ)的元素上進(jìn)行規(guī)范、制定標(biāo)準(zhǔn)，再通過(guò)技術(shù)進(jìn)行適配以打磨聲音表現(xiàn)力，并且結(jié)合真實(shí)的直播數(shù)據(jù)，持續(xù)迭代有感染力的聲音，如今言犀虛擬主播的音色庫(kù)已擴(kuò)充至超過(guò)40個(gè)。

除了感染消費(fèi)者，如何能“體會(huì)”消費(fèi)者的情緒，也是智能客服的難點(diǎn)所在。基于言犀大模型，京東云AI技術(shù)能識(shí)別“買貴了”等價(jià)格敏感型對(duì)話意圖，主動(dòng)推送“一鍵價(jià)?！狈?wù)，提高成單率。同時(shí)也有能力將“能刷公交卡的手機(jī)”理解為“支持NFC功能”等商品屬性，抓取相關(guān)商品直接推薦給消費(fèi)者，提高準(zhǔn)確應(yīng)答率。

憑借這一系列技術(shù)方案，虛擬主播的帶貨轉(zhuǎn)化率最高可達(dá)到40%。

相似的方法正同樣被京東云應(yīng)用于視覺(jué)形象的迭代。超過(guò)70個(gè)數(shù)字人形象，讓京東平臺(tái)商家在選取符合自家商品調(diào)性的AI形象時(shí)，擁有了更多、更合適的選擇。

然而，一個(gè)工具畢竟很難100%覆蓋所有的細(xì)分需求。隨著品牌商家不斷深入，難免會(huì)希望擁有一個(gè)定制化的品牌大模型，以高度匹配自家產(chǎn)品和服務(wù)?？纱竽Ｐ投ㄖ苹甙旱耐度氤杀竞透唛T檻的技術(shù)要求，是擋在絕大部分品牌面前的兩座大山。

京東云的思路是MaaS（model as service），向客戶提供言犀 AI 開發(fā)計(jì)算平臺(tái)。

這個(gè)平臺(tái)覆蓋了數(shù)據(jù)準(zhǔn)備、模型開發(fā)、模型訓(xùn)練及模型部署的 AI 開發(fā)全流程能力，預(yù)置了主流開源大模型以及部分商業(yè)化大模型，以及一百多種推理工具和框架，能夠有效降低大模型開發(fā)門檻和成本。

尤其在開發(fā)者關(guān)注的性能方面，言犀 AI 開發(fā)計(jì)算平臺(tái)在算力和存儲(chǔ)上做了許多技術(shù)突破，包括平臺(tái)對(duì) GPU 算力進(jìn)行整體調(diào)度和統(tǒng)籌，提高對(duì)平臺(tái)的底層資源使用的調(diào)度效率；而云海分布式存儲(chǔ)能夠支持大模型海量數(shù)據(jù)高并發(fā)集群要求，可以做到千萬(wàn)級(jí) IOPS，延遲低至百微秒。

從用戶視角來(lái)看，從真人轉(zhuǎn)到數(shù)字人或許只是視覺(jué)效果上的切換；但在這背后，其實(shí)是京東多年技術(shù)布局的厚積薄發(fā)。

成本攻堅(jiān)戰(zhàn)

電商為大模型提供了一個(gè)合適的場(chǎng)景，相比之下，算力成本問(wèn)題則沒(méi)那么好解決。大模型前期需要訓(xùn)練，應(yīng)用階段需要推理，這些都會(huì)消耗巨大的算力。不解決大模型的成本難題，商業(yè)盈利就遙遙無(wú)期。

京東云的經(jīng)驗(yàn)是，先從模型層面進(jìn)行優(yōu)化，即大模型的蒸餾和量化。

原來(lái)的大模型參數(shù)應(yīng)用的32位或64位的浮點(diǎn)數(shù)作為參數(shù)，但浮點(diǎn)數(shù)占用空間大且運(yùn)算較慢。京東云可以通過(guò)4位或8位的數(shù)字來(lái)模擬浮點(diǎn)數(shù)參數(shù)，保證精度的同時(shí)再通過(guò)流式計(jì)算的方式提高模型的運(yùn)行速度。這樣大模型平均生成每個(gè)Token的運(yùn)行成本大大降低。

其次，優(yōu)化大模型推理階段的算力損耗。不同于需要大量并行計(jì)算的訓(xùn)練階段，推理需要的數(shù)據(jù)量相對(duì)較少。此外京東平臺(tái)商家調(diào)用大模型應(yīng)用的時(shí)間會(huì)呈現(xiàn)波峰波谷，這意味著對(duì)計(jì)算資源的調(diào)度十分關(guān)鍵。

京東云在計(jì)算資源調(diào)度上久經(jīng)沙場(chǎng)了。通過(guò)混合多云操作系統(tǒng)云艦，京東云可對(duì)超1500萬(wàn)核容器秒級(jí)調(diào)度則可以解決推理階段的算力能力。

這套能力源于常年支持618和11.11。所以借助計(jì)算調(diào)度能力，京東云在11.11期間可以為幾十萬(wàn)需要大模型應(yīng)用的商家部署獨(dú)立的容器完成計(jì)算支持，應(yīng)用完成后再快速釋放，既靈活高效，又節(jié)省成本。

想要實(shí)現(xiàn)算力降本，還有個(gè)不容忽視的部分，即數(shù)據(jù)中心的運(yùn)行電力成本。

數(shù)據(jù)中心是大模型的訓(xùn)練與應(yīng)用的數(shù)字設(shè)施基礎(chǔ)，24小時(shí)連續(xù)運(yùn)行，電力成本占運(yùn)營(yíng)總成本的60%-70%；隨著大模型帶動(dòng)AI 服務(wù)器需求快速提升，因AI 服務(wù)器中大量使用高功率 CPU、GPU芯片，使得服務(wù)器整機(jī)功耗以至機(jī)柜功耗急劇走高，帶動(dòng)數(shù)據(jù)中心用電規(guī)模迅速增長(zhǎng)。

且隨著電力市場(chǎng)化改革深入，市場(chǎng)交易電價(jià)上下浮動(dòng)范圍不斷擴(kuò)大，數(shù)據(jù)中心運(yùn)行電力成本不斷攀升，因此如何降低數(shù)據(jù)中心的電力消耗，已然成為算力降本道路上不可避免的最大挑戰(zhàn)。

面對(duì)這個(gè)挑戰(zhàn)，京東云基于多年來(lái)對(duì)研發(fā)大模型的能力積累和大模型對(duì)數(shù)字基礎(chǔ)設(shè)施需求的深切理解，創(chuàng)新推出了“阿爾法”智能算力模塊高功率密度解決方案，可根據(jù)數(shù)據(jù)中心基礎(chǔ)條件及服務(wù)器配置需求，定制化提供相應(yīng)的產(chǎn)品解決方案。

這其中包括風(fēng)冷型及液冷型兩個(gè)系列模塊產(chǎn)品解決方案：

風(fēng)冷型算力模塊配套采用風(fēng)墻型空調(diào)，風(fēng)墻型空調(diào)功耗較傳統(tǒng)機(jī)房空調(diào)可降低30%，并可靈活匹配冷凍水、相變自然冷卻空調(diào)冷源系統(tǒng)；液冷型算力模塊配套采用冷板式液冷系統(tǒng)，空調(diào)系統(tǒng)全年平均運(yùn)行能效可將PUE制冷因子低于0.07，從而大幅降低數(shù)據(jù)中心運(yùn)行能耗及運(yùn)行電力成本，最終實(shí)現(xiàn)算力成本的下降。

在面對(duì)AI浪潮時(shí)，京東的步伐其實(shí)跟OpenAI的成長(zhǎng)過(guò)程有很多不約而同之處。OpenAI的班底是幾個(gè)硅谷極客，堅(jiān)信人工智能可以改變世界。而京東同樣以技術(shù)為起點(diǎn)，以為產(chǎn)業(yè)賦能為最終目標(biāo)，交出了一份值得業(yè)界參考的答卷。

這份始終圍繞產(chǎn)業(yè)思考的誠(chéng)心其實(shí)更加可貴。

而京東的故事也證明了，能夠在技術(shù)風(fēng)口期內(nèi)，迅速把握方向，從學(xué)術(shù)理論走向產(chǎn)業(yè)，其實(shí)并不簡(jiǎn)單。這既需要對(duì)前沿技術(shù)的高瞻遠(yuǎn)矚，又需要對(duì)當(dāng)下終端需求的敏感和精準(zhǔn)捕捉。這對(duì)一個(gè)企業(yè)組織的溝通效率、軟硬件融合能力、以及投研實(shí)力都是巨大的考驗(yàn)。

在科技企業(yè)的商業(yè)戰(zhàn)爭(zhēng)中，最終獲勝的通常不是那個(gè)技術(shù)開創(chuàng)者，而是真正將技術(shù)推廣出去，通過(guò)工程上的點(diǎn)滴進(jìn)步，最終為產(chǎn)業(yè)帶來(lái)紅利的企業(yè)。

而這方面，其實(shí)一直是京東等中國(guó)科技企業(yè)的長(zhǎng)項(xiàng)。

作者：葉子凌，編輯：陳彬，視覺(jué)設(shè)計(jì)：疏睿，責(zé)任編輯：陳彬