AI手機(jī)和AI PC極速進(jìn)化為多模態(tài)，量變還需5G Advanced

作者 | 包永剛,編輯 | 王? ?川

“第三代AI 5G調(diào)制解調(diào)器實(shí)現(xiàn)多個(gè)里程碑，Wi-Fi 7首次支持AI。”? ? ? ? ? ? ? ? ??? ???

2024世界移動(dòng)通信大會(huì)（MWC 2024），5G Advanced（5G-A）和生成式AI都是主角。生成式AI能成為移動(dòng)通信大會(huì)的主角，進(jìn)化的速度和巨大的潛力都是關(guān)鍵。去年MWC，高通展示了全球首個(gè)運(yùn)行在Android手機(jī)上的Stable Diffusion終端側(cè)演示。僅一年時(shí)間，能在驍龍平臺(tái)運(yùn)行的AI模型升級(jí)為多模態(tài)。

今年，高通展示了全球首個(gè)在安卓手機(jī)上運(yùn)行超過(guò)70億參數(shù)的多模態(tài)語(yǔ)言模型，能夠識(shí)別和討論復(fù)雜的圖案、物體和場(chǎng)景。高通還展示了全球首個(gè)在Windows PC上運(yùn)行的大型多模態(tài)語(yǔ)言模型，可以接受文本和音頻的輸入，并基于音頻生成多輪對(duì)話。端側(cè)AI有如此強(qiáng)大的能力，還需要5G嗎？高通公司總裁兼CEO安蒙說(shuō)，“混合AI是生成式AI的未來(lái)，終端側(cè)智能與云端協(xié)同工作，能夠提升個(gè)性化、隱私、可靠性和效率。連接對(duì)于助力生成式AI跨云、邊緣和終端實(shí)現(xiàn)規(guī)?；瘮U(kuò)展和延伸至關(guān)重要，AI解決方案正在支持高通提供下一代連接，賦能生成式AI時(shí)代?！?/p>

MWC 2024，高通發(fā)布了集成5G Advanced功能的調(diào)制解調(diào)器及射頻系統(tǒng)驍龍X80，這也是高通集成專用5G AI處理器的第三代產(chǎn)品。行業(yè)首個(gè)支持AI優(yōu)化性能并在單個(gè)芯片中集成Wi-Fi 7、藍(lán)牙和超寬帶技術(shù)的解決方案高通FastConnect 7900也同時(shí)亮相。極速進(jìn)化的端側(cè)AI，接下來(lái)會(huì)與5G Advanced和Wi-Fi 7碰撞出怎樣的火花？高通與眾多中國(guó)生態(tài)合作伙伴和最新成果給出了一些答案。

01、看得懂又聽(tīng)得懂? AI手機(jī)和AI?PC首次運(yùn)行多模態(tài)大模型

去年MWC，端側(cè)AI領(lǐng)域最有實(shí)力的公司高通展示了在安卓手機(jī)上運(yùn)行10億參數(shù)AI大模型Stable Diffusion在終端側(cè)生成圖像。2023年底，隨著第三代驍龍8移動(dòng)平臺(tái)的發(fā)布，運(yùn)行Stable Diffusion模型的速度從年初的不到15秒縮短至0.57秒，提升幅度和速度驚人。MWC 2024，驍龍移動(dòng)平臺(tái)運(yùn)行的AI大模型的參數(shù)從10億陡增至超70億，模型也升級(jí)為更具挑戰(zhàn)的多模態(tài)語(yǔ)言模型（LMM），不僅能夠接受文本輸入，還可以接受圖像、音頻等其它輸入數(shù)據(jù)類型。

以高通AI研究展示的首個(gè)基于第三代驍龍8的安卓智能手機(jī)上運(yùn)行大語(yǔ)言和視覺(jué)助理大模型（LLaVA）為例，拍一張食材照片，可以問(wèn)AI助手這些食材是什么？能用這些食材做什么菜？每道菜的熱量是多少？AI助手都能基于視覺(jué)內(nèi)容以非常及時(shí)的響應(yīng)速度給出答案。完全在終端運(yùn)行的大模型不僅能保護(hù)隱私，還能實(shí)現(xiàn)個(gè)性化。高通還展示了首個(gè)安卓手機(jī)上運(yùn)行LoRA模型，能根據(jù)不同個(gè)人或藝術(shù)偏好創(chuàng)建高質(zhì)量自定義圖像。

LoRA能夠在不改變底層模型的前提下，通過(guò)使用很小的適配器（大小僅為模型的2%），就能個(gè)性化定制整個(gè)生成式AI模型的行為，提升效率、可擴(kuò)展性，讓端側(cè)AI更懂用戶。高通的AI PC同樣強(qiáng)大。搭載全新驍龍X Elite平臺(tái)的Windows PC，運(yùn)行音頻推理多模態(tài)大模型，能理解不同聲音，還能夠基于輸入的音頻信息為用戶提供幫助。

比如，給搭載驍龍X Elite的AI PC輸入一段音樂(lè)，多模態(tài)大語(yǔ)言模型能夠理解用戶輸入的音樂(lè)類型和風(fēng)格，為用戶提供音樂(lè)的歷史以及相似的音樂(lè)推薦，或通過(guò)對(duì)話的方式為用戶調(diào)節(jié)周圍的音樂(lè)，充分發(fā)揮端側(cè)AI的性能和能效優(yōu)勢(shì)，還有隱私性、可靠性、個(gè)性化以及成本優(yōu)勢(shì)。如此強(qiáng)大的驍龍X Elite是業(yè)界AI PC的標(biāo)桿。使用分別搭載驍龍X Elite和X86芯片的兩臺(tái)筆記本電腦，同時(shí)運(yùn)行集成Stable Diffusion插件的GIMP（一款廣受歡迎的圖像編輯器）生成AI圖像，驍龍X Elite只需7.25秒就能生成一張圖像，速度是X86競(jìng)品（22.26秒）的3倍。

數(shù)倍的速度優(yōu)勢(shì)，得益于驍龍X Elite 45TOPS強(qiáng)大的AI性能，大幅領(lǐng)先競(jìng)品。按照第三代驍龍8落地端側(cè)大模型應(yīng)用只用了一個(gè)月時(shí)間的速度，相信基于驍龍8和驍龍X Elite多模態(tài)大模型的功能也很快會(huì)到來(lái)。

目前，基于第三代驍龍8的AI功能已經(jīng)可以在多款國(guó)產(chǎn)手機(jī)上體驗(yàn)。搭載第三代驍龍8的小米14系列，新增的AI寫真功能，可以在圖庫(kù)里選擇20-30張圖片后進(jìn)行AI形象學(xué)習(xí)，生成不同風(fēng)格的圖片。OPPO Find X7 Ultra在第三代驍龍8強(qiáng)大的AI性能支持下，用手指輕松圈一圈，就能消除照片里不想要路人，還能智能生成通話摘要?；诘谌旪?的榮耀Magic6手機(jī)，運(yùn)行70億參數(shù)大模型，實(shí)現(xiàn)了任意門一拖日程、智慧成片和一語(yǔ)查圖等功能。同樣采用第三代驍龍8的魅族21，基于Flyme Ai大模型，支持知識(shí)問(wèn)答、文案創(chuàng)作、文生圖、圖片風(fēng)格轉(zhuǎn)換、AI搜圖、圖片擴(kuò)展等功能。

手機(jī)上強(qiáng)大的AI助手能制定個(gè)性化的旅行計(jì)劃，但仍需要借助5G或Wi-Fi預(yù)定機(jī)票和酒店，這就是5G對(duì)于生成式AI的意義所在。“高通深知，為實(shí)現(xiàn)生成式AI的規(guī)?；瘮U(kuò)展，需要跨云端、終端和邊緣云應(yīng)用混合AI?！备咄夹g(shù)公司產(chǎn)品市場(chǎng)高級(jí)總監(jiān)Ignacio Contreras說(shuō)，“混合AI是AI的未來(lái)，因此我們需要更加強(qiáng)大的連接能力，確保所有AI工作負(fù)載的有效分配?！?/p>

02、AI 5G調(diào)制解調(diào)器迎來(lái)第三款，Wi-Fi?7也AI

從2018年5G商用到2024年5G Advanced元年，高通一直參與標(biāo)準(zhǔn)的制定，也是業(yè)界少有每年迭代5G調(diào)制解調(diào)器及射頻系統(tǒng)的公司。

驍龍X80調(diào)制解調(diào)器及射頻系統(tǒng)是高通最新的5G調(diào)制解調(diào)器，也是繼驍龍X70、驍龍X75之后，高通第三款A(yù)I 5G調(diào)制解調(diào)器。

驍龍X80集成了專用AI張量加速器，對(duì)于提升數(shù)據(jù)傳輸速度，降低時(shí)延，擴(kuò)大覆蓋范圍，提高服務(wù)質(zhì)量（QoS）、定位精度、頻譜效率、能效和多天線管理能力發(fā)揮重要作用。作為5G Advanced元年發(fā)布的產(chǎn)品，驍龍X80集成5G Advanced-ready架構(gòu)，實(shí)現(xiàn)了多項(xiàng)全球首創(chuàng)的里程碑，包括首次在5G調(diào)制解調(diào)器中集成NB-NTN衛(wèi)星通信、首次面向智能手機(jī)支持6Rx（射頻前端具備6路接收能力）、首個(gè)下行六載波聚合以及首次面向固定無(wú)線接入客戶端設(shè)備（CPE）支持由AI賦能的毫米波增程通信?！?strong>新一代驍龍X80調(diào)制解調(diào)器及射頻系統(tǒng)的創(chuàng)新在于，更好地利用帶寬提升用戶的實(shí)際連接體驗(yàn)。例如，在用戶距離基站較遠(yuǎn)等頗具挑戰(zhàn)的情況下提高平均連接速率，而非專注于峰值速率（下行鏈路是10Gbps，上行鏈路是3.5Gbps）的提升?！盜gnacio Contreras進(jìn)一步表示，“我們希望在全球范圍內(nèi)充分釋放5G和5G Advanced潛能?！?/p>

雷峰網(wǎng)了解到，搭載驍龍X80的商用終端預(yù)計(jì)將于2024年下半年發(fā)布。釋放5G和5G Advanced潛能，離不開(kāi)高通和合作伙伴的努力。2014年，高通率先投入5G技術(shù)的研究，2016年推出了全球首款商用5G調(diào)制解調(diào)器及射頻系統(tǒng)驍龍X50。2018年5G商用元年，高通與多家領(lǐng)先的中國(guó)廠商宣布“5G領(lǐng)航計(jì)劃”。2019年，幾乎所有當(dāng)年發(fā)布的5G移動(dòng)終端都采用高通的5G調(diào)制解調(diào)器及射頻系統(tǒng)。2021年，驍龍X65是全球首個(gè)支持10Gbps 5G速率（萬(wàn)兆級(jí)）和首個(gè)符合3GPP Release 16規(guī)范的調(diào)制解調(diào)器及射頻系統(tǒng)。2022年，驍龍X70將5G調(diào)制解調(diào)器帶入AI時(shí)代。

從參與標(biāo)準(zhǔn)制定到引領(lǐng)實(shí)現(xiàn)5G商用，從解決5G復(fù)雜性挑戰(zhàn)，到把5G帶入萬(wàn)兆時(shí)代，再到首推AI 5G調(diào)制解調(diào)器，高通一直在引領(lǐng)5G的發(fā)展，也在不斷加深和中國(guó)合作伙伴的合作，推動(dòng)5G演進(jìn)和5G與AI的融合。MWC 2024上，多家中國(guó)公司都發(fā)布了基于高通5G產(chǎn)品的解決方案，美格智能基于驍龍X75 5G調(diào)制解調(diào)器及射頻系統(tǒng)推出了5G-A模組，基于驍龍X72推出了5G-A FWA解決方案。TCL發(fā)布了搭載驍龍X35 5G調(diào)制解調(diào)器及射頻系統(tǒng)的RedCap Dongle。5G RedCap對(duì)M2M（Machine to Machine）以及在消費(fèi)級(jí)領(lǐng)域的5G普及非常重要，能夠讓更多人以更優(yōu)惠的價(jià)格享受到5G的高速體驗(yàn)。美格智能也發(fā)布了基于驍龍X35的5G RedCap系列FWA解決方案。5G Advanced與XR的結(jié)合讓人期待。

高通、中興通訊、中國(guó)移動(dòng)和當(dāng)紅齊天集團(tuán)共同啟動(dòng)了5G-A XR大空間對(duì)戰(zhàn)游戲項(xiàng)目，四方聯(lián)合完成基于5G-A大容量、低時(shí)延的特點(diǎn)針對(duì)XR游戲優(yōu)化，實(shí)現(xiàn)了近千平米的大空間內(nèi)，畫面清晰流暢無(wú)卡頓，平均空口時(shí)延低于10ms，可實(shí)現(xiàn)無(wú)線大空間多人XR免背包游戲體驗(yàn)。衛(wèi)星通信方面，廣翼智聯(lián)基于高通212S基帶芯片推出5G NTN衛(wèi)星手持設(shè)備，能夠在最具挑戰(zhàn)性的信號(hào)環(huán)境中也具有定位功能。5G與AI實(shí)現(xiàn)了深度融合，Wi-Fi 7同樣如此。最新發(fā)布的高通FastConnect 7900移動(dòng)連接系統(tǒng)，是行業(yè)首個(gè)在6nm制程芯片中支持AI優(yōu)化性能并在單個(gè)芯片中集成Wi-Fi 7、藍(lán)牙和超寬帶技術(shù)的解決方案。

利用AI，F(xiàn)astConnect 7900可以適應(yīng)特定用例和環(huán)境，有效優(yōu)化能耗、網(wǎng)絡(luò)時(shí)延和吞吐量。“基于AI增強(qiáng)特性，用戶使用一些廣受歡迎的APP時(shí)終端功耗能夠下降高達(dá)30%?！盜gnacio Contreras同時(shí)指出，“FastConnect 7900能夠支持更出色的多終端體驗(yàn)，例如支持將內(nèi)容投射到屏幕或揚(yáng)聲器，或同時(shí)使用多個(gè)屏幕顯示，以及支持分離式渲染VR技術(shù)。通過(guò)高通獨(dú)有的兩大技術(shù)——Wi-Fi高頻并發(fā)技術(shù)（HBS）以及高通擴(kuò)展個(gè)人局域網(wǎng)（XPAN）技術(shù)，帶來(lái)更低時(shí)延，更高的數(shù)據(jù)傳輸速率和吞吐量，以及更大覆蓋范圍。”

MWC 2024期間，中國(guó)聯(lián)通發(fā)布搭載高通Wi-Fi7沉浸式家庭聯(lián)網(wǎng)平臺(tái)的Wi-Fi7 BE6500智能路由器，雙方共同推動(dòng)Wi-Fi7的創(chuàng)新。強(qiáng)大的端側(cè)AI能力，和極致的5G Advanced、Wi-Fi 7結(jié)合，將加速混合AI時(shí)代的到來(lái)。

03、5G Advanced+生成式AI 加速混合AI時(shí)代到來(lái)

高通早在5G商用之初就已經(jīng)開(kāi)始探索5G和AI的融合。幾年前，高通推出了自主移動(dòng)機(jī)器人（AMR）參考設(shè)計(jì)，能充分發(fā)揮5G+AI的能力。最近，高通、Hololight和愛(ài)立信展示了在網(wǎng)絡(luò)條件最佳時(shí)如何在云端進(jìn)行處理，并在需要時(shí)向終端側(cè)計(jì)算平滑過(guò)渡，展現(xiàn)了動(dòng)態(tài)分布式計(jì)算將成為開(kāi)啟無(wú)界AR體驗(yàn)的關(guān)鍵。要探索5G Advanced+生成式AI更多的可能，還需要端側(cè)的異構(gòu)計(jì)算。

高通認(rèn)為，生成式AI的多樣化要求和計(jì)算需求需要不同的處理器來(lái)滿足。支持處理多樣性的異構(gòu)計(jì)算架構(gòu)能夠發(fā)揮每個(gè)處理器的優(yōu)勢(shì)。NPU專為實(shí)現(xiàn)以低功耗加速AI推理而全新打造。早在2007年，驍龍平臺(tái)首次集成的Hexagon DSP，成為了高通未來(lái)多代NPU的基礎(chǔ)。2020年，驍龍平臺(tái)的Hexagon NPU實(shí)現(xiàn)了重要里程碑。2022年，第二代驍龍8中的Hexagon NPU引入了眾多重要技術(shù)提升。第三代驍龍8中的Hexagon NPU成為了面向終端側(cè)生成式AI大模型推理的領(lǐng)先處理器。

高通NPU的差異化優(yōu)勢(shì)在于系統(tǒng)級(jí)解決方案、定制設(shè)計(jì)和快速創(chuàng)新。通過(guò)定制設(shè)計(jì)NPU并控制指令集架構(gòu)(ISA)，高通能夠快速進(jìn)行設(shè)計(jì)演進(jìn)和擴(kuò)展，以解決瓶頸問(wèn)題并優(yōu)化性能。包含高通Hexagon NPU、Adreno GPU、Kryo或Oryon CPU、高通傳感器中樞和內(nèi)存子系統(tǒng)的高通AI引擎，能夠?qū)崿F(xiàn)端側(cè)生成式AI最佳的應(yīng)用性能、能效和電池續(xù)航。強(qiáng)大的高通AI引擎要為開(kāi)發(fā)者降低門檻進(jìn)行充分使用，還需要高通AI軟件棧（Qualcomm AI Stack），讓開(kāi)發(fā)者可以在高通硬件上創(chuàng)建、優(yōu)化和部署AI應(yīng)用，一次編寫即可實(shí)現(xiàn)在不同產(chǎn)品和細(xì)分領(lǐng)域采用高通芯片組解決方案進(jìn)行部署。

MWC 2024上高通推出的高通AI Hub對(duì)于激發(fā)端側(cè)AI的創(chuàng)新以及5G+AI融合有積極作用。高通AI Hub為驍龍和高通平臺(tái)提供超過(guò)75個(gè)優(yōu)化AI模型，比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B，能夠充分利用高通AI引擎內(nèi)所有核心（NPU、CPU和GPU）的硬件加速能力，將推理速度提升4倍，模型占用的內(nèi)存帶寬和存儲(chǔ)空間也將減小。

這些優(yōu)化模型現(xiàn)已在高通AI Hub、GitHub和Hugging Face上提供，開(kāi)發(fā)者只需通過(guò)幾行代碼即可在搭載高通平臺(tái)的云托管終端上自行運(yùn)行這些模型。5G Advanced和強(qiáng)大的端側(cè)AI能力已經(jīng)準(zhǔn)備就緒，隨著2024年下半年AI手機(jī)和AI PC的能力進(jìn)一步進(jìn)化，5G+AI的殺手級(jí)應(yīng)用也讓人拭目以待。?