XR邁過(guò)「奇點(diǎn)」后，元宇宙如何生長(zhǎng)？

作者 | 姚勇喆

編輯 | 包永剛

‘眼前’的XR后，AI和5G正在耕種元宇宙的‘遠(yuǎn)方’。

2016年也被稱為XR元年。這一年XR賽道風(fēng)起云涌，面向個(gè)人用戶的XR設(shè)備如雨后春筍般涌現(xiàn)。

元年之后的XR幾經(jīng)浮沉，終于在元宇宙概念的助力下再次爆發(fā)。經(jīng)過(guò)數(shù)年發(fā)展，XR設(shè)備已經(jīng)邁過(guò)了元宇宙大爆炸的“奇點(diǎn)”，足夠承載元宇宙宏大構(gòu)想的落地。但元宇宙遠(yuǎn)不僅僅是XR，“奇點(diǎn)”之后，元宇宙還在繼續(xù)生長(zhǎng)。

2022世界人工智能大會(huì)（WAIC 2022）上，高通展示的最新無(wú)界XR技術(shù)和產(chǎn)品被評(píng)為鎮(zhèn)館之寶，三名玩家能夠同時(shí)在5G連接的無(wú)線條件下以1832×1920@90Hz的顯示效果實(shí)現(xiàn)沉浸式游戲體驗(yàn)。使高通的無(wú)界XR技術(shù)成為“鎮(zhèn)館之寶”的不僅是XR終端設(shè)備的性能，還有人工智能和5G連接的“助攻”。

01XR設(shè)備跨過(guò)元宇宙大門(mén)

在誕生元宇宙概念的小說(shuō)《雪崩》中，人們使用虛擬現(xiàn)實(shí)設(shè)備連入元宇宙世界，并在其間生活。而在現(xiàn)實(shí)中，XR設(shè)備也是真實(shí)世界通往元宇宙世界的大門(mén)。在元宇宙的概念掀起熱潮后，許多廠商紛紛制定了自己的元宇宙戰(zhàn)略。許多廠商的路徑選擇中，極重要的一步就是XR設(shè)備。

早在被稱作“VR元年”的2016年，虛擬現(xiàn)實(shí)設(shè)備就曾火熱一時(shí)。Oculus、HTC、索尼等品牌都在那時(shí)發(fā)布了消費(fèi)級(jí)VR設(shè)備。資本也紛紛入場(chǎng)，2016年招商證券研報(bào)預(yù)計(jì)2020年全球VR/AR市場(chǎng)規(guī)模將超過(guò)1500億美元。但很長(zhǎng)一段時(shí)間內(nèi)，XR設(shè)備的發(fā)展并不順利。

根據(jù)IDC數(shù)據(jù)，2016年全球XR設(shè)備出貨量曾一度同比增長(zhǎng)383%，達(dá)到904萬(wàn)部。但這股XR熱潮也迅速消退，2018年全球VR頭顯出貨量由375萬(wàn)臺(tái)下滑至350萬(wàn)臺(tái)，AR眼鏡的出貨量則由45萬(wàn)臺(tái)暴跌至26萬(wàn)臺(tái)，幾乎腰斬，2020年XR市場(chǎng)規(guī)模千億美元的目標(biāo)也沒(méi)有達(dá)成。造成這種現(xiàn)象的一部分原因是這些XR設(shè)備昂貴且笨重，續(xù)航能力不足，加上顯示效果不能令人滿意，內(nèi)容也十分匱乏，最終導(dǎo)致初代XR設(shè)備們曇花一現(xiàn)。

在這諸多的挑戰(zhàn)之中，芯片是一個(gè)核心的問(wèn)題。當(dāng)時(shí)的XR設(shè)備只能“蹭”手機(jī)芯片用，但手機(jī)與XR設(shè)備在使用場(chǎng)景存在著比較大的差別，手機(jī)芯片并不能很好的覆蓋XR芯片的使用場(chǎng)景。作為移動(dòng)領(lǐng)域的芯片龍頭，高通2015年便在XR領(lǐng)域布局，2018年推出了首款專用于XR領(lǐng)域的芯片XR1，隨后又推出了首款支持5G的XR芯片XR2。

圖 搭載了驍龍XR2平臺(tái)的Quest2頭顯

驍龍XR2方案支持七路并行攝像頭并且具備計(jì)算機(jī)視覺(jué)專用處理器的XR平臺(tái)，顯示單元支持3k×3k@90Hz的單眼分辨率，并支持流傳輸或本地播放8k@60Hz的360度視頻或4K@120Hz視頻，且支持HDR10/HDR10+。驍龍XR2平臺(tái)解決了之前XR設(shè)備延遲高、移動(dòng)性差、分辨率差等問(wèn)題，使得XR設(shè)備性能跨過(guò)了元宇宙的準(zhǔn)入門(mén)檻，并引領(lǐng)了XR設(shè)備的普及化。

2020年FaceBook發(fā)布基于驍龍XR2平臺(tái)的Oculus Quest2，成為了XR領(lǐng)域第一款現(xiàn)象級(jí)的爆品，該設(shè)備在2021年的銷(xiāo)量超過(guò)了Xbox，XR設(shè)備再次迎來(lái)快速增長(zhǎng)。

目前Pico、Meta等元宇宙頭部玩家都已經(jīng)在XR設(shè)備均采用了驍龍XR2芯片。HTC也被爆料即將推出基于驍龍XR2平臺(tái)的Vive頭顯。高通基于XR2芯片的參考設(shè)計(jì)，也讓更多廠商能夠更輕松地基于XR2芯片打造自己的XR設(shè)備。隨著XR設(shè)備的進(jìn)步和普及，我們已經(jīng)跨過(guò)了元宇宙的準(zhǔn)入門(mén)檻。但這對(duì)于元宇宙來(lái)說(shuō)，僅僅是大爆炸的“奇點(diǎn)”，要實(shí)現(xiàn)元宇宙最終的宏大愿景，還需要在內(nèi)容和交互上繼續(xù)建設(shè)。

02“奇點(diǎn)”之后，AI播種生機(jī)

高通公司總裁兼CEO安蒙曾在WAIC 2022的主題演講上表示，元宇宙是互聯(lián)網(wǎng)的未來(lái)，即空間互聯(lián)網(wǎng)?？臻g互聯(lián)網(wǎng)與當(dāng)前的互聯(lián)網(wǎng)最大的不同是能夠提供更具沉浸感的體驗(yàn)。在當(dāng)前的2D互聯(lián)網(wǎng)時(shí)代主要的互動(dòng)方式是2D平面的文字、圖片和視頻內(nèi)容，而元宇宙則能讓人們親身參與其中。

元宇宙將視覺(jué)體驗(yàn)從第三人稱平面升級(jí)到第一人稱3D視角，讓人們獲得更豐富的信息，并且擴(kuò)寬了交互的邊界，提供了觸覺(jué)等新的交互方式。為了支撐新的交互方式，更高精度的環(huán)境模型，更逼真的虛擬形象，更真實(shí)的互動(dòng)反饋都必不可少。

為了讓更多的開(kāi)發(fā)者參與進(jìn)來(lái)，利用人工智能構(gòu)建場(chǎng)景更豐富，讓用戶體驗(yàn)更好的元宇宙世界，高通已經(jīng)建立了Snapdragon Spaces XR開(kāi)發(fā)者平臺(tái)。Snapdragon Spaces XR開(kāi)發(fā)者平臺(tái)為開(kāi)發(fā)者提供了一套獨(dú)立于設(shè)備制造商的AR功能規(guī)范，并且與2017年制定的Khronos OpenXR標(biāo)準(zhǔn)兼容，讓開(kāi)發(fā)者能夠輕松完成可移植性應(yīng)用程序開(kāi)發(fā)。

除此之外，在創(chuàng)造元宇宙內(nèi)容的過(guò)程中，人工智能在多個(gè)領(lǐng)域發(fā)揮著重要作用：元宇宙需要學(xué)習(xí)并適應(yīng)不斷變化的環(huán)境和用戶偏好，以提高用戶在元宇宙虛擬環(huán)境中的體驗(yàn)感；支持深度感知的計(jì)算攝影和計(jì)算機(jī)視覺(jué)技術(shù)將完成對(duì)手部、眼球和位置的追蹤，并擁有理解和感知情境的能力，為虛擬形象與環(huán)境的互動(dòng)提供技術(shù)支持。

如今，已經(jīng)跨過(guò)元宇宙XR設(shè)備門(mén)檻的廠商們也已經(jīng)將注意力放到了人工智能上。但要想在元宇宙中利用人工智能，開(kāi)發(fā)者們需要投入更多精力。對(duì)AI開(kāi)發(fā)者們來(lái)說(shuō)，元宇宙是一個(gè)全新的場(chǎng)景。不同場(chǎng)景下，人工智能設(shè)備的功耗需求、人工智能模型類型、模型部署方式都有所不同。對(duì)模型的準(zhǔn)確性、功耗和延時(shí)的要求也不盡相同，在某個(gè)領(lǐng)域中人工智能的部署經(jīng)驗(yàn)并不能簡(jiǎn)單復(fù)用到另一領(lǐng)域。

元宇宙中大量新場(chǎng)景的出現(xiàn)，對(duì)開(kāi)發(fā)者來(lái)說(shuō)意味著更加繁雜的工作。高通在手機(jī)芯片領(lǐng)域深耕多年，歷經(jīng)十多年研究并不斷開(kāi)發(fā)人工智能相關(guān)產(chǎn)品，已經(jīng)成為了終端智能領(lǐng)域的領(lǐng)軍者。為了將開(kāi)發(fā)者從反復(fù)的適配工作中解放出來(lái)，高通建立了讓人工智能開(kāi)發(fā)工作“書(shū)同軌，車(chē)同文”的AI軟件棧。

基于高通的AI軟件棧，開(kāi)發(fā)者們不再需要為不同場(chǎng)景“量體裁衣”，而是只需要一次開(kāi)發(fā)，就可以將成果部署到各個(gè)領(lǐng)域，這大大減少了開(kāi)發(fā)者的工作量，加速人工智能在元宇宙新場(chǎng)景中的部署。為了推進(jìn)元宇宙的發(fā)展，高通還設(shè)立了1億美元驍龍?jiān)钪婊穑糜谕顿Y打造與XR體驗(yàn)相關(guān)AI核心技術(shù)的開(kāi)發(fā)者和企業(yè)。人工智能要在元宇宙中落地，還需要一座連接用戶、邊緣和云端的橋梁。

035G建起“數(shù)字高架”，AI從云端走向萬(wàn)物

AI的作用在元宇宙中，不止于“無(wú)所不能”，還要“無(wú)處不在”。一方面，元宇宙運(yùn)行中會(huì)產(chǎn)生海量數(shù)據(jù)，而云端則無(wú)法承受如此龐大的數(shù)據(jù)量。依賴部署在云端的人工智能處理這些數(shù)據(jù)的方案可行性不高。另一方面，元宇宙作為交互程度更高的下一代互聯(lián)網(wǎng)，人們?cè)谠钪嬷绣塾蔚耐瑫r(shí)，個(gè)人隱私和信息安全也十分重要。

端、邊云協(xié)同的分布式結(jié)構(gòu)能夠解決元宇宙當(dāng)前面臨的這些痛點(diǎn)。

首先，在元宇宙中，大量情境豐富的數(shù)據(jù)由邊緣產(chǎn)生，擴(kuò)展至邊緣的AI能夠在邊緣“就近處理”，無(wú)需將數(shù)據(jù)集中至云端，這大大減輕了云端的壓力。

圖 5G支持下實(shí)現(xiàn)的分布式智能

其次，在終端側(cè)部署人工智能可以讓用戶在終端處理敏感數(shù)據(jù)，而不必將這些數(shù)據(jù)發(fā)送至云端，從而更好地保護(hù)使用者隱私。并且部署在終端的人工智能還能夠偵測(cè)惡意軟件和可疑行為，為用戶的信息安全提供保障。部署在終端的人工智能還能夠利用聯(lián)邦學(xué)習(xí)等新技術(shù)更高效地利用有限的網(wǎng)絡(luò)資源和帶寬，提高數(shù)據(jù)處理的效果。

分布式AI對(duì)元宇宙來(lái)說(shuō)必不可少，而5G則是其不可缺少的助推器。一份來(lái)自Gartner的報(bào)告曾指出，5G是推動(dòng)分布式人工智能發(fā)展的重要因素。5G與分布式部署的人工智能、功能強(qiáng)大的XR設(shè)備結(jié)合，誕生了目前XR用戶體驗(yàn)的無(wú)界XR。

無(wú)界XR的頭顯終端執(zhí)行節(jié)能的優(yōu)化時(shí)延算法以及眼球追蹤、手勢(shì)追蹤、頭部追蹤等工作，更復(fù)雜的工作通過(guò)5G網(wǎng)絡(luò)傳輸至邊緣處理。這讓XR設(shè)備的設(shè)計(jì)不再受功耗、散熱等方面的限制，設(shè)計(jì)者可以將XR設(shè)備設(shè)計(jì)的更加輕便易用，邊緣比終端更強(qiáng)大的算力也能夠?yàn)楦S富的內(nèi)容提供算力支持。

實(shí)現(xiàn)無(wú)界XR運(yùn)行的難點(diǎn)在于延時(shí)和吞吐量這兩個(gè)關(guān)鍵性能指標(biāo)?；谀壳暗腣R頭顯硬件能力，要實(shí)現(xiàn)單目2Kx2K@90fps的VR頭顯實(shí)現(xiàn)5G無(wú)界XR的規(guī)模化部署，“動(dòng)作-渲染-顯示”的延時(shí)需要低于70毫秒，其中5G在終端和邊緣端的往返時(shí)延需低于20毫秒。

吞吐量上，則需要網(wǎng)絡(luò)連接支持70~90Mbs的穩(wěn)定下行吞吐量。高通作為5G的領(lǐng)軍企業(yè)之一，已經(jīng)成功將自身在5G方案上的經(jīng)驗(yàn)與XR設(shè)備、AI上的優(yōu)勢(shì)相結(jié)合，實(shí)現(xiàn)了無(wú)界XR優(yōu)質(zhì)的用戶體驗(yàn)。而WAIC 2022期間，高通公司、中國(guó)移動(dòng)和中赫集團(tuán)合作展示的無(wú)界XR技術(shù)被評(píng)為鎮(zhèn)館之寶。

演示現(xiàn)場(chǎng)用當(dāng)紅齊天提供的互動(dòng)內(nèi)容展示了在端到端的分離渲染架構(gòu)下，無(wú)界XR利用5G提供的高速率低延時(shí)傳輸協(xié)同邊緣云側(cè)進(jìn)行實(shí)時(shí)渲染，并結(jié)合XR終端側(cè)的本地優(yōu)化渲染來(lái)提供低延時(shí)的沉浸體驗(yàn)。該演示采用了基于高通驍龍VR2平臺(tái)的愛(ài)奇藝奇遇 Dream Pro VR一體機(jī)，在演示中支持了三名體驗(yàn)者同時(shí)以1832×1920@90Hz的顯示效果進(jìn)行體驗(yàn)，細(xì)膩流暢的顯示效果已經(jīng)可以達(dá)到人們對(duì)元宇宙體驗(yàn)的想象。

世炬研發(fā)的基于高通FSM100 5G RAN平臺(tái)的5G家庭小基站則為該VR頭顯提供了強(qiáng)大的網(wǎng)絡(luò)保障。在演示中，三名玩家所佩戴設(shè)備的5G RTT時(shí)延都保持在20毫秒左右，已經(jīng)能夠元宇宙場(chǎng)景下日常使用。

圖 基于5G切片的端邊協(xié)同分離渲染技術(shù)能夠?qū)崿F(xiàn)下行速率吞吐量均在100Mbps左右如今，XR設(shè)備已經(jīng)跨過(guò)了元宇宙的門(mén)檻，而在頭部玩家的推動(dòng)下，人工智能和5G連接進(jìn)一步的融合發(fā)展使元宇宙也不斷生長(zhǎng)，我們距離元宇宙的未來(lái)，已經(jīng)愈來(lái)愈近。