505
VR/AR和元宇宙的“火”，燒的是人們?cè)谔摂M空間中放飛自我的曼妙想像。早在幾十年前的科幻電影中，全息通信就是未來(lái)科技的代表，是將虛擬與現(xiàn)實(shí)結(jié)合的一種科技。今年，曾經(jīng)的未來(lái)科技“平價(jià)”兌現(xiàn)：通信雙方通過(guò)微軟3D攝像機(jī)、OPPO 5G智能手機(jī)、Nreal的AR眼鏡和愛(ài)立信提供的5G網(wǎng)絡(luò)環(huán)境，實(shí)現(xiàn)了與“真人”的全息通信。其中3D攝像機(jī)、5G智能手機(jī)、AR眼鏡的總價(jià)1萬(wàn)元出頭。
如此“接地氣”的實(shí)現(xiàn)過(guò)程，讓全息通信再次成為行業(yè)關(guān)注的焦點(diǎn)：在4G網(wǎng)絡(luò)中沒(méi)有的全息通信，能否成為5G網(wǎng)的爆款應(yīng)用？
全息通信現(xiàn)身5G是必然趨勢(shì)
全息通信需要實(shí)時(shí)捕獲、編碼、傳輸和渲染對(duì)方的3D圖像，然后在己方特定的空間中展現(xiàn)出來(lái)。
愛(ài)立信中國(guó)技術(shù)部副總經(jīng)理王浩博說(shuō)，現(xiàn)在實(shí)現(xiàn)全息通信有三種方式，一種是非常簡(jiǎn)單地提取人類的面部表情，通過(guò)動(dòng)畫(huà)形式在另一端再現(xiàn)，這種效果并不是很好；第二種是經(jīng)常可以在一些重大的科技盛會(huì)上看到的，把人的3D圖像整體傳送到現(xiàn)場(chǎng)，這要通過(guò)非常精密復(fù)雜的儀器和專門(mén)的傳輸網(wǎng)絡(luò)以及非常專業(yè)的投影環(huán)境來(lái)實(shí)現(xiàn)，效果非常好，但是離老百姓應(yīng)用還非常遙遠(yuǎn)。“我們采用的是第三種，就是用商用級(jí)別的設(shè)備和商用網(wǎng)絡(luò)，實(shí)現(xiàn)讓老百姓用得上的全息通信。”王浩博表示。
全息通信需要呈現(xiàn)出全息的效果，首先是尺寸要大，接近于真人的尺寸；其次要有空間感，這也是全息圖像和視頻圖像的區(qū)別。Nreal副總裁呼顯龍告訴《中國(guó)電子報(bào)》記者：“AR眼鏡的呈像方式，使我們能夠看到一個(gè)接近于真人尺寸的全息圖像，而不必用一個(gè)很大的顯示屏，這種圖像和我們?cè)谑謾C(jī)上、電腦上看的視頻通信圖像，體驗(yàn)是完全不同的。”
OPPO研究院副院長(zhǎng)、5G首席科學(xué)家唐海告訴《中國(guó)電子報(bào)》記者，目前不僅5G網(wǎng)絡(luò)能力更強(qiáng)大，終端的算力也已經(jīng)達(dá)到了一個(gè)非常高的水平。比如5nm的最新的終端芯片，它的處理能力已經(jīng)超過(guò)幾年前電腦CPU的處理能力。更強(qiáng)的網(wǎng)絡(luò)算力、傳輸能力和終端算力，再加上像Nreal眼鏡的呈現(xiàn)能力，綜合來(lái)看，全息通信在這個(gè)時(shí)候出現(xiàn)是某種必然。
5G可以解決全息通信痛點(diǎn)
全息通信未經(jīng)壓縮的信息量是非常大的。如果攝像頭傳感器輸出的是1080P圖像，再加上色彩、3D深度圖像，每幀圖的原始數(shù)據(jù)會(huì)在70MB左右。如果要進(jìn)一步提高分辨率和幀率，需要的帶寬會(huì)更大。有分析指出，對(duì)于70英寸顯示屏，全息通信需要約1Tbit/s的網(wǎng)絡(luò)帶寬。
在真正實(shí)現(xiàn)全息通信時(shí)，整個(gè)過(guò)程首先是捕捉傳感器提供人臉和身體的實(shí)時(shí)“表情”，然后進(jìn)行編碼。在編碼前先做格式轉(zhuǎn)換和過(guò)濾，以降低對(duì)網(wǎng)絡(luò)傳輸速率的要求。經(jīng)過(guò)編碼壓縮的全息影像通過(guò)5G低時(shí)延網(wǎng)絡(luò)傳輸?shù)絏R設(shè)備。在XR設(shè)備上，首先需要對(duì)壓縮的影像信息做解碼和處理，然后通過(guò)渲染再現(xiàn)到用戶眼前。
5G可以非常好地解決在這一過(guò)程中全息通信的一些痛點(diǎn)。
與4G相比，5G的連接能力大幅提升，平均百兆速率，峰值可以達(dá)到2Gbps，網(wǎng)絡(luò)時(shí)延也可以控制在毫秒級(jí)，沒(méi)有明顯的滯后感。所以，從能力來(lái)看，用5G網(wǎng)絡(luò)承載全息通信是可行的。
全息通信是一個(gè)信息采集、壓縮、傳輸然后再?gòu)?fù)原、再渲染的過(guò)程。再?gòu)?fù)原和再渲染的過(guò)程如果是在終端上實(shí)現(xiàn)，需要終端具備較高的算力。5G可以減輕對(duì)終端算力的需求。“5G有對(duì)算力的實(shí)時(shí)智能調(diào)配能力，5G還有邊緣計(jì)算能力，可以在離用戶很近的地方做算力支撐。”王浩博說(shuō)。
此外，5G還可以為全息通信的應(yīng)用做體驗(yàn)保障，5G具備網(wǎng)絡(luò)切片的功能，可以針對(duì)全息通信做資源預(yù)留。
全息通信當(dāng)解決捕獲技術(shù)短板
“全息通信作為未來(lái)的一個(gè)殺手級(jí)應(yīng)用，需要的是整個(gè)產(chǎn)業(yè)鏈的充分配合。”唐海說(shuō)，“整個(gè)產(chǎn)業(yè)鏈的發(fā)展水平都到了一定的階段，才有可能在像手機(jī)或者AR眼鏡這樣的小尺寸設(shè)備里面，提供足以滿足全息通信的傳輸、算力、呈現(xiàn)，包括非常穩(wěn)定的空間感知、視角，以及非常好的人像建模，屆時(shí)才能帶來(lái)比較好的用戶體驗(yàn)、真正可使用的全息通信，我相信這一天會(huì)很快到來(lái)。”
談到全產(chǎn)業(yè)鏈的支撐，呼顯龍認(rèn)為，目前全息通信比較明顯的短板是信息采集。“在全息通信發(fā)展的第一階段，全息信息的采集是很重要的，我們希望有一個(gè)更加高效而低成本的全息模型的采集端。”呼顯龍說(shuō)。
目前Intel、微軟、iPhone已經(jīng)有相關(guān)的采集功能，國(guó)內(nèi)企業(yè)在這方面還需要共同努力。唐海說(shuō)，目前全息通信的信息采信用的是高精度的3D深度攝像頭，這種攝像頭對(duì)于算力處理能力要求非常高。
也有專家將采集功能稱為捕獲技術(shù)，全息捕獲是創(chuàng)建物體、人或環(huán)境的可測(cè)量的3D顯示的過(guò)程，包括采集、深度估算、數(shù)據(jù)融合、后期處理四個(gè)步驟。采集是利用視覺(jué)傳感器捕獲各種有用信息。3D捕獲目前最常見(jiàn)的是使用ToF（飛行時(shí)間傳感器），通過(guò)計(jì)算光脈沖到達(dá)目的地并返回的時(shí)間測(cè)量距離。
在深度估算中，ToF可以直接提供深度信息，而立體攝像頭和多攝像頭是通過(guò)不同角度捕捉到的信息來(lái)估算深度。數(shù)據(jù)融合是將不同視角的深度信息融合為單個(gè)3D點(diǎn)數(shù)據(jù)流。后期處理要通過(guò)清除冗余點(diǎn)、噪聲和異常值來(lái)減少3D點(diǎn)數(shù)據(jù)流的數(shù)據(jù)量，3D可以生成點(diǎn)云或網(wǎng)格的視覺(jué)媒體格式。與虛擬形象相比，由深度攝像機(jī)捕獲的實(shí)時(shí)數(shù)據(jù)需要更多的算力才能渲染。
“4G是視頻時(shí)代，人人都可以拍短視頻，這在過(guò)去是很難想像的，因?yàn)镻C時(shí)代制作一個(gè)視頻，需要專業(yè)的攝像機(jī)以及編輯軟件等各種條件才能實(shí)現(xiàn)。”呼顯龍說(shuō)，“未來(lái)，如果一個(gè)幾歲孩子能夠通過(guò)簡(jiǎn)單的工具就能獲取全息的模型或者視頻，實(shí)現(xiàn)比現(xiàn)在更好的顯示效果，全息通信的爆發(fā)就會(huì)到來(lái)，我覺(jué)得這很快就能實(shí)現(xiàn)。”
作者丨劉晶
編輯丨諸玲珍
美編丨馬利亞
監(jiān)制丨趙晨
