作者:路多,物聯(lián)網智庫 原創(chuàng)
2月初,Apple Vision Pro 頭顯設備終于開始銷售。產品一經上市,就引來世界各地的科技愛好者的關注,大家紛紛慷慨解囊,爭相感受代表空間計算科技的硬件設備。這張渲染圖也終于走進了人們的生活當中,成為現(xiàn)實。
ifixit更是快速上線,祭出了全球VisionPro首個拆機視頻,從鏡頭到顯示屏幕,從攝像頭陣列到風扇、電機,3500美元的東西沒放過一個能拆的地方,甚至還做了X射線、CT掃描與顯微鏡拍攝。
Apple頭顯賣得火熱,競爭對手Meta的股價居然單日上漲了20%,創(chuàng)下美股的歷史紀錄。當然,主要原因還是因為Meta的四季度財務表現(xiàn),Quest VR頭顯也著實為Meta的業(yè)務做出了貢獻。
人們開始關注Vision Pro背后的技術——空間計算。
根據(jù)美國參數(shù)技術公司(PTC)的定義,空間計算是涉及機器、人、物體及其發(fā)生環(huán)境的活動的數(shù)字化,以實現(xiàn)和優(yōu)化操作和交互。
這項技術有潛力以數(shù)字方式改變工業(yè)企業(yè)優(yōu)化工廠、工作場所和倉庫一線工人運營的方式,并為企業(yè)行動和交互提供數(shù)字增強的維度環(huán)境。
同時拋出王炸的還有OpenAI,一個文生視頻的模型Sora,讓整個圈子高呼“現(xiàn)實不存在了”,甚至還有投資媒體表示“所有VC的會上都在談Sora”。
因為人們發(fā)現(xiàn),Sora模型基于大規(guī)模的視頻生成,與空間計算有天然的關聯(lián),未來二者的結合,可能開啟一種對世界物理世界更加深入的模擬和理解的新方法。
那么,空間計算這一先進技術的商業(yè)模式又將如何運轉,將和AIoT各個領域碰撞出怎樣的火花,空間計算相關的產業(yè)鏈與技術如何,本文將一一進行介紹。
空間計算,算盤的算
為什么“VC都在看Sora”?為什么連紅衣大炮周鴻祎也對此表示震驚,甚至表示:Sora對物理世界的模擬,至少將會對機器人具身智能和自動駕駛帶來巨大的影響。
如果此前給AI喂大量的內容,AIGC突然開竅(涌現(xiàn))是讀萬卷書的結果,那么Sora給人帶來的期待就是,將AI與現(xiàn)實進行深度結合,將帶來“行萬里路”、“有閱歷”的真實體驗。而這也必將為相關產業(yè)帶來加速。
根據(jù)研究機構market.us數(shù)據(jù)顯示,預計全球空間計算市場規(guī)模將從2023年的1246億美元增長到2032年的6202億美元,預測期間的復合年增長率為18.2%。
接下來,我們以蘋果和Meta為例,分析他們各自立足頭顯和空間計算的商業(yè)模式。
蘋果
對蘋果而言,Vision Pro只是產品的一個接口,他們真正想做的是讓用戶覺得“我需要這個東西”,正如喬幫主此前的理念一樣——用戶并不知道自己想要什么,我給你最好的就行了。
一方面,蘋果希望通過其自研芯片和系統(tǒng)的性能優(yōu)勢,給用戶提供了“想要”的種子,一經發(fā)售,就引來全球哄搶,有數(shù)據(jù)統(tǒng)計,Vision Pro已經銷售20萬臺,收入近7億美元,更不用提正式發(fā)售之后的數(shù)量,盡管后期有報道稱,一些用戶表示佩戴不適將會退貨,對于龐大的銷售額來說不足構成影響。
另一方面,Apple并沒有走社交模式,而是按照硬件+商店的方式進行空間計算產品的布局。
Meta
Meta的想法則是典型的互聯(lián)網商業(yè)模式。通過低成本+社交屬性吸引大量用戶進來,而后提升用戶黏性。同時提出了企業(yè)版本的訂閱模式,兼容多種企業(yè)應用程序,可選個人模式和共享模式。
在Meta Connect 2023大會上,Meta開發(fā)者關系主管Melissa Brown在臺上宣布,Quest商店的游戲和應用程序已經創(chuàng)造了超過20億美元的收入。
當然,如果涉及到錢,Meta也樂于學習蘋果的模式。Meta自有的元宇宙平臺Horizon Worlds上,提出測試一系列的新工具,讓部分創(chuàng)作者可以在該平臺出售數(shù)字資產以獲利。對web端、移動端用戶從交易中抽取25%的傭金,對使用OculusVR頭顯的用戶則抽取高達47.5%的傭金,其中包括30%來自Meta Quest Store的硬件平臺費,以及Horizon Worlds收取的17.5%。此前痛斥蘋果稅的Meta也只有滿口的“真香”。
不過,空間計算技術也面臨一些新技術普遍面臨的挑戰(zhàn)——隱私問題。云計算、區(qū)塊鏈、人工智能/機器學習和XR支持下的空間計算,隱私是擴展現(xiàn)實市場的一個重大挑戰(zhàn),因為VR和AR等XR技術會收集用戶的大量個人數(shù)據(jù)。這些數(shù)據(jù)包括敏感信息,如用戶移動,生物特征數(shù)據(jù),甚至個人喜好。XR市場被盯上的原因之一,就是用戶的數(shù)據(jù)可以在不知情或不同意的情況下被收集。
空間計算作為智能產業(yè)的代表,融合了領先的軟硬件科技,覆蓋通信、感知、測繪、計算等等,可以說是自動駕駛行業(yè)之外另一個將先進技術集大成者的領域。接下來為大家介紹空間計算在AIoT等領域內的兩大應用。
空間計算應用
空間計算與工業(yè)物聯(lián)網
有機構預測,到2030年,空間計算應用程序,依托精確定位和地圖的三維建模,能夠有效改善運營和最大限度地提高人,機器,物體和工作環(huán)境之間的交互將變得無處不在。
在過去的十年中,制造商通過工業(yè)物聯(lián)網計劃達到了新的效率水平。這些技術已經在創(chuàng)建和利用大量數(shù)據(jù)的同時帶來降本、提質增效。缺乏重要的空間信息可能是阻礙IIoT發(fā)展的一個問題。
從本質上講,傳統(tǒng)的lloT對周圍的環(huán)境是盲目的。在選擇安裝什么傳感器和連接什么機器時,物聯(lián)網的采用者定義了自己數(shù)字感知的邊界。這些邊界可能導致操作的數(shù)字表示和其在三維環(huán)境中的物理執(zhí)行之間存在巨大的知識差距。
通過采用空間計算等新技術,則可以彌補這些問題,真正實現(xiàn)數(shù)字化和智能化。
具體來說,空間計算可以對整條生產線進行全程數(shù)字監(jiān)控。它不僅能實時獲取各項生產數(shù)據(jù),還可以進行數(shù)據(jù)交叉比對,識別瓶頸,為管理人員提供決策參考。同時,它也可以通過影像識別和評估每名工人的工作動作,檢查動作是否合理高效,從而給予個性化指導,幫助優(yōu)化工作流程和提高安全性能。將人員行為信息融入整體生產流程,更有利于培訓和提升技能。
此外,空間計算使得人機協(xié)作能夠實現(xiàn)個性化。它可以根據(jù)人員位置動態(tài)調整機器運行參數(shù),實現(xiàn)更高效的協(xié)同工作。更重要的是,它還可以不斷優(yōu)化整個生產環(huán)境布局,提升工作效率。
隨著空間計算技術逐漸成熟。它提供的數(shù)字化和智能化解決方案必將給傳統(tǒng)制造業(yè)帶來深遠影響,助推智能制造革新和產業(yè)升級。通過整合人機環(huán)境數(shù)據(jù),空間計算可能成為實現(xiàn)智能制造的有力技術手段。
空間計算與數(shù)字孿生
數(shù)字孿生是采用信息技術對物理實體的進行數(shù)字化定義和建模的過程,其核心理念在于通過對“數(shù)字孿生體”的仿真、控制、預測,對物理實體實現(xiàn)反哺優(yōu)化,因此數(shù)字孿生有時也會被稱為“工業(yè)元宇宙”。因此,空間計算技術與數(shù)字孿生技術有著天然的聯(lián)系,他們甚至就像兄弟一樣,你中有我,我中有你。
在數(shù)字孿生的應用當中,智慧城市是其中的一個最典型、最容易收益的場景。而通過先進的空間計算技術,能夠為智慧城市帶來更多精細化、
中國工程院院士、國際歐亞科學院院士、自然資源部國家基礎地理信息中心教授陳軍在數(shù)字孿生賦能空間治理”年度學術研討會上提到,現(xiàn)在數(shù)字化治理已經被賦予了新的內容,包括:時空信息的應用、統(tǒng)籌數(shù)字化發(fā)展以及提升智慧化應用水平等多方面。工業(yè)區(qū)、自然保護區(qū)等區(qū)域,數(shù)字孿生技術也逐漸滲透加深。城市交通、水務、文體活動等各種領域,都是數(shù)字孿生和空間計算的用武之地。
不論是空間計算也好,數(shù)字孿生也罷,都是能夠為智慧城市的建設提供提質、降本、增效重要技術,隨著政策和軟硬件能力的不斷發(fā)展,空間計算&數(shù)字孿生技術還會為城市發(fā)展帶來更多的驚喜。
此外,《數(shù)字孿生城市白皮書》為數(shù)字孿生城市發(fā)展提出了“預防針”:1.防止建設方“大干快上”盲目追求新技術;2.控制數(shù)據(jù)源集中匯集和處理帶來的安全風險;3.建設具有當?shù)靥厣⑦m應地方環(huán)境的技術賦能;4.建立健全數(shù)據(jù)融合與技術集成相關標準;5.提升軟硬件自主可控水平;6.提升人才儲備。
空間計算技術要素
作為元宇宙和數(shù)字孿生的重要技術,空間計算主要有以下幾類重要的技術要素:
1.三維重建
三維重建技術是指利用二維投影或影像恢復物體三維訊息(形狀等)的數(shù)學過程和計算機技術。
該技術包含主動方法和被動方法兩大類。主動方法是給定深度圖,通過數(shù)值近似方法重建3D輪廓并基于模型構建場景中的對象,例如移動光源、彩色可見光、飛行時間激光到微波或3D 超聲波。這些方法使用測距儀以機械方式或輻射測量方式主動干擾重建對象,以便獲取足夠信息。而被動方法則不干擾重建對象,僅僅采用傳感器來測量物體表面反射或發(fā)射的輻射亮度,通過圖像理解來推斷其 3D 結構,往往只需要相機等光學設備。
2.空間感知
空間感知是指獲取人、物在空間中狀態(tài)的能力,包括位置、方向、速度等,且可以建立周圍環(huán)境的幾何和語義模型,是AR導航、AR多人協(xié)作及多種空間應用的基礎。通常來說,空間感知是通過一系列傳感器之間的數(shù)據(jù)校準進行確認的。
這項技術在自動駕駛當中應用廣泛,例如攝像頭、毫米波雷達、激光雷達等等,此外,空間感知也包括GPS、光通信、藍牙等不同的技術路線。
3.用戶感知
在空間計算中,用戶感知分為兩個重要組成部分。一是對用戶表達的信息處理,即設備或系統(tǒng)對用戶形象、狀態(tài)、行為表達等信息的捕捉、分析與理解,二是此基礎上進行的認知引導及交互驅動。
用戶感知往往聚焦在對于人類面部、姿態(tài)以及手勢的感知,通過各類信息采集設備理解用戶行為并幫助用戶進行相應的交互操作。
4.空間數(shù)據(jù)管理
空間數(shù)據(jù)(Spatial Data)是指用來表示空間實體的位置、形狀、大小及其分布特征諸多方面信息的數(shù)據(jù),用來描述來自現(xiàn)實世界的目標??臻g數(shù)據(jù)管理技術主要包括數(shù)據(jù)存儲管理技術、數(shù)據(jù)高效檢索技術、數(shù)據(jù)可視化支撐技術及數(shù)據(jù)安全技術四方面??臻g數(shù)據(jù)管理技術是實現(xiàn)數(shù)據(jù)資產歸口和高效空間計算的重要保障,海量多??臻g數(shù)據(jù)一庫統(tǒng)管成為熱點方向。
5.通信與云網
隨著5G這類低延遲,高帶寬通信模式的發(fā)展,為越來越多的算力基礎設施提供了通信保障。通過云化空間計算技術、算力網絡調度、算力分時復用、端邊異步渲染技術等技術,能夠對空間計算的云網資源調用提供穩(wěn)定、彈性、安全的底層支持。此外,5G-A的發(fā)展,帶來的上行超寬帶、寬帶實時交互、通信感知融合的場景,也為空間計算帶來了更加穩(wěn)健的支撐。
空間計算產業(yè)鏈
對于空間計算產品來說,產業(yè)鏈涉及主要的硬件制造商、服務提供商等,從硬件來看,主要分為芯片、顯示、光學、結構件、電池幾大部分,整機成本為1509美元,服務主要來自生產和裝配。其供應商列表如圖所示,以下選取產業(yè)鏈當中較為重要部分具體介紹:
芯片
Vision Pro
蘋果Vision Pro搭載的是M2+R1芯片。
據(jù)了解,M2芯片為倒裝芯片封裝,臺積電加工晶圓、Amkor 的美國封裝工廠完成封測;R1芯片是一個專用協(xié)處理器,用于處理從各種傳感器獲得的數(shù)據(jù)。處理這些傳感器數(shù)據(jù)對于Apple Vision Pro向用戶渲染和提供混合現(xiàn)實環(huán)境至關重要。R1芯片的具體技術規(guī)格目前尚未向公眾公布?,F(xiàn)有信息顯示,該硬件基本上采用臺積電現(xiàn)有的5納米工藝技術制造。
其他設備
Meta quest系列、Pico 4 Pro、HTC XR Elite均采用高通驍龍為XR設備設計的專用芯片。
今年1月,高通推出了第二代驍龍XR2+平臺,用于MR和VR頭顯產品。據(jù)報道,這款芯片支持最高90FPS單眼4.3K顯示分辨率;支持超12路并行攝像頭,延遲12ms。包括三星和谷歌在內的廠商都參與了這款芯片在XR優(yōu)化上的工作。
顯示
關于頭顯設備的顯示技術,目前有較多的選擇,而Vision Pro(包括iWatch)選擇的Micro-OLED,正以其獨特的優(yōu)勢占領XR領域。Micro OLED之所以在OLED前面有個MINI,就是它可以在維持相近分辨率水平的基礎上顯示面積更小的OLED,這一特性使它擁有了更高的像素密度(PPI),并且具有讓顯示器更輕薄短小、耗電量更少、自發(fā)光、發(fā)光效率高等優(yōu)點,特別適用于AR、VR等顯示穿戴式設備。
此外,F(xiàn)ast-LCD、Mini-LED、AMOLED、Micro-LED等也占有相應的份額。供應商來自JDI、Sharp、京東方、LG、三星、天馬、Sony、JBD等等…..
光學
主流的頭顯機型都采用Pancake方案。因其在成像質量和減薄效果好而受到廣泛關注和商用,不過Pancake 模組生產難度大、工藝要求高,光學膜在成像中重要性較高,故生產技術的難點集中于膜材料、貼膜工藝和組裝精度。
除此之外,依然還有一些更為前沿的光學技術,包括多疊折返式自由曲面、異構微透鏡陣列、液晶偏振全息、超表面/超透鏡等。只不過這些技術距離商用還很遙遠,這些前沿技術為 VR 設備的進化升級提供了更多可能。
裝配
盡管我們對蘋果在包裝盒上面標注“某某組裝”較為詬病,立訊精密還是拿下來Vision Pro的組裝大單。在包裝盒上,現(xiàn)在顯示的是Made In China,代表其組裝生產都在中國。
系統(tǒng)
對于可穿戴設備來說,輕量適配的操作系統(tǒng)能夠讓設備體驗更加流暢,因此企業(yè)都會針對設備進行適配和優(yōu)化:
蘋果 Vision Pro
VisionOS主要基于iOS的核心架構開發(fā),并增加了與延展實境相關的框架以實現(xiàn)注視點渲染和實時互動。它采用3D使用者界面,通過手指追蹤、眼動追蹤和語音識別由使用者進行操控:例如,使用者可以輕觸拇指和食指的指尖來進行選擇操作,或輕拂手指使屏幕滾動,或注視檢索框并直接開口講話來輸入文字。
Meta Quest3
Quest3 搭載的是基于Android修改的Meta Quest Platform。用于為 Meta Platforms發(fā)布的 Meta Quest 系列設備開發(fā)應用軟件。該平臺最初是為Oculus Rift和Oculus Rift S上的嵌入式操作系統(tǒng)開發(fā)的,自 2018 年Oculus Go發(fā)布以來,該平臺在Android 操作系統(tǒng)上運行。當前版本為v62,同樣支持類似Vision Pro的空間視頻,支持單指捏合手勢來打開/隱藏通用菜單或長按手勢來使顯示屏居中。
Pico
Pico 的操作系統(tǒng)PICO OS同樣是基于Android的,pico方面針對ui和系統(tǒng)進行了整體優(yōu)化,以提供干凈流暢的體驗。不知道是否受到了字節(jié)人員變動的影響,Pico系列設備系統(tǒng)的最新版本為2023年8月發(fā)布的5.8.2。
空間計算小史
空間計算這個詞來自2003年,麻省理工學院媒體實驗室西蒙·格林沃爾德 (Simon Greenwold) 在他的論文中創(chuàng)造了“空間計算”一詞,將其定義為:“人類與機器的交互,其中機器保留并操縱真實物體和空間的參照物。”
筆者本以為,空間計算彼時只是一個“將來完成時”的東西時,卻被狠狠打臉。
整理資料的時候想起了《蘭迪·波許教授的最后一課》(2007年),巧合的是,美國卡內基梅隆大學的計算機科學、人機交互及設計教授蘭迪·波許,他的研究的方向正是虛擬現(xiàn)實,甚至在他1991年發(fā)布的《Virtual Reality on Five Dollars a Day(享受每天不到5美元的虛擬現(xiàn)實)》論文當中,第一句是這樣寫的:
利用頭顯和手套輸入的虛擬現(xiàn)實系統(tǒng)越來越受歡迎,只是成本高了點……
從虛擬現(xiàn)實的角度,讓空間計算“認祖歸宗”,空間計算其實也有三十年的發(fā)展歷史。
如果再往前數(shù),林克訓練機某種程度上也算是虛擬現(xiàn)實技術的落地,并且成功實現(xiàn)了商業(yè)化。
1903年出生的林克發(fā)明了飛行模擬器,他生產發(fā)明的林克訓練機,通過“訓練用飛機” 提供俯仰、滾轉與偏航等模擬飛行動作,幫助飛行員快速領會飛行駕駛技能。二戰(zhàn)前夕,美軍直接從他那里訂購了六臺林克訓練機用于飛行員訓練,訓練機的單價,非常巧合地,就是一臺VisionPro的價格——3500美元。
而更早的虛擬現(xiàn)實和空間計算,就是夢境了,生物記憶的本能讓你在夢境當中幾乎不會有現(xiàn)實差異的感覺,簡直是對現(xiàn)實世界的完美模擬,連芯片都是自適應BPU(Brain Processing Unit)算力。所謂“莊生曉夢迷蝴蝶”這種將自己想象成昆蟲的場景,或許還是更高級的場景體驗。
過去幾年,人工智能 (AI)、攝像頭傳感器、計算機視覺、物聯(lián)網 (IoT) 和增強現(xiàn)實 (AR) 等技術取得了巨大進步,使空間計算成為可能。通過這些改進,空間計算不僅成為可能,而且為改進我們的工作方式、分析數(shù)據(jù)的方式以及優(yōu)化流程的方式提供了重要的機會?!逗诳偷蹏罚?999)的科幻或許有一天能照進現(xiàn)實,而馬斯克應該已經在著手做了。
盡管元宇宙的泡沫已經褪去,但Vision Pro,包括Meta的Quest3、字節(jié)的Pico等產品依然給大家接觸空間計算提供了不同的選擇。未來也會誕生出超越頭顯設備基于不同類型硬件的技術體驗??臻g計算將在包括通信和共存、制造、游戲、人力資源、媒體、體育和娛樂以及數(shù)據(jù)可視化等領域快速發(fā)展,在醫(yī)療、教育培訓等領域也將產生重要的影響。
空間計算的未來
作為元宇宙的重要技術,甚至是未來工業(yè)的重要技術,空間計算展示出了極為優(yōu)異的潛力。無論是通過數(shù)字孿生賦能工業(yè)物聯(lián)網、智慧城市或教育、醫(yī)療等,空間計算已經開始為融入生活的方方面面,其產品形式也很快會像手機和PC一樣,既能作為生產力工具,也是娛樂與生活離不開的好物。
參考內容
Spatial Computing,PTC
《5G空間計算白皮書》,中國電信
《數(shù)字孿生城市白皮書》,信通院
空間計算行業(yè)深度:相關設備、關鍵要素、產業(yè)鏈及相關公司深度梳理
Virtual Reality on Five Dollars a Day
MR:Vision Pro上市前夜,空間計算開啟iphone時刻?藍海市場開啟,設備投資先行,天風證券
What Leaders Need to Know About Spatial Computing,hbr.org
Spatial Computing Market,market.us