雙目立體視覺(jué)的春天來(lái)了嗎？

雙目攝像頭在自動(dòng)駕駛領(lǐng)域被大疆打破成本壁壘做成低成本智能駕駛方案；在智能底盤方面，我們?cè)谖恼隆稄?a class="article-link" target="_blank" href="/tag/%E6%AF%94%E4%BA%9A%E8%BF%AA/">比亞迪“云輦”看汽車技術(shù)最后的堡壘-底盤懸架》中也提到過(guò)被用來(lái)做路面的底盤預(yù)瞄功能。所以曾經(jīng)一直是豪車專用的雙目立體視覺(jué)的春天來(lái)了嗎？

本文主要從投資角度和產(chǎn)業(yè)科普去看：

雙目立體視覺(jué)是什么？在汽車產(chǎn)業(yè)上有什么應(yīng)用？國(guó)內(nèi)有哪些玩家？未來(lái)發(fā)展與思考？

一、雙目立體視覺(jué)是什么？

我們生活在三維空間中，如何智能地感知和探索外部環(huán)境一直是個(gè)熱點(diǎn)難題,汽車應(yīng)用中不管智能駕駛還是人機(jī)交互,AR/VR中都是非常重視3D視覺(jué)感知。而雙目立體視覺(jué)是3D視覺(jué)感知路徑的一種，3D視覺(jué)的技術(shù)路徑還包括結(jié)構(gòu)光、ToF（Lidar就是Time of Flight的一種）以及工業(yè)三維測(cè)量等。

雙目立體視覺(jué)是左右眼固定基線（兩個(gè)攝像頭間距），通過(guò)三角測(cè)量的方式，推算出目標(biāo)距離。

二、單目視覺(jué)與雙目立體視覺(jué)的區(qū)別？

2.1 技術(shù)原理

雙目更多的是基于物理測(cè)量，而單目視覺(jué)則是基于邏輯推理，通過(guò)大量的數(shù)據(jù)訓(xùn)練，先識(shí)別出目標(biāo)，再根據(jù)目標(biāo)的大小和高度估算距離。因此，單目視覺(jué)的漏檢率高于雙目立體視覺(jué)，因?yàn)榭陀^上存在corner case。

2.2 輸出信息

單目視覺(jué)輸出的是一個(gè)二維信息，而雙目立體視覺(jué)輸出的是三維信息，較之，多了一個(gè)深度信息。因此，雙目立體視覺(jué)在后續(xù)與同樣也具備深度信息的傳感器比如激光雷達(dá)、4D毫米波雷達(dá)在深度信息的融合上會(huì)更加適配，也可以形成冗余。

2.3 產(chǎn)業(yè)鏈上下游情況

雙目立體視覺(jué)與單目視覺(jué)的產(chǎn)業(yè)鏈情況大致相同，主要包括上游是零部件供應(yīng)商（光學(xué)鏡頭、圖像傳感器、殼體、連接器等）、中游是系統(tǒng)集成商、下游是主機(jī)廠。產(chǎn)業(yè)鏈的不同之處主要在于軟件算法。單目視覺(jué)的軟件算法主要是深度學(xué)習(xí)，而雙目立體視覺(jué)的軟件算法則更為復(fù)雜，還包括雙目對(duì)齊、圖像矯正、立體匹配等。

三、車載領(lǐng)域雙目立體視覺(jué)適用的場(chǎng)景？

汽車的感知無(wú)外乎對(duì)外的環(huán)境感知，對(duì)內(nèi)的乘客感知交互，如上文講到的我們?nèi)祟惿畹目臻g是三維空間，要實(shí)現(xiàn)環(huán)境以及人類的準(zhǔn)確感知，必須實(shí)現(xiàn)三維感知。在車載領(lǐng)域雙目視覺(jué)主要用于以下場(chǎng)景：

車外：智能駕駛的一些特定場(chǎng)景（如“鬼探頭”、“加塞”、“限高”等）以及底盤預(yù)瞄用于車輛動(dòng)態(tài)控制。

車內(nèi)：駕駛員監(jiān)控系統(tǒng)（DMS），目前主流的DMS是單個(gè)紅外線ToF攝像頭。未來(lái)內(nèi)車內(nèi)座位是否有人和物體進(jìn)行識(shí)別等等。

四、目前市場(chǎng)上雙目立體視覺(jué)的玩家？

雙目攝像頭在手機(jī)上的應(yīng)用開(kāi)始于2007年左右的三星手機(jī)，主要是用于3D圖片和視頻拍攝，此后開(kāi)啟了手機(jī)攝像頭的浴霸模式；汽車上首次應(yīng)用是2013年的奔馳S，主要是用于緊急制動(dòng)的安全功能的冗余。

在汽車上由于雙目的視覺(jué)算法和硬件一致性的難度問(wèn)題，主要是被價(jià)格相對(duì)高的一眾豪車采用，供應(yīng)鏈也主要是來(lái)自于歐美日的維寧爾，大陸，博世，電裝。

在國(guó)內(nèi)玩家：目前跑得比較快的玩家包括大疆、華為、元橡科技、中科慧眼、鑒智科技等。

大疆：

2016年3月，大疆發(fā)布全球首款具備機(jī)器視覺(jué)能力的消費(fèi)級(jí)無(wú)人機(jī)-大疆精靈4，通過(guò)安裝在機(jī)身支架位置的一對(duì)前向雙目攝像頭，以及慣導(dǎo)、超聲波等傳感器，首次實(shí)現(xiàn)了“障礙感知”、“智能跟隨”等智能功能。同年，公司開(kāi)始探索智能駕駛領(lǐng)域。有了應(yīng)用在無(wú)人機(jī)產(chǎn)品上的雙目技術(shù)的經(jīng)驗(yàn)積累，在車載領(lǐng)域公司于2022年9月出貨上汽通用五菱旗下寶駿KIWI，實(shí)現(xiàn)ADAS功能，目前底盤預(yù)瞄功能還未量產(chǎn)上車。

華為：

公司早期在手機(jī)領(lǐng)域如P9和P10就采用了雙目立體視覺(jué)來(lái)實(shí)現(xiàn)測(cè)距、景深控制和背景虛化等功能，隨后在車載領(lǐng)域的研究也是基于手機(jī)領(lǐng)域的積累。已出貨極狐阿爾法S和阿維塔11，實(shí)現(xiàn)ADAS功能，目前底盤預(yù)瞄功能還未量產(chǎn)上車。

元橡科技：

成立于2017年，核心團(tuán)隊(duì)來(lái)自日本理光。公司于2018年與保隆科技在雙目立體視覺(jué)領(lǐng)域展開(kāi)合作，并設(shè)有合資公司。已定點(diǎn)多家乘用車，預(yù)計(jì)今年量產(chǎn)交付。元橡的優(yōu)勢(shì)更多在于有自研芯片以及對(duì)立體視覺(jué)圖像的處理能力深刻。

注：（理光Ricoh，1936年成立于日本東京，以生產(chǎn)精密光學(xué)設(shè)備起家，擁有先進(jìn)的光學(xué)技術(shù)和圖像處理技術(shù)，與豐田在雙目立體視覺(jué)領(lǐng)域有深入合作。）

中科慧眼：

成立于2014年，核心團(tuán)隊(duì)來(lái)自中科院。老股東包括百度、中鼎股份等。有自己工廠，專利儲(chǔ)備豐富，目前主要營(yíng)收還是來(lái)自于后裝ADAS，前裝雙目ADAS乘用車有定點(diǎn)，還未量產(chǎn)上車。

鑒智科技：

成立于2021年，核心團(tuán)隊(duì)來(lái)自深鑒科技。公司提供通過(guò)AI驅(qū)動(dòng)的雙目立體視覺(jué)系統(tǒng)，并于2023年4月與孔輝科技在雙目視覺(jué)領(lǐng)域展開(kāi)合作。相比于另外兩家創(chuàng)業(yè)公司，鑒智成立時(shí)間更短，但它的優(yōu)勢(shì)在于團(tuán)隊(duì)簡(jiǎn)歷亮眼，以及對(duì)AI深刻的理解。

值得一提的是目前國(guó)內(nèi)乘用車市場(chǎng)上空氣懸架的頭部公司就是保隆科技、孔輝科技以及中鼎股份這三家，而這三家又分別與三家創(chuàng)業(yè)公司開(kāi)展了合作，也側(cè)面說(shuō)明了大家對(duì)底盤預(yù)瞄市場(chǎng)的看好。

底盤預(yù)瞄是指雙目立體視覺(jué)傳感器預(yù)先識(shí)別道路類型等路面信息，通過(guò)立體匹配得到點(diǎn)云圖，實(shí)時(shí)發(fā)送給底盤懸架系統(tǒng)來(lái)實(shí)現(xiàn)主動(dòng)調(diào)節(jié)。也就是比亞迪于2023年4月10日發(fā)布的“云輦”-X系統(tǒng)采用的技術(shù)方案。

目前來(lái)看，雙目立體視覺(jué)是實(shí)現(xiàn)底盤預(yù)瞄功能的最佳選擇。雖然其它傳感器，比如激光雷達(dá)也可以，但是要達(dá)到生成高程圖的激光雷達(dá)，他必須要達(dá)到測(cè)繪級(jí)，精度極高，價(jià)格也極高，而當(dāng)前智能駕駛用的激光雷達(dá)例如所謂192線，百位數(shù)甚至更高顯然達(dá)不到對(duì)路面3D細(xì)致的掃描，而攝像頭動(dòng)輒百萬(wàn)像素更容易。

五、上車需求？

ADAS功能目前L2及以下，主流方案還是1R1V（單目），所以這里具體對(duì)比一下1R1V（單目）和1R1V（雙目）方案。1R1V（單目）里Mobileye的芯片方案在2019年以前市場(chǎng)一直處于壟斷地位，但由于它黑盒交付、很難迭代等問(wèn)題，逐漸在市場(chǎng)上被T1的TDA4和地平線J3蠶食部分份額，到目前，差不多三家方案的市場(chǎng)競(jìng)爭(zhēng)格局為五三二的局面。

而1R1V（雙目）還未形成比較明顯的市場(chǎng)格局，各家方案也有所不同，有的選用專用ASIC芯片，放在邊緣側(cè)，有的選用通用芯片，放在域控制器里。整體來(lái)看，商用車更偏向ASIC方案，這樣數(shù)據(jù)處理可以直接在邊緣側(cè)完成，商用車對(duì)裝域控制器的需求不大。

乘用車性價(jià)比方案偏向ASIC，而越高階越會(huì)傾向選擇大算力SOC。1R1V（單目）方案一套單車價(jià)值量約900元，其中前向毫米波雷達(dá)350元，單目鏡頭50元，圖像傳感器50元，其它硬件（PCBA、橫梁、殼體等）100元，Mobileye“芯片+視覺(jué)算法”350元。而1R1V（雙目）方案中前向毫米波雷達(dá)350元，雙目鏡頭100元，圖像傳感器100元，其它硬件（PCBA、橫梁、殼體等）100元，如果用通用SOC芯片比如TDA4，一顆40美元，要用2顆，約560元，一共1210元；如果用ASIC芯片，和一顆小SOC，芯片成本會(huì)下降，整體成本比單目略貴一點(diǎn)。

雙目立體視覺(jué)、4D毫米波雷達(dá)以及激光雷達(dá)，各式各樣的傳感器五花八門，但最終主機(jī)廠會(huì)選擇用哪類傳感器，最關(guān)鍵的因素還是在于成本。雙目其實(shí)是一個(gè)很早就在汽車產(chǎn)業(yè)中應(yīng)用存在的技術(shù)路徑，市場(chǎng)一直滲透率不高的原因一方面在于它的技術(shù)門檻較高（算法、制造工藝，質(zhì)量一致性等），被歐美少數(shù)幾個(gè)玩家閉環(huán)把控，另一方面也可能是因?yàn)榧夹g(shù)上的缺陷（基線在一定程度上限制了雙目的測(cè)量范圍）而導(dǎo)致實(shí)際需求沒(méi)有起來(lái)。

而國(guó)產(chǎn)手機(jī)互聯(lián)網(wǎng)智能供應(yīng)鏈的到來(lái)，從手機(jī)互聯(lián)網(wǎng)端成熟的技術(shù)和應(yīng)用將會(huì)極大的拉低雙目的應(yīng)用生態(tài)?？傮w來(lái)看，雙目立體視覺(jué)的春天有以下三個(gè)機(jī)遇與挑戰(zhàn)，第一，就單實(shí)現(xiàn)ADAS功能而言，雙目廠商想要?dú)⑦M(jìn)來(lái)分一杯羹有點(diǎn)難，目前國(guó)內(nèi)ADAS玩家很多，競(jìng)爭(zhēng)激烈，各家毛利都不高，想要?dú)⒊鰜?lái)很要挑戰(zhàn)。

另外，現(xiàn)在無(wú)論是低階還是高階自動(dòng)駕駛，主機(jī)廠越來(lái)越注重性價(jià)比和實(shí)際使用效果，而不是單純堆硬件了；第二，底盤預(yù)瞄存在機(jī)會(huì)，底盤預(yù)瞄市場(chǎng)參考空氣懸架市場(chǎng)，主機(jī)廠主打差異化、舒適化，目標(biāo)車型在30W以上的車；第三，如果“ADAS+底盤預(yù)瞄”可以實(shí)現(xiàn)傳感器復(fù)用的話，性價(jià)比倒是不錯(cuò)，可以持續(xù)跟蹤，但是傳感器復(fù)用很難由供應(yīng)商發(fā)起，必須要主機(jī)廠有想法。

六、最后提個(gè)小思考

早期自動(dòng)駕駛方案采用“激光雷達(dá)+高精地圖”為主，然而，高昂貴的單車成本成為自動(dòng)駕駛大規(guī)模推廣的瓶頸。2021年特斯拉推出“BEV+transformer”,開(kāi)啟了自動(dòng)駕駛行業(yè)新的篇章。到今年，很多主機(jī)廠積極跟進(jìn)。

“BEV+transformer”做到了空間和時(shí)間維度的統(tǒng)一，BEV（bird’s eye view）鳥(niǎo)瞰圖中，物體天然就帶了位置信息，把它丟到神經(jīng)網(wǎng)絡(luò)當(dāng)中，從而輸出三維的向量信息，而把組合導(dǎo)航丟到神經(jīng)網(wǎng)絡(luò)當(dāng)中，又實(shí)現(xiàn)了時(shí)序的統(tǒng)一。

該方案可以減少對(duì)毫米波雷達(dá)和激光雷達(dá)的依賴。之所以要用多傳感器融合，是因?yàn)樾枰貌煌瑐鞲衅鞯膬?yōu)點(diǎn)。比如激光雷達(dá)的優(yōu)點(diǎn)在于它可以準(zhǔn)確判斷周圍障礙物的位置信息和三維信息，毫米波雷達(dá)的優(yōu)點(diǎn)在于它可以判斷物體的速度信息，而這些在BEV里都得到了解決。在馬斯克第一性原理的指導(dǎo)下“BEV+transformer”方案使得整體對(duì)硬件要求變低了，這又是個(gè)值得思考的事情。

*未經(jīng)準(zhǔn)許嚴(yán)禁轉(zhuǎn)載和摘錄-獲取參考資料方式：

1. A System for In-Line 3D Inspection without? ；Hidden Surfaces - Juan-Carlos Perez-Cortes 1,2,* ID , Alberto J. Perez 1,2,*, Sergio Saez-Barona 1,2 , Jose-Luis Guardiola 1 and Ismael Salvador 1