在自動駕駛發(fā)展的歷程中,視覺算法的應用已經(jīng)成為不可或缺的一部分。但當前的視覺算法仍然存在著一些局限性:一方面,相機容易受到光線明暗突變、逆光等影響;另一方面,相機在運行時,產(chǎn)生的數(shù)據(jù)量非常大,因而對算力的要求特別高。
如今,市場上出現(xiàn)一種新型相機傳感器,或可以有效解決上述這些痛點,那就是事件相機。事件相機具備極快的響應速度、減少無效信息、降低算力和功耗、高動態(tài)范圍等優(yōu)勢,可以幫助自動駕駛車輛降低信息處理的復雜度、提高車輛的行駛安全,并能夠在極亮或者極暗環(huán)境下正常工作。
本文將從3個方面詳述事件相機,包括什么是事件相機、商業(yè)模式與競爭格局、商業(yè)化前景。
一、什么是事件相機
1.1 定義
事件相機最初的技術來自蘇黎世,又被稱為仿生視覺傳感器,是一種受生物啟發(fā)的視覺傳感器,早期應用于無人機、機器人、航空航天等。如同人眼一般,事件相機對運動物體的感知非常靈敏,能夠高效地處理動態(tài)和靜態(tài)信息。
事件相機是相比于傳統(tǒng)的幀相機而言的:幀相機是以固定幀率輸出一幀一幀的圖片,并最終組成視頻流;而事件相機只記錄亮度變化的像素點。
有人會有疑惑,那何謂“事件”?這里的“事件”并不是字面意義上的事件,而是把事件相機所記錄下的一個個像素點的光強變化稱之為“事件”。
1.2 優(yōu)勢
事件相機相較于傳統(tǒng)幀相機而言,主要具有響應速度快、減少無效信息、降低算力和功耗、高動態(tài)范圍的優(yōu)勢。
(1)響應速度較快
幀相機始終輸出的是一張張的幀圖像,面對突然橫穿的行人時,其響應速度不一定會及時,比如第一幀圖像顯示行人在左邊,第二幀圖像顯示在中間,第三幀圖像顯示在右邊,結合三張圖像才能判斷出一個行人橫穿的場景;而事件相機的識別頻率非常高,相當于達到了1000幀的幀相機效果,能夠更快地預判到行人橫穿。
(2)減少無效信息
幀相機會產(chǎn)生大量的無效信息;而事件相機是根據(jù)物體表面的光強變化而產(chǎn)生事件流。
某傳感器公司專家解釋道:“事件相機顯示的主要是前方運動物體的外邊框,由于變化的部分主要是在物體邊框,而其內(nèi)部的區(qū)域大概率是沒有變化的。相當于給圖像做了一次壓縮,減少了無效信息,只輸出動態(tài)信息,可以以一個低帶寬的線路給出一個高質(zhì)量的信息。”
(3)降低算力和功耗
幀相機需要對每一幀圖像進行處理,比如30幀的相機,在10秒內(nèi)可以產(chǎn)生300張圖像,如此龐大的數(shù)據(jù)量對芯片的算力要求也更高,產(chǎn)生的功耗也會更大。在自動駕駛領域,雖然幀相機也可以通過一種叫注意力機制的方法,把視覺信息集中在一些感興趣的區(qū)域,但前提仍需要將所有的圖像數(shù)據(jù)先進行一次預處理。
事件相機在二維結構上顯示出一定的稀疏性(比如一個目標物只在t0時刻動了,但之后一直保持著靜止,那就只會在t0時刻顯示一個事件,之后則沒有數(shù)據(jù)產(chǎn)生),也就是說,它只會對變化的部分產(chǎn)生脈沖信號,可能10秒內(nèi)只有幾十KB數(shù)據(jù)量,它不需要處理過多的數(shù)據(jù)量。事件相機所需的算力可能只有傳統(tǒng)CIS芯片的1%,甚至更低,對應的功耗也會較低。
(4)高動態(tài)范圍
通俗點說,高動態(tài)范圍指的是相機在極端光強變化下也能保持圖像的清晰度。
幀相機的動態(tài)范圍通常只能達到60dB,而事件相機的動態(tài)范圍能達到120dB,甚至會更高。高動態(tài)范圍可以幫助事件相機在光線極暗、曝光過度、光線突變等情況下,依然能夠保持有效的工作,為自動駕駛增添了一份安全冗余。
某傳感器公司專家通過一個形象的例子,說:“比如一輛車從黑暗的隧道駛出時,普通相機會出現(xiàn)過度曝光,需要一段時間才能恢復,雖然也可以通過算法去克服這個問題,但是事件相機在這方面會表現(xiàn)得更好。”
圖:事件相機在極暗環(huán)境下效果圖
(來源:宇勘科技提供)
1.3 工作原理
那事件相機是如何工作的呢?具體來說,當對應像素坐標點的光強變化量超過了預先設定的閾值時,事件相機就會以微秒級分辨率標記時間戳,并輸出異步事件流。
我們通過下圖的小球?qū)嶒灴梢愿庇^地發(fā)現(xiàn):只要小球變化的時刻,就會產(chǎn)生事件流,而小球靜止的時刻,就不會產(chǎn)生事件流。
圖:事件相機與幀相機的輸出信號對比
(來源:公開信息)
1.4 與傳統(tǒng)幀相機的差異
(1)感光機制不同
幀相機是通過設定恒定速率的方式,從而獲取場景的信息,并只記錄下每一幀內(nèi)各像素點上的光強信息,而不記錄這一刻相對于上一個時刻所產(chǎn)生的光強變化。
而事件相機記錄的則是光強的差值變化,以及具體到某個像素坐標位置的變化,從而觸發(fā)一個事件流的產(chǎn)生。需要注意的是,對于相對靜止的物體,事件相機是沒有信號返回的;而對于相對運動的物體,尤其是物體外邊框,則會產(chǎn)生相應的光強變化。
(2)讀出機制不同
幀相機始終輸出的是一幀一幀的圖像,并且每一幀的圖像呈現(xiàn)出非常穩(wěn)定且均勻的特征。以一個30幀的相機來說,當車輛經(jīng)過一個不變的場景時,相機在運作時依然會每秒拍攝30張重復的圖像——其中29張屬于浪費。
反過來看,事件相機是由一個個事件組成,它無法像幀相機一樣,輸出一個圖像視頻,而是只記錄某個像素點上發(fā)生的正向或者負向的光強變化,并輸出光強變化量信號,所以事件相機的數(shù)據(jù)特征不是均勻穩(wěn)定的。
宇勘科技商務負責人金光旭解釋道:“幀相機的讀出電路是行列掃描的方式,是一種矩陣數(shù)據(jù)整體讀出的形式,在像素坐標軸上記錄像素點的RGB信息;而事件相機是通過AER的編碼方式,僅將事件以時間戳和坐標的數(shù)據(jù)形式,按照事件產(chǎn)生的先后順序異步傳出。”
(3)電路設計不同
事件相機與傳統(tǒng)的幀相機相比,二者在電路設計上是完全不同的,最大的區(qū)別是在于圖像傳感器部分。
在發(fā)展初期,由于事件流不容易理解和處理,部分事件相機廠商為了能夠?qū)⑹录鄼C更快地實現(xiàn)產(chǎn)品化,并應用在更多的場景,于是在事件相機的pixel結構設計上加了一個APS電路。
針對APS的理解,某傳感器公司專家解釋道:“所謂的APS實際上就是某種程度上的CIS pixel,它會提供輔助參考的作用。”
1.5 產(chǎn)品類型
當前,市場上主流的事件相機產(chǎn)品主要為三類:DVS、ATIS以及DAVIS,它們都采用了差分型視覺采樣模型。此外,也有一些其它類型的事件相機,比如CeleX、Vidar,但從商業(yè)化的進度來看,上述三類事件相機的商業(yè)化發(fā)展較快,所以此處著重介紹這三類。
表:三種產(chǎn)品類型的基本情況
產(chǎn)品分類 |
DVS (動態(tài)視覺傳感器) |
ATIS (基于異步時間的圖像傳感器) |
DAVIS (動態(tài)和有源像素視覺傳感器) |
簡介 |
早期的事件相機,僅輸出事件流 |
基于DVS的改良,只在輸出事件流的同時,輸出灰度信息 |
基于DVS的改良,可同時輸出事件流和灰度信息 |
電路結構 |
由兩個部分組成,擁有兩個感光器 |
由DVS相機和APS相組成,并共用一個感光器。 |
|
優(yōu)勢 |
電路設計簡單,像素面積小 |
能提供灰度信息,功耗相對DAVIS較低 |
能提供灰度信息,像素面積相對ATIS更小。 |
挑戰(zhàn) |
純事件數(shù)據(jù)的可視化程度較低,無法提供精細化的圖像 |
不適用在環(huán)境亮度變化不頻繁的場景 |
APS部分無法與DVS做到精準同步 |
(1)DVS(動態(tài)視覺傳感器)
DVS是最先發(fā)展起來的一款事件相機,它采用AER異步傳輸方式的差分型視覺采樣模型,以異步時空脈沖信號表示場景光強變化,對有光強變化的部分做出響應,而對無光強變化的部分則不會做出響應。DVS將這些運動變化信息轉(zhuǎn)化為空間稀疏、時間密集的事件流。
電路結構:DVS像素電路由對數(shù)光感受器、差分電路、兩個比較器(閾值比較器與內(nèi)部握手電路)組成。其中,對數(shù)光感受器能感知光強變化并及時做出反應;差分電路可以將感光電路的輸出信號進行放大;兩個比較器主要是比較電壓的變化實現(xiàn)ON/OFF事件脈沖的輸出。
圖:DVS像素電路結構圖
(來源:《事件視覺傳感器發(fā)展現(xiàn)狀與趨》)
優(yōu)勢:電路設計簡單,像素面積小。
挑戰(zhàn):純事件數(shù)據(jù)的可視化程度較低,無法提供精細化的圖像。
(2)ATIS(基于異步時間的圖像傳感器)
ATIS在DVS的基礎上進行改進了數(shù)據(jù)的可視化,可以只在電路產(chǎn)生事件信號的同時,觸發(fā)光強測量電路,從而對事件提供一定的灰度信息。
電路結構:ATIS像素結構分為兩個部分(A和B),它包括兩個感光器。其中,A部分包含完整的DVS像素結構,可以檢測光強的變化并激發(fā)事件;B部分包含的感光器是用來檢測光照強度的變化并進行曝光。
圖:ATIS像素電路結構圖
(來源:《事件視覺傳感器發(fā)展現(xiàn)狀與趨》)
優(yōu)勢:能提供灰度信息,功耗相對DAVIS較低。在啟動后,由于直接發(fā)放了一次脈沖,可以直接獲取到相機前方的所有灰度信息,然后根據(jù)運動區(qū)域內(nèi),將在產(chǎn)生的脈沖信號上不斷更新相應灰度信息。
挑戰(zhàn):不適用在環(huán)境亮度變化不頻繁的場景。比如在高速運動場景下,由于光強測量結果是在脈沖信號產(chǎn)生后的一段時間內(nèi)的平均光強,所以存在事件與灰度信息重構更新不匹配的情況。
(3)DAVIS(動態(tài)和有源像素視覺傳感器)
DAVIS也是在DVS基礎上改良而來,可同時輸出事件信息和灰度信息,與ATIS的區(qū)別在于只有一個感光器。
電路結構:DAVIS是DVS相機和APS相結合而成,兩者共用一個感光器。
圖:DAVIS像素電路結構圖
(來源:《事件視覺傳感器發(fā)展現(xiàn)狀與趨》)
優(yōu)勢:DAVIS與ATIS一樣,也可以提供灰度信息;同時,DAVIS由于共用一個感光器,像素面積相對ATIS更小。
挑戰(zhàn):APS電路的采樣速度遠不如DVS電路,導致二者無法做到精準同步。再者,APS電路在高速場景下存在拖影現(xiàn)象。
二、商業(yè)模式與競爭格局
2.1 產(chǎn)業(yè)鏈上下游概況
事件相機產(chǎn)業(yè)鏈的情況與傳統(tǒng)幀相機幾乎是相同的,主要包括上游是零部件供應商(鏡頭組零部件、膠合材料、圖像傳感器芯片等)、中游是模組供應商與系統(tǒng)集成商等、下游是主機廠。
產(chǎn)業(yè)鏈中的不同之處主要是在圖像傳感器芯片、算法軟件,比如更適合事件相機的芯片是類腦芯片、更適合的算法則是脈沖神經(jīng)網(wǎng)絡。
2.2 商業(yè)模式
當前事件相機的商業(yè)模式還沒有完全成熟,產(chǎn)業(yè)鏈的各個玩家都在探索適合自己商業(yè)化之路,初創(chuàng)型科技企業(yè)和大型Tier 1企業(yè)根據(jù)自身的實際情況,各有不同的商業(yè)模式。
(1)初創(chuàng)型科技企業(yè)短期內(nèi)以提供一整套解決方案為主,而中長期方向會專注于自身主業(yè)。
從短期內(nèi)來看,在整個事件相機產(chǎn)業(yè)尚未成熟前, 初創(chuàng)型科技企業(yè)無法找到合適的供應商,所以他們通常會覆蓋整個產(chǎn)業(yè)鏈工序,包括芯片、算法、軟件、模組。比如一家芯片公司,會聯(lián)合相機模組或整機的合作伙伴,配合上自己的芯片,與最終客戶共同開發(fā)在特定應用場景下的應用。
一方面,客戶還沒有找到事件相機合適的落地場景前,他們不會投入多余的人力、物力、財力在算法的開發(fā)上;另一方面,事件相機算法的門檻較高,對應場景的算法開發(fā)也需要一定的經(jīng)驗和數(shù)據(jù)的積累。
從中長期來看,這些事件相機的初創(chuàng)企業(yè)還是會向著軟硬件解耦的模式去發(fā)展,即各家只做自己擅長的部分,并隨著整個產(chǎn)業(yè)的工業(yè)化成熟度越來越高后,產(chǎn)業(yè)分工會越來越明確。
(2)大型Tier 1企業(yè),比如索尼,只會提供芯片,而把算法、軟件、模組等外包給第三方。
一方面,在市場體量不夠大的情況下,提供解決方案會使相機的成本提高,不利于市場推廣;另一方面,由于產(chǎn)業(yè)尚未實現(xiàn)標準化,第三方公司也沒有能力提供除芯片外的全部工序。
2.3 玩家盤點
本文簡要地梳理了國內(nèi)外的幾家典型事件相機玩家及部分典型事件相機產(chǎn)品的主要參數(shù)信息。具體如下:
表:國外玩家盤點
國外玩家 |
索尼 |
三星 |
Prophesee |
iniVation |
地區(qū) |
日本 |
韓國 |
法國 |
瑞士 |
成立時間 |
1946 |
1969 |
2014 |
2015年 |
商業(yè)模式 |
提供芯片 |
提供芯片 |
提供相機 |
提供相機 |
主要產(chǎn)品 |
IMX636、IMX637(芯片) |
Gen1~Gen4(芯片) |
Metavision傳感器、EVK評估套件 |
DAVIS346、DVXplorer Lite |
融資階段 |
已IPO上市 |
已IPO上市 |
C輪 |
- |
投資方 |
- |
- |
三星 |
|
應用領域 |
工業(yè)、機器人、安防、科研、游戲 |
初期定位于ADAS系統(tǒng) |
物聯(lián)網(wǎng)、自動駕駛、機器人、工業(yè)視覺 |
|
資料來源:相關公司提供、公開信息整理 |
表:國內(nèi)玩家盤點
國內(nèi)玩家 |
銳思智芯 |
宇勘科技 |
芯侖科技 |
地區(qū) |
北京 |
上海 |
上海 |
成立時間 |
2019 |
2021 |
2017 |
商業(yè)模式 |
提供芯片或一整套解決方案 |
提供芯片 |
提供芯片 |
產(chǎn)品 |
ALPIX(芯片)、ALPIX-Titlis傳感器等 |
YK-D-RH02(芯片) |
CeleX-V |
融資階段 |
Pre-A輪 |
天使輪 |
已被收購 |
投資方 |
中科創(chuàng)星、聯(lián)想創(chuàng)投、???/p> |
- |
百度、韋爾股份 |
應用領域 |
汽車、安防、消費電子等 |
航天星載應用 |
車內(nèi)駕駛員監(jiān)控(DMS)和駕駛輔助系統(tǒng)(ADAS) |
資料來源:相關公司提供、公開信息整理 |
表:典型事件相機產(chǎn)品參數(shù)
產(chǎn)品型號 |
EVS-IMX636 |
EVS-IMX637 |
DVS-Gen4 |
DAVIS 346 |
CeleX-V |
廠商名 |
索尼 |
索尼 |
三星 |
iniVation |
芯侖科技 |
發(fā)布年份 |
2021 |
2021 |
- |
2020 |
2018 |
分辨率 (pixels) |
1280×720 |
640×512 |
1280×960 |
346×260 |
1280×800 |
動態(tài)范圍(dB) |
大于86 |
大于86 |
90 |
120 |
120 |
功耗(mW) |
- |
- |
140 |
- |
- |
像素芯片尺寸 (μm×μm) |
4.86 |
4.86 |
4.95 |
18.8 |
9.8 |
資料來源:相關公司提供、公開信息整理 |
三、商業(yè)化前景
3.1 機會:自動駕駛中的落地場景
3.1.1 適合落地的場景
事件相機的優(yōu)勢在于響應速度快、高動態(tài)范圍等,較適應于以下場景:
第一,城區(qū)場景中的鬼探頭。傳統(tǒng)幀相機在面對橫向的鬼探頭場景時,無法快速做出反應,而事件相機可以更快的感知到危險信號。
第二,高速場景下的避障。比如車輛在高速路上快速行駛時,遇到前方路面有一個輪胎,幀相機不能及時做出反應,而事件相機可以依靠它的低時延性優(yōu)勢,快速識別出前方的輪胎,并及時做出避障動作。
第三,光線過亮或者過暗的場景。比如在深夜的環(huán)境下,幀相機由于周圍極暗的光線而無法識別周圍事物,而事件相機依然可以有效的識別周圍事物。
第四,光強突變較為明顯的場景。比如車輛從隧道出來后,面對高曝光的場景,幀相機會受到高爆光的影響,從而產(chǎn)生失效的工況,而事件相機不會受到影響。
3.1.2 不適合落地的場景
事件相機不適合落地的場景,主要是在城區(qū)場景的某些工況下,比如車輛前方有無數(shù)行人在穿插過馬路。再或者一些惡劣天氣環(huán)境下,比如大雨、大雪、沙塵等。
以上兩種場景下,前方的目標物都存在數(shù)量多且無規(guī)律運動的特點,這會對事件相機產(chǎn)生很多無效的噪點。
在與一些自動駕駛從業(yè)者交流時,不少人也問道:“那車輛在道路上行駛時,周圍的物體看上去都在移動,是否說明事件相機不適合應用在自動駕駛?”
對此,某事件相機方面的專家說:“這種相對的移動是有規(guī)律可循的,周圍的物體都是以相對車輛的一個速度在后退,而這個速度就是車輛自身的行駛速度,可以在后臺處理數(shù)據(jù)時,通過某些算法將車輛自身的速度作為一個參數(shù),從而過濾掉一些原本靜止的物體。”
3.2 商業(yè)化中存在的問題
3.2.1 技術層面的挑戰(zhàn)
(1)無法識別具體目標物
幀相機輸出的是幀圖像,并且已擁有了成熟的應用和標定數(shù)據(jù)庫;而事件相機只能給出比較原始的數(shù)據(jù)信息,比如目標物的外部輪廓,并且也沒有一個自己獨立的數(shù)據(jù)庫來匹配這些輪廓信息。
若想要得到更深層次的信息,仍需要幀相機作為輔助,比如先從事件相機識別出前方雪糕筒的形狀,而后在經(jīng)過神經(jīng)網(wǎng)絡算法的訓練后,發(fā)現(xiàn)該形狀與之前的雪糕筒相似,從而判斷出前方物體具體是什么。
(2)缺少適合的芯片和算法
當前事件相機使用的是原來幀相機的一整套架構體系(比如所使用的芯片類型、算法模型等),但基于幀圖像的架構并不能完全處理好事件流,而現(xiàn)有的大部分事件相機產(chǎn)品只是做了簡單的架構平移。但兩者的工作原理完全不同,若只是簡單的架構平移,就如同將一臺普通的轎車引擎裝在一輛超跑上。
第一,較適合事件相機的芯片將會是類腦芯片。
目前事件相機用的主要是傳統(tǒng)的CIS的圖像傳感器芯片,主要以處理幀圖像的方式來處理事件流,兩者的契合度較低。
而類腦芯片一般指神經(jīng)形態(tài)芯片,它是一種參考人腦神經(jīng)元結構和人腦感知認知方式來設計的芯片,旨在突破“馮˙諾依曼瓶頸”,可實現(xiàn)類似人腦的超低功耗和并行信息處理能力,從這一點來看,非常匹配事件相機的性能。
當前類腦技術仍然屬于探索階段,尚未大規(guī)模商業(yè)化。相對國內(nèi)的進度來說,國外的類腦芯片玩家相對走得更快一步,比如英特爾、時識科技等,而目前國內(nèi)的類腦芯片技術仍主要處在學術階段。
第二,較適合事件相機的算法為脈沖神經(jīng)網(wǎng)絡。
徐波說道:“事件相機的算法有一些特殊的神經(jīng)網(wǎng)絡,但是當前大家通用的還是基于frame的網(wǎng)絡,數(shù)據(jù)的稀疏性會對傳統(tǒng)神經(jīng)網(wǎng)絡算法產(chǎn)生影響,所以這也是目前事件數(shù)據(jù)比較難處理的地方。”
而脈動神經(jīng)網(wǎng)絡具有事件驅(qū)動、異步運算、極低功耗等特點,并且脈沖信號的產(chǎn)生與事件相機基于時間戳的事件流輸出方式非常契合。不過,目前脈沖神經(jīng)網(wǎng)絡仍然處于學術階段,雖然也有部分企業(yè)在嘗試該技術,但更多的是一種早期項目,并沒有找到能夠大規(guī)模應用的場景。
3.2.2 工程層面的挑戰(zhàn)
(1)閾值設定難度高
閾值是衡量事件輸出的標準,當目標物的光強變化量(亮度由低到高或者由高到低)超過預設的閾值就會產(chǎn)生事件。其基本的原理是:通過調(diào)整閾值可以改變相機對噪點的敏感度,當閾值越大時,相機對噪點越不敏感,能捕捉到的事件也會越少;當閾值越小時,能捕捉到的事件也會越多。
對于如何調(diào)整閾值大小,森云智能CEO徐波說道:“具體如何設置閾值需要看具體場景需求,比如車在城區(qū)或者高速等不同場景下,每個時刻的閾值設定都是不同的。而閾值的多少,取決于你想看到哪些東西,想看多一些,還是想看少一些。”
一方面,在不同的場景環(huán)境下,閾值的初始狀態(tài)設定也不同,比如白天的閾值會比較高,而晚上的閾值會比較低。
另一方面,事件相機在使用過程中,它的閾值通過算法會不斷動態(tài)調(diào)節(jié),形成一個自適應地過程。
而在自動駕駛領域,具體如何設定閾值也是一個難題:一方面,車在行駛過程中,與周圍的事物始終保持著相對運動,隨著物體表面光強亮度的變化就會一直有事件產(chǎn)生,此時閾值應該越大,從而減少噪點;另一方面,事件數(shù)據(jù)的特點是具有稀疏性(比如一個靜止的物體,事件相機只會再t0時刻產(chǎn)生事件,之后就不會有新的事件產(chǎn)生),從冗余安全的角度來看,為了降低數(shù)據(jù)過少的風險,閾值應該越小。
總的來說,閾值大小的設定是決定事件相機是否能在自動駕駛中用好的關鍵一步,這需要大量場景數(shù)據(jù)的積累、算法的優(yōu)化、設備運行時動態(tài)地調(diào)整閾值。
(2)數(shù)據(jù)處理效率低
幀相機處理數(shù)據(jù)的原理,是在等整張圖像處理完了后才能做出決策;而事件相機的數(shù)據(jù)處理原理是出現(xiàn)一個事件就處理掉一個事件,然后快速地做出決策。
但當前的商業(yè)應用中,市場上還沒有針對事件數(shù)據(jù)處理的成熟方法,所以已有的事件相機產(chǎn)品都是采用幀相機的數(shù)據(jù)處理方式來處理事件數(shù)據(jù)。
舉例來說,若一個事件相機在60秒內(nèi),只有在第60秒才產(chǎn)生一個事件。此時,我們按照30幀的幀率去處理事件數(shù)據(jù),就需要將60秒的數(shù)據(jù)切割成每30秒一組數(shù)據(jù),然后在傳統(tǒng)的神經(jīng)網(wǎng)絡算法模型下進行運算,可以發(fā)現(xiàn),前一組30秒數(shù)據(jù)并沒有事件產(chǎn)生,但在傳統(tǒng)網(wǎng)絡模型下前一組數(shù)據(jù)也必須要進行運算,這就違背了事件相機的處理數(shù)據(jù)原理,讓其喪失了低時延的優(yōu)勢。
圖:事件相機與幀相機的數(shù)據(jù)對比效果
(來源:宇勘科技提供)
(3) 與其它傳感器融合的挑戰(zhàn)
由于事件相機無法單獨提供深層次的數(shù)據(jù),比如測距、測速、表面具體顏色等,只能獲取到物體的輪廓,所以單純地使用一個事件相機是無法給到自動駕駛車輛足夠的冗余安全,與其他傳感器的融合才是更好的感知方案。
在與其它傳感器融合時,需要把事件流與其它傳感器的信號進行同步匹配。
以事件相機與激光雷達的融合為例,事件相機與激光雷達都有幀的概念,激光雷達也是以某一恒定幀率發(fā)射點云。若想要把這兩個傳感器同步起來,就需要做到兩個方面:一方面,時間戳的一一對應;另一方面,需要在做好標定的基礎上,將事件相機的像素點云映射到激光雷達的點云上。
3.2.3 商業(yè)層面的挑戰(zhàn)
在商業(yè)應用層面,事件相機主要存在應用場景較少和供應鏈體系不成熟的問題。
一方面,應用的場景仍較少。在現(xiàn)有相機體系越來越成熟的趨勢下,當前事件相機能給自動駕駛能帶來的增量價值過小,并且它只能通過與其它傳感器融合使用才能發(fā)揮更大的價值,但作為新型傳感器在進入市場前,事件相機需要經(jīng)歷漫長的場景功能開發(fā),從而慢慢挖掘出一些它的潛在價值。
另一方面,供應鏈體系不成熟。事件相機處在早期發(fā)展階段,產(chǎn)品的標準化程度較低,在推廣過程中不得不提供一整套解決方案,導致產(chǎn)品的成本較高。以事件相機的算法開發(fā)供應商為例,某自動駕駛公司傳感器專家提到,現(xiàn)有的事件相機相關的算法開發(fā)商,主要是以demo為主,沒有針對特定場景去做配套算法的開發(fā)。
結語
總的來說,事件相機在理論上具備一定的優(yōu)勢,或許某一天能成為自動駕駛領域內(nèi)一種全新的傳感器選項,但現(xiàn)階段技術成熟度與產(chǎn)業(yè)成熟度仍需要時間去慢慢打磨。
某事件相機廠商市場負責人說道:“不同應用領域內(nèi)的潛在客戶都意識到事件相機的獨特優(yōu)勢,但是作為一項新技術,上下游的發(fā)展成熟仍需要一段時間,大家都在期待技術的更將成熟、價格的進一步下降,并且能夠有豐富、成熟、可靠的配套算法。預計2023到2024年間,部分事件相機廠商會開始往一些量產(chǎn)型號去設計一些應用,但事件相機仍需要在產(chǎn)品的可靠性方面得到進一步的驗證。”
參考資料
【1】自動駕駛感知領域的革命:拋棄幀的事件相機將給高算力AI芯片沉重打擊https://mp.weixin.qq.com/s/iEBPf4VZYUv-hYLnYdJcYg
【2】事件相機,自動駕駛感知的革新?https://mp.weixin.qq.com/s/sF4eHls3FMNbktXXCcV_zw
【3】基于事件的視覺傳感器及其應用綜述,孔德磊,方正
【4】神經(jīng)形態(tài)視覺傳感器的研究進展及應用綜述,李家寧,田永鴻
【5】事件視覺傳感器發(fā)展現(xiàn)狀與趨,方應紅