Prophesee對視覺市場的顛覆會很快到來嗎？

Prophesee就像一臺動力十足的小馬達。這家由Luca Verre經(jīng)營的法國初創(chuàng)公司推出了第五代基于事件的成像傳感器，并開始進軍大眾消費市場，顯示了其頑強的生命力。沒有什么能阻止Verre和他的團隊不遺余力地尋找適合其神經(jīng)形態(tài)視覺系統(tǒng)的市場。目前的未知數(shù)是，AR/VR是否是能為Prophesee打開批量市場的領(lǐng)域，如果是，可能需要多長時間。

2014年，一項獨特的生物啟發(fā)（bio-inspired）視覺技術(shù)是一筆巨大的財富，足以說服一個學者團隊和一位商人成立Prophesee公司。

Prophesee并沒有發(fā)明神經(jīng)形態(tài)（neuromorphic）計算。但它已成為在商業(yè)上實現(xiàn)其原理的先驅(qū)：人類不是根據(jù)一系列幀來記錄視覺信息。相反，他們捕捉感興趣的東西（空間和時間的變化），并將這些稀疏的信息高效地發(fā)送給大腦。

Prophesee在推廣基于事件的（event-based）傳感器方面做了大量的工作，但其努力尚未建立起規(guī)模市場。

由于大多數(shù)公司都習慣于拍攝基于幀的電影和視頻，要求他們改用完全陌生的技術(shù)是一個顛覆性的提議。這家初創(chuàng)公司的騰飛需要一些時間，因為它的商業(yè)影響力還很小，業(yè)務(wù)發(fā)展歷史也很短。

一方面，Prophesee有充分的機會將其基于事件的技術(shù)應(yīng)用到各行各業(yè)的許多產(chǎn)品中。這家初創(chuàng)公司涉足的行業(yè)包括醫(yī)療、工業(yè)、汽車和智能手機等。

另一方面，擁有如此廣泛的機會也可能成為初創(chuàng)公司的致命傷，會把團隊拉向過多的方向，有可能造成資源緊張。

雖然Prophesee已經(jīng)在工業(yè)市場占有一席之地，但它仍然需要一種能夠產(chǎn)生大量需求的產(chǎn)品。

為了實現(xiàn)這一目標，Prophesee推出了第五代基于事件的傳感器，名為GenX320 Event-Based Metavision。該公司透露，其GenX傳感器體積小、功耗超低，有助于首次進入“邊緣”消費類設(shè)備市場，包括AR/VR頭戴設(shè)備、安全和監(jiān)控/檢測系統(tǒng)以及始終在線的智能連接設(shè)備。

踏入消費類市場??

十年前，當Ryad Benosman、Bernard Gilly、Christoph Posch和Luca Verre創(chuàng)立這家初創(chuàng)公司時，AR/VR可能還不在他們的考慮范圍之內(nèi)。

但今天，Prophesee認為AR/VR與其基于神經(jīng)形態(tài)計算的微型圖像傳感器“完美契合”。CEO Verre最近解釋說，Apple即將推出的Vision Pro等產(chǎn)品，內(nèi)部使用了十幾個微型攝像頭，這引發(fā)了AR/VR市場的成熟，微型、超低功耗攝像頭能夠進行高速眼球追蹤，創(chuàng)造低延遲的沉浸式體驗。頭戴式顯示器的系統(tǒng)設(shè)計師需要能夠“減少散熱和降低計算負荷”的攝像頭。

Prophesee進軍消費市場反映了這家初創(chuàng)公司三年來將基于事件的視覺技術(shù)引入智能手機的努力。

Prophesee首先與Sony建立了合作關(guān)系，生產(chǎn)其第四代基于事件的圖像傳感芯片。Prophesee為智能手機市場帶來的價值來自于將事件數(shù)據(jù)與幀RGB信息相結(jié)合，從而提高圖像質(zhì)量。

因此，Prophesee與Qualcomm合作開發(fā)了一款去噪軟件應(yīng)用，該應(yīng)用可在Qualcomm Snapdragon移動平臺內(nèi)的DSP上運行。

與Sony和Qualcomm兩家智能手機領(lǐng)域巨頭的合作顯然改變了Prophesee的發(fā)展態(tài)勢，也為其向消費者推廣產(chǎn)品壯了膽。有了這樣的合作伙伴，Prophesee得到了業(yè)界的關(guān)注。

Verre承認：“消費者對這項技術(shù)的興趣讓我們大吃一驚。隨后，我們開始關(guān)注IoT、AR、VR和頭戴式顯示器的應(yīng)用。在Apple和Meta的帶領(lǐng)下，許多公司正在進入AR/VR領(lǐng)域。但是，Prophesee為智能手機設(shè)計的第四代基于事件的傳感器卻無法進入這一消費類市場。

同一知識樹??

值得注意的是，在開發(fā)基于神經(jīng)形態(tài)技術(shù)的視覺系統(tǒng)方面，并非只有Prophesee一家公司。

正如Yole Intelligence的首席分析師Pierre Cambou所解釋的那樣，Prophesee“成長于一棵知識樹”，80年代加州理工學院的Carver Meed團隊和Misha Mahowald隨后發(fā)明的神經(jīng)形態(tài)硅視網(wǎng)膜。

Cambou解釋說，在這棵知識樹上成長起來的其它初創(chuàng)公司還包括IniVation（蘇黎世）、Celepixel（上海）、Insightness（蘇黎世）和Alpsentek（蘇黎世）。Cambou補充說，Samsung也在2014年涉足神經(jīng)形態(tài)技術(shù)，推出了DVS（Dynamic Vision Sensor）。

Cambou預(yù)測，Prophesee有望成為其中最成功的公司，這主要歸功于其IP、由Verre領(lǐng)導(dǎo)的“一流”團隊以及與行業(yè)領(lǐng)導(dǎo)者建立合作關(guān)系的商業(yè)模式。

芯片生產(chǎn)??

Prophesee不僅僅是一家應(yīng)用公司。芯片生產(chǎn)至關(guān)重要，因為該公司基于神經(jīng)形態(tài)計算的成像傳感器不能繼續(xù)作為小眾精品技術(shù)。這種傳感器必須更便宜，并以更小的占地面積和更低的功耗批量生產(chǎn)。

在這方面，從與Tower Jazz合作開發(fā)第三代VGA傳感器到與Sony聯(lián)合開發(fā)第四代高清傳感器，Prophesee走過了不平凡的道路。Verre表示，與Sony的合作使Prophesee得以使用Sony的wafer-to-wafer堆疊工藝。這家初創(chuàng)公司能夠?qū)⒒谑录膫鞲衅骺s小10倍。

Verre說：“自從我們在2021年底推出第四代成像傳感器以來，我們看到了更多的機會。不僅在我們已經(jīng)使用第三代傳感器活躍的工業(yè)市場，而且在消費領(lǐng)域也有越來越多的機會?！?/p>

Prophesee最新推出的GenX320芯片尺寸為3x4mm，由ST在法國生產(chǎn)。這家初創(chuàng)公司解釋說，320×320 6.3μm像素BSI（Back-side Illuminated）堆疊事件視覺傳感器提供了極小的1/5英寸光學格式。Verre說，雖然Sony制造Prophesee第四代基于事件的傳感器時，“堆疊”是一種新的工藝技術(shù)，但現(xiàn)在它已廣泛應(yīng)用于CMOS傳感器。ST將其用于ToF傳感器。

讓技術(shù)切換更容易???

在擁有顛覆性技術(shù)的初創(chuàng)公司必須完成的任務(wù)中，有一項在業(yè)內(nèi)鮮有討論：初創(chuàng)企業(yè)是否做好了準備，讓客戶能夠用新技術(shù)取代舊技術(shù)。

Verre說，讓潛在客戶驚嘆于新的顛覆性技術(shù)是一回事。在“驚艷”之后做出承諾則完全是另一回事。Verre解釋說，無論是Tier 1還是汽車OEM，大客戶希望初創(chuàng)公司能夠做到一切，以便他們能夠輕松、沒有任何麻煩地進行切換。

對于GenX320，Prophesee認為已經(jīng)做足了功課。

首先，它在GenX中集成了片上電源管理模式，將傳感器的功耗降至36μW以下，并啟用了“智能喚醒事件（smart wake-on-events）”。Verre說，通過允許傳感器按順序喚醒像素，GenX將從μW至3mW的超低功耗模式開始。

其次，Prophesee試圖讓GenX 320“為AI做好準備”。Prophesee配置了額外的“智能塊（smart blocks）”，對事件數(shù)據(jù)進行預(yù)格式化，因為基于事件的傳感器產(chǎn)生的數(shù)據(jù)必須能夠輕松地與主流AI處理器配合使用。

Verre解釋說：“理想情況下，你希望有一個神經(jīng)形態(tài)計算平臺來處理我們基于事件的傳感器數(shù)據(jù)?！彪m然Prophesee一直在與Intel的Loihi以及Brainchip和其他神經(jīng)形態(tài)計算公司合作，但Verre指出，這些平臺還不是主流。

因此，為了讓GenX能夠與“大多數(shù)使用AMD、Renesas、NXP或Qualcomm等主流平臺（這些平臺都針對處理幀進行了優(yōu)化）”協(xié)同工作，Verre說，“我們需要預(yù)先格式化基于事件的數(shù)據(jù)”。

第三，Prophesee正在提供MIPI（Mobile Industry Processor Interface）或 CPI（Common Programming Interface）數(shù)據(jù)輸出接口，實現(xiàn)與嵌入式處理器平臺的低延遲連接。Verre解釋說：“這是我們?yōu)榇龠M基于事件的圖像傳感技術(shù)與現(xiàn)有生態(tài)系統(tǒng)的整合所做的嘗試。”

批量生產(chǎn)???????

Prophesee GenX320的批量生產(chǎn)已經(jīng)開始，已開始批量發(fā)貨。

Verre說：“Prophesee幾乎一年前就收到了工程樣品，并與30至40家客戶分享了這些樣品，這些客戶已經(jīng)在評估我們的技術(shù)?！?/p>

除了推出GenX成像傳感器，Prophesee還提供攝像頭模組和評估套件。

在這30-40家客戶中，Prophesee主要依靠Zinn Labs、Xperi和Ultraleap等早期采用者。

Zinn Labs（加州Menlo Park）正在開發(fā)基于Prophesee Metavision事件傳感器的先進視線追蹤系統(tǒng)（移動和汽車頭戴式顯示器）。據(jù)Zinn Labs稱，新型GenX320傳感器可滿足以毫秒級時間尺度變化的眼球和注視運動的需求。Verre解釋說，Zinn Labs使用基于事件的傳感器，可以達到1KHz或更高的眼球追蹤速度，功耗低于20mW。Verre補充說，相比之下，基于幀傳感器的最先進的眼球追蹤速度僅為60-120Hz，功耗高達2W。

作為GenX320的另一個早期采用者，Xperi已承諾使用Prophesee基于事件的傳感器，Verre指出，此外還有之前展示過的DMS。他說：“他們目前還在為基于GenX320的智能消費類設(shè)備做一些原型開發(fā)工作，這些設(shè)備更多地與家用電器有關(guān)?！?/p>

Prophesee還與手部追蹤系統(tǒng)領(lǐng)域的領(lǐng)先企業(yè)Ultraleap建立了合作關(guān)系。Verre解釋說，Ultraleap使用Prophesee基于事件的技術(shù)的主要優(yōu)勢是高速追蹤和低功耗。

Verra說，在手部追蹤和眼部追蹤中，基于事件的圖像傳感器可以同時實現(xiàn)高速和低功耗，解決了“幀基相機面臨的一個基本挑戰(zhàn)”。他指出，每秒運行500-600幀的相機會產(chǎn)生大量數(shù)據(jù)，在有限的功耗預(yù)算下很難進行實時處理。

創(chuàng)新者的窘境???

Yole的Cambou分析說，Prophesee在2019年決定與Sony合作使用芯片堆疊工藝技術(shù)時，就已經(jīng)播下了成功的種子。隨后開發(fā)的兩款傳感器實現(xiàn)了業(yè)界最小的像素尺寸（4.86μm）。

Cambou說：“有了這樣的分辨率和光學格式，移動、汽車和工業(yè)等許多市場都在Prophesee的觸及范圍之內(nèi)。”

然而，Cambou說：“如此激進的創(chuàng)新（生成一個非馮諾依曼異步設(shè)備），以微秒級分辨率產(chǎn)生圖像數(shù)據(jù)，其速率只有每秒10,000幀的科學相機才能達到，就像外星技術(shù)登陸時代廣場一樣。”他解釋說，換句話說，業(yè)界看到的是一種紙面上看起來很酷的技術(shù)，但對于需要時間來摸索如何利用這種技術(shù)的市場來說，這種技術(shù)卻顯得很遙遠。

這就像Clayton Christensen的“創(chuàng)新者的窘境”所描述的那樣，擁有顛覆性技術(shù)的初創(chuàng)公司必須追求現(xiàn)有市場，否則就必須通過創(chuàng)造一個新市場來實現(xiàn)這一目標。Cambou認為，Prophesee一直在“盡可能快地教育生態(tài)系統(tǒng)，為自己創(chuàng)造空間”。

Prophesee目前有130名員工，大部分在法國。Verre解釋說，該公司還在上海設(shè)立了辦事處。該公司獲得了Intel、Bosch、小米和雷諾等公司的投資。

與專注于制造攝像頭的競爭對手不同，Prophesee專門開發(fā)傳感器，其主要追求的應(yīng)用領(lǐng)域是邊緣市場。Verre說：“現(xiàn)在市場上有超過500億顆攝像頭，每年出貨量達約是30億。大多數(shù)被用于傳感類型的應(yīng)用，包括工業(yè)設(shè)備中的計算攝影、監(jiān)控或機器視覺?！痹谶@些領(lǐng)域，Prophesee看到了其技術(shù)的更多機會。

Prophesee所商業(yè)化并引入成像市場的顛覆性技術(shù)讓許多公司驚艷，但讓他們買賬卻是另一回事。然而，如果神經(jīng)形態(tài)成像傳感器最終開始影響各行各業(yè)的相機，就像AI影響各行各業(yè)一樣，Yole的Pierre Cambou相信，有朝一日Prophesee的收入可能會達到10億美元，在CMOS成像傳感器市場占據(jù)5%的份額。他說：“這一天可能會比許多人預(yù)測的來得更早。”