近日,普諾飛思(Prophesee)宣布完成 C輪融資,由創(chuàng)新工場領投、小米及上海韋豪創(chuàng)芯跟投,數家老股東加碼。
先來介紹一下這幾家投資機構,首先創(chuàng)新工場是李開復博士創(chuàng)立的,目前,創(chuàng)新工場管理著超過25億美元的基金總額,所投資的著名AI獨角獸企業(yè)包括Momenta、文遠知行(WeRide)、創(chuàng)新奇智(AInnovation)、第四范式(4Paradigm)、地平線機器人(Horizon Robotics)等。據了解,普諾飛思是創(chuàng)新工場投資的第一家歐洲企業(yè),此前的投資專注于中國市場。
另外跟投的兩家小米和韋豪創(chuàng)芯,眾所周知,小米是全球三大移動設備供應商之一,韋豪創(chuàng)芯是國內知名的投資公司,由國內半導體行業(yè)龍頭韋爾股份作為發(fā)起人參與投資,而韋爾股份旗下的豪威科技是全球前三的CMOS圖像傳感器供應商。
這些投資機構看好的普諾飛思到底是什么來頭?
據悉,普諾飛思總部位于法國巴黎,此前已獲英特爾資本、雷諾集團、博世創(chuàng)投、歐洲投資銀行等北美、歐洲和日本的知名投資人支持,加上此輪中國的行業(yè)頂級投資人,組成了強大的國際資本陣容。
為什么這么多的投資機構都看好這家企業(yè)呢?
普諾飛思是世界上最先進的神經擬態(tài)視覺系統(tǒng)的發(fā)明者,其原視覺(Metavision?)傳感器專利和AI算法引入了一種全新的基于人眼和大腦工作原理的計算機視覺范例。普諾飛思的技術可以被理解為“神經擬態(tài)機器眼”。當前,許多機器視覺技術都遵循傳統(tǒng)的成像原則——即機器每秒看到25幀的靜止圖像,通過對每幀圖像進行智能解析,做進一步的識別與分析。但這種“基于幀”的成像方式不僅讓機器的“眼”和“大腦”速度不匹配,系統(tǒng)響應時間慢,機器每一幀都做記錄還會儲存大量的無用數據,產生大量冗余數據,耗費系統(tǒng)處理資源。
受人眼視網膜和大腦工作原理的啟發(fā),普諾飛思創(chuàng)建了神經擬態(tài)傳感器和生物啟發(fā)算法,將基于圖像靜止幀的傳感器改為“基于事件”的視覺系統(tǒng)。在基于事件的視覺傳感器上,每個像素都是異步且獨立的,能獨立感知并記錄場景中物體的運動。像素會隨著場景變化的節(jié)奏而動態(tài)變化,而非按照預先設定好的每秒25幀。通過普諾飛思神經擬態(tài)視覺傳感器和軟件技術,生成的數據量比傳統(tǒng)的圖像傳感器減少十到千倍。普諾飛思傳感器可實現像素級別的曝光調節(jié),即使在極暗或極亮的光照條件下,也可實現 >120dB的動態(tài)范圍。普諾飛思“基于事件”的神經擬態(tài)視覺系統(tǒng)不僅能讓每個像素獨立展現場景的動態(tài)及生命力,更可以讓機器看見隱藏的場景運動信息,進一步模擬人類雙眼,“看到”行云流水般的世界。
“基于事件”的神經擬態(tài)視覺技術的落地情況如何?
根據普諾飛思聯合創(chuàng)始人兼CEO盧卡·維雷(Luca Verre)先生的介紹,目前“基于事件”的神經擬態(tài)視覺技術已經落地于以下五大領域:
- 全球首個基于神經擬態(tài)視覺系統(tǒng)的座艙監(jiān)控技術
利用普諾飛思原視覺(MetaVision)傳感技術提供的時間數據,一家致力于駕駛監(jiān)控等技術研發(fā)的美國企業(yè)Xperi開發(fā)出了全球首個基于神經擬態(tài)視覺系統(tǒng)的駕駛員監(jiān)控解決方案(DMS)。
該方案可通過對駕駛員眼睛、表情的快速監(jiān)測,以及計數駕駛員的眨眼頻率,從而對他目光注視的情況進行監(jiān)測。具體來講,當駕駛員疲勞的時候,眨眼頻率和速度都會大大提高。傳統(tǒng)RGB攝像頭可以檢測到眨眼,但不能測算眨眼的速度。此外,駕駛員開車的時候,經常需要面對陽光,然后就會放一塊遮光板或是戴太陽鏡來遮陽,與此同時會形成眼部暗區(qū),傳統(tǒng)視覺方案在這個情況下,要么看不到眼睛,要么把臉部其他部位過爆。針對以上這些問題,DMS都能很好的解決。
- 基于事件的高級駕駛輔助系統(tǒng)
由高級駕駛輔助軟件開發(fā)商Terranet AB與梅賽德斯-奔馳共同開發(fā)的VoxelFlow傳感技術,采用了普諾飛思原視覺(MetaVision)傳感器,使自動駕駛汽車和ADAS系統(tǒng)能夠快速、準確地理解周圍的環(huán)境,增強現有雷達、激光雷達和攝像頭系統(tǒng)的性能,比如可掃描車輛半徑增加到40米,反應時間卻只要3ms。
具體來講,與第一個應用類似,在車上安裝三個基于事件的傳感器,還有一個激光柱,激光柱進行掃描,在掃的時候經常碰一個問題,即點不夠多,而且循環(huán)比較慢,此時普諾飛思的傳感器會追蹤激光柱的燈光,然后對掃描到內容進行3D建模,從而來分析前端路況的情況。
- 通過細胞實時無菌檢測實現的下一代細胞療法
標準的無菌檢測依舊參照幾十年前的微生物學的方法,通常需要7-14天來完成,這大大延遲了有關細胞治療的發(fā)展。但使用Cambridge Consultants和普諾飛思共同開發(fā)的自動化污染檢測系統(tǒng),則可以在ms級時間內進行反饋,這個系統(tǒng)用到了普諾飛思的原視覺(MetaVision)傳感器和AI模型。
值得一提的是,這個細胞療法在血站里沒太多用處,因為血站會用抗生素來除菌。自動化污染檢測系統(tǒng)的作用是在利用細胞作為介質生產的產品中尋找細菌和雜質,比如胰島素的制作。
- 首位失明患者借助光遺傳療法恢復部分視力
根據《自然-醫(yī)學》(Nature Medicine)的報道,GenSight和普諾飛思共同開發(fā)的GS030光遺傳療法,讓失明患者恢復了部分視力。
具體來講,GenSight所生產的護目鏡當中運用了普諾飛思的技術,可以通過失明人士視網膜中所植入的投光器對視覺系統(tǒng)進行光刺激,進而讓其恢復一部分的視覺功能。其中,普諾飛思設計的“硅視網膜(silicon retinas)”,能夠將信號發(fā)送給大腦進行處理,該技術可專門針對于一些晚期的視網膜色素變性的病例。
- 實時圖像去模糊,為傳統(tǒng)相機帶來巨大的提升
普諾飛思事件傳感器和傳統(tǒng)的傳感器結合起來,能夠改善手機拍照的質量,也就是所謂的計算攝影。
具體來講,對于智能手機來說,拍攝的質量是非常重要的。如果是傳統(tǒng)的基于幀的技術,拍照的時候會產生運動模糊的現象。事實上,防抖這個功能大家都在做,一般會借助于IMU,或者物理光學防抖。這種解決方案主要用來做自身防抖,當被拍物體由于移動速度過而快造成的模糊卻是非常難以解決。例如在拍攝奔跑的寵物這樣的場景中,如果燈光條件不是特別好,曝光時間一般會比較長,拍攝結果就會較為模糊。對于傳統(tǒng)RGB以圖像為基礎的技術來說,這是一個根本性的問題,因為這項技術主要是為了捕捉靜態(tài)的圖像而設計的,不是為了捕捉動態(tài)信息。如果將傳統(tǒng)的靜態(tài)的以幀為基礎的技術和普諾飛思以事件為基礎的技術相結合,就可以解決這個模糊問題,運用算法,甚至可以捕捉到時間分辨率為1μs的運動。
本輪融資會對普諾飛思產生那些影響?
首先,本輪投資者都是中國的機構,有助于普諾飛思擴展全球布局,深耕中國市場,進一步加強在中國的商業(yè)發(fā)展與資源積累,滿足市場與客戶不斷增長的需求,并在半導體、工業(yè)、機器人、物聯網和移動設備等關鍵生態(tài)領域建立更廣泛的合作關系。值得一提的是,小米和韋豪創(chuàng)芯的戰(zhàn)略參與,也為普諾飛思進入關鍵的移動設備和半導體領域提供了支持。
此外,基于本輪的融資合作,普諾飛思將加速下一代神經擬態(tài)視覺傳感技術的硬件和軟件產品的開發(fā)與商業(yè)化;針對新興市場規(guī)劃產品路線;完善基礎設施,支持運營及規(guī)模擴張。