Oculi的“軟件定義”視覺(jué)傳感器

在創(chuàng)立Oculi之前，Charbel Rizk是一名自動(dòng)系統(tǒng)設(shè)計(jì)師，他對(duì)市場(chǎng)上的計(jì)算機(jī)視覺(jué)系統(tǒng)感到失望。傳統(tǒng)的傳感器通常是為人類使用而設(shè)計(jì)的，會(huì)產(chǎn)生大量數(shù)據(jù)，導(dǎo)致系統(tǒng)需要更多帶寬，延遲也會(huì)增加。Rizk能否說(shuō)服其他系統(tǒng)設(shè)計(jì)者接受Oculi最初為實(shí)現(xiàn)自己的愿望清單而開(kāi)發(fā)的新視覺(jué)架構(gòu)呢？?

Baltimore的一家初創(chuàng)公司Oculi是約翰-霍普金斯大學(xué)研究團(tuán)隊(duì)的分支，該公司開(kāi)發(fā)出了一種視覺(jué)技術(shù)架構(gòu)，其中傳感和處理都位于像素級(jí)。該公司稱之為傳感與處理單元（SPU）。

Oculi創(chuàng)始人兼CEO Charbel Rizk說(shuō)：“我的主張是，我們將始終實(shí)現(xiàn)功耗、帶寬、延遲和最終成本最低的計(jì)算機(jī)視覺(jué)解決方案，并保護(hù)隱私?！?/p>

這是傳感與處理領(lǐng)域眾多玩家的大話題，他們都在廣泛的嵌入式系統(tǒng)中追求終極的AI解決方案。

SPU方法顛覆了機(jī)器視覺(jué)和成像傳感器市場(chǎng)數(shù)十年的慣例。

傳統(tǒng)供應(yīng)商競(jìng)相制造更高分辨率的傳感器，同時(shí)將更多數(shù)據(jù)傳輸到處理平臺(tái)。然后，系統(tǒng)供應(yīng)商獲取輸出，并在傳感器外部的處理器上運(yùn)行算法。這樣，系統(tǒng)就可以提取他們可以使用的信息。

這一過(guò)程導(dǎo)致了永無(wú)止境的百萬(wàn)像素競(jìng)爭(zhēng)，對(duì)從傳感器向感知模塊傳輸數(shù)據(jù)的帶寬的需求不斷增長(zhǎng)（導(dǎo)致延遲），以及最后為提高運(yùn)行更好或更強(qiáng)大算法所需的處理能力（從而帶來(lái)更大的功耗）而進(jìn)行的TFLOPS處理器競(jìng)賽。

而Oculi則承諾以極低的帶寬和延遲實(shí)現(xiàn)“實(shí)時(shí)視覺(jué)智能”。例如，Oculi的解決方案使用的帶寬僅為每秒千比特（而非千兆比特），延遲時(shí)間為微秒而非數(shù)十秒。這得益于SPU已經(jīng)在像素級(jí)處理傳感和處理。

不過(guò)，Oculi的SPU更為出眾的地方在于其可編程性。

傳感器可以通過(guò)軟件定義，提供一系列感測(cè)輸出選項(xiàng)。

Oculi的Rizk指出：“你可以像其他圖像傳感器一樣獲得全畫(huà)幅視頻。但你也可以開(kāi)始獲得越來(lái)越少的數(shù)據(jù)，包括我們所說(shuō)的‘可操作信息’或‘可操作信號(hào)’?！焙?jiǎn)而言之，SPU可以生成最少的數(shù)據(jù)，但有足夠的信息供系統(tǒng)根據(jù)這些數(shù)據(jù)采取行動(dòng)。

可編程性可持續(xù)實(shí)時(shí)提供。因此，任何使用SPU并需要為某些檢測(cè)提供更多信息的人，都可以調(diào)整設(shè)置來(lái)增加像素?cái)?shù)（從可操作信號(hào)到全幀），以及介于兩者之間的所有信息。

此外，Oculi的SPU還是獨(dú)立于傳感器的。Rizk介紹，它不僅可以與傳統(tǒng)的CMOS傳感器配合使用，還可以與紅外甚至深度/ToF傳感器配合使用?！拔覀冮_(kāi)發(fā)的架構(gòu)可以應(yīng)用于RGB、紅外或深度模式。我們開(kāi)發(fā)的架構(gòu)可以應(yīng)用于所有這些模式，我們已經(jīng)在實(shí)際的硬件原型中進(jìn)行了演示?！?/p>

Rizk 堅(jiān)持認(rèn)為，Oculi的目標(biāo)是簡(jiǎn)化機(jī)器視覺(jué)并提高其效率。

但是，在電子工業(yè)中，人們習(xí)慣于根據(jù)適合不同應(yīng)用的不同模式選擇不同的傳感器，而SPU所提供的多功能性和可編程性則是既新鮮又陌生的概念。
這就是Oculi的難題所在。

顛覆是要付出代價(jià)的??

很多初創(chuàng)公司都將業(yè)務(wù)建立在“新”技術(shù)上，這些技術(shù)聲稱能在現(xiàn)有公司已經(jīng)發(fā)揮重要作用的成熟、明確的細(xì)分市場(chǎng)中實(shí)現(xiàn)卓越性能。

一家初創(chuàng)公司的技術(shù)，其基本架構(gòu)與行業(yè)已知的技術(shù)大相徑庭，理應(yīng)被稱為“顛覆性”技術(shù)。

然而，顛覆是有代價(jià)的，會(huì)給初創(chuàng)公司的小型工程團(tuán)隊(duì)帶來(lái)巨大壓力。他們需要時(shí)間和資源，向市場(chǎng)闡明新技術(shù)能給產(chǎn)品帶來(lái)的優(yōu)勢(shì)和變化。

更困難的是，在花費(fèi)了大量精力教育市場(chǎng)之后，并不能保證潛在客戶會(huì)接受這種顛覆，更不用說(shuō)費(fèi)心想象他們?nèi)绾卧谧约旱挠布蜍浖?yīng)用中利用這種顛覆了。

Rizk承認(rèn)這一挑戰(zhàn)。不過(guò)，好消息是，SPU的性能改進(jìn)不是漸進(jìn)式的，而是實(shí)質(zhì)性的。Rizk聲稱：“與市場(chǎng)上最好的傳感器和最好的處理器相比，我們的性能有了顯著提高（延遲-能量提高了150倍到600多倍）。

這位CEO還補(bǔ)充說(shuō)：“對(duì)于任何需要保護(hù)隱私的應(yīng)用，目前唯一的選擇就是使用雷達(dá)或激光雷達(dá)，但這兩種設(shè)備都要昂貴、復(fù)雜得多，而且提供的視覺(jué)智能也很有限。SPU可以填補(bǔ)這一空白?！?/p>

三十年未解決的問(wèn)題??

Oculi是一家自信滿滿的公司，其基礎(chǔ)是Rizk及其團(tuán)隊(duì)在2019年創(chuàng)立Oculi之前在約翰霍普金斯大學(xué)進(jìn)行了長(zhǎng)達(dá)十八年的研究。

在介紹Oculi時(shí)，Rizk強(qiáng)調(diào)了自己幾十年來(lái)在計(jì)算機(jī)視覺(jué)系統(tǒng)方面遇到的挫折。三十多年前，在設(shè)計(jì)一架完全自動(dòng)的無(wú)人機(jī)時(shí)，“我無(wú)法將計(jì)算機(jī)視覺(jué)系統(tǒng)安裝在無(wú)人機(jī)上，因?yàn)楸M管攝像頭相對(duì)較小，但所需的處理量和功耗卻使其不切實(shí)際”。三十年后，Rizk說(shuō)：“我在約翰霍普金斯大學(xué)教我的學(xué)生如何做機(jī)器人。這些完全自動(dòng)的機(jī)器人實(shí)際上相對(duì)復(fù)雜。它們能完成很多任務(wù)。然而，它們卻沒(méi)有搭載視覺(jué)技術(shù)?！彼忉屨f(shuō)，問(wèn)題在于，盡管機(jī)器人的攝像頭本身體積小、價(jià)格便宜，但隨后的處理過(guò)程在成本和功耗方面都很昂貴。

三十年過(guò)去了，計(jì)算機(jī)視覺(jué)的挑戰(zhàn)依然存在?！坝?jì)算機(jī)視覺(jué)沒(méi)有意識(shí)到應(yīng)該聚焦在哪里，應(yīng)該尋找什么，應(yīng)該捕捉什么信息。因此，它捕捉了一切。這也阻礙了算法的實(shí)際發(fā)展。他們將更多的處理能力投入其中，與邊緣計(jì)算機(jī)視覺(jué)應(yīng)該做的事情背道而馳?！?/p>

Rizk的專業(yè)經(jīng)驗(yàn)涵蓋無(wú)人機(jī)、機(jī)器學(xué)習(xí)、傳感器融合和自動(dòng)感知，他一直是個(gè)“系統(tǒng)”專家。他曾在Rockwell Aerospace、McDonnell Douglas、Boeing和約翰霍普金斯大學(xué)應(yīng)用物理實(shí)驗(yàn)室做出過(guò)重要貢獻(xiàn)。

Rizk強(qiáng)調(diào)，SPU不是在真空中開(kāi)發(fā)出來(lái)的。他解釋說(shuō)，他的目標(biāo)始終是開(kāi)發(fā)機(jī)器視覺(jué)的最佳架構(gòu)（從光子到可執(zhí)行信號(hào)或眼睛+大腦），“也是完全可編程的”。

他說(shuō)：”傳感器上的智能是解決成像傳感器數(shù)據(jù)泛濫的必要條件，而數(shù)據(jù)泛濫是造成延遲、功耗和成本的罪魁禍?zhǔn)?。?/p>

但為什么要堅(jiān)持可編程性呢？

他說(shuō)，首先，他希望實(shí)現(xiàn)“動(dòng)態(tài)優(yōu)化”。沒(méi)有一個(gè)單一的、可重復(fù)的用例需要傳感器做同樣的事情。其次，他想讓一個(gè)硬件支持多個(gè)市場(chǎng)和產(chǎn)品。

幾年前汽車(chē)行業(yè)的經(jīng)歷就是一個(gè)很好的例子。Rizk說(shuō)：“汽車(chē)上的所有攝像頭都開(kāi)始出現(xiàn)LED閃爍的問(wèn)題，所有圖像傳感器供應(yīng)商都不得不回到繪圖板上，開(kāi)發(fā)具有閃爍緩解功能的新傳感器。在這方面，SPU的靈活性和可編程性可能會(huì)有所幫助。”他認(rèn)為，LED閃爍不可能是車(chē)廠面臨的最后一個(gè)問(wèn)題。

Prophesee與Oculi??

在SPU的動(dòng)態(tài)數(shù)據(jù)輸出中，事件觸發(fā)數(shù)據(jù)是其中之一。與Prophesee一樣，Oculi也采用了集成神經(jīng)形態(tài)傳感和處理技術(shù)。?

不過(guò)，Rizk堅(jiān)持認(rèn)為，將Oculi與Prophesee相提并論是一種誤導(dǎo)。他指出：“這是蘋(píng)果與香蕉的比較。”

也許是這樣，但分析界還是將Oculi歸入了事件傳感器公司一類。

Yole Intelligence全球半導(dǎo)體首席分析師Pierre Cambou稱Oculi的技術(shù)是“基于事件的傳感器，與Prophesee開(kāi)發(fā)的方法類似。但I(xiàn)P可能有所不同。

Yole Intelligence成像部高級(jí)技術(shù)與市場(chǎng)分析師Florian Domengie對(duì)此表示贊同。Oculi采用的事件模式原理與其他動(dòng)態(tài)視覺(jué)傳感器相同，“如果像素的光電流發(fā)生顯著變化，它就會(huì)輸出一個(gè)尖峰，整個(gè)像素可以獨(dú)立地、異步地點(diǎn)亮?！盌omengie補(bǔ)充說(shuō)，“這里的不同之處在于，Oculi的架構(gòu)可以部署在各種傳感器上，包括RGB、深度和類似Prophesee的基于事件的傳感器，具有像素級(jí)可編程處理功能。”

Prophesee的業(yè)務(wù)是推廣事件傳感器，而Oculi則側(cè)重于其SPU的可編程性或軟件定義方面。SPU提供一系列感測(cè)輸出，從全畫(huà)幅圖像（Prophesee沒(méi)有）和基于事件的數(shù)據(jù)，一直到Oculi的可操作信息和可操作信號(hào)。后兩種數(shù)據(jù)類型大幅減少，但仍保留了公司所需的信息系統(tǒng)，具體取決于應(yīng)用情況。

Rizk承認(rèn)，他一直在拉開(kāi)Oculi與事件傳感器的距離。他指出，盡管市場(chǎng)已經(jīng)意識(shí)到事件傳感器的重要性，但市場(chǎng)還未形成。在他看來(lái)，許多投資者和對(duì)該技術(shù)進(jìn)行過(guò)評(píng)估的人或多或少已經(jīng)到了幻想破滅的階段。

Rizk指出，當(dāng)Oculi被誤認(rèn)為是“另一家事件傳感器公司”時(shí)，它在融資和吸引客戶方面都遇到了困難。

幸運(yùn)的是，在Oculi推出之前，其技術(shù)開(kāi)發(fā)已經(jīng)獲得了4000萬(wàn)美元的支持。此后，Oculi又籌集了約450萬(wàn)美元。它已經(jīng)擁有了第一代SPU的真正硬件，由Global Foundries使用其55nm CMOS工藝技術(shù)制造。

Oculi的下一步

Oculi不僅展示了其SPU，還在各種應(yīng)用中進(jìn)行了概念驗(yàn)證，使其能夠展示SPU在許多計(jì)算機(jī)/機(jī)器視覺(jué)應(yīng)用中的不同之處。

這些應(yīng)用包括人員檢測(cè)、AR/VR和智能交通基礎(chǔ)設(shè)施。這些應(yīng)用甚至包括將“眼睛”（SPU）放置在目前不可能使用攝像頭的地方。Rizk解釋說(shuō)：“想想目前使用接近傳感器或運(yùn)動(dòng)傳感器的一些傳統(tǒng)應(yīng)用，比如經(jīng)常不打開(kāi)的水龍頭，以及對(duì)所有運(yùn)動(dòng)而不只是對(duì)人的接近做出反應(yīng)的自動(dòng)滑門(mén)。SPU可以增加情景感知功能，只提取必要的信息來(lái)觸發(fā)系統(tǒng)。”

Rizk說(shuō)：“現(xiàn)在有很多使用案例?！弊鳛橐患倚」荆覀儸F(xiàn)在面臨的挑戰(zhàn)只是如何選擇我們首先要關(guān)注的用例。有鑒于此，我們不能繼續(xù)與這么多公司共舞。”

Oculi迄今走過(guò)的道路并不平坦。但由于該公司看到了SPU可以進(jìn)入的大量應(yīng)用領(lǐng)域，CEO表示，Oculi將在未來(lái)幾周內(nèi)決定團(tuán)隊(duì)將重點(diǎn)關(guān)注的最初應(yīng)用領(lǐng)域。