沖破三星、索尼的銅墻鐵壁，從事件相機(jī)說起

視覺傳感巨頭切入事件相機(jī)。

智能手機(jī)間的競(jìng)爭已經(jīng)變成了拍攝能力的競(jìng)爭。

主要體現(xiàn)在兩個(gè)方面，一是攝像頭數(shù)量疊加，手機(jī)廠商自研圖像處理芯片，甚至同傳統(tǒng)鏡頭廠商合作；二是CMOS 圖像傳感器（CIS）的市場(chǎng)增長，據(jù) Yole Développement 報(bào)告顯示，2020 年 CIS 應(yīng)用領(lǐng)域手機(jī)占比高到 68%。

CMOS 圖像傳感器相當(dāng)于機(jī)器的眼睛，將光信號(hào)轉(zhuǎn)變?yōu)?a class="article-link" target="_blank" href="/baike/1546930.html">數(shù)字信號(hào)，供機(jī)器“觀看”，是實(shí)現(xiàn)手機(jī)拍照功能的關(guān)鍵元器件，性能好壞直接影響攝影質(zhì)量，其成本占據(jù)整個(gè)攝像頭模組的 52%，同時(shí)也被廣泛應(yīng)用在安防、工業(yè)、汽車等領(lǐng)域。

正因如此，在半導(dǎo)體領(lǐng)域，CIS 被視為細(xì)分領(lǐng)域的一塊大蛋糕。據(jù) Yole Développement 報(bào)告預(yù)測(cè)，到 2026 年，CIS 市場(chǎng)規(guī)模將達(dá)到 315 億美元（約 2040.22 億元人民幣）。

盡管市場(chǎng)很大，但長期以來傳統(tǒng)傳感器市場(chǎng)基本被三星、索尼和豪威三家分食，初創(chuàng)企業(yè)難有機(jī)會(huì)沖破桎梏進(jìn)入市場(chǎng)。不過難有機(jī)會(huì)不等于沒有機(jī)會(huì)，視覺芯片技術(shù)仍在演進(jìn)，機(jī)器視覺仍有難題未解。

近日，國內(nèi)新銳企業(yè)銳思智芯發(fā)布了一款仿生視覺傳感器芯片——ALPIX -Pilatus芯片(簡稱ALPIX-P)，這一款芯片不僅與三星、索尼站在同一起跑線上，憑借其核心技術(shù)優(yōu)勢(shì)，未來很有可能打破三星、索尼等大廠在視覺傳感領(lǐng)域的銅墻鐵壁，為行業(yè)帶來更多選擇。

銳思智芯 ALPIX -Pilatus?融合仿生視覺傳感器芯片

CIS 之后，巨頭入局事件相機(jī)

一個(gè)月前，索尼半導(dǎo)體發(fā)布了兩款全新的視覺傳感器芯片，與傳統(tǒng) CIS 不同，這兩款傳感器芯片被稱之為堆疊式事件監(jiān)測(cè)視覺傳感器（EVS, Event-based Vision Sensor）。后者仿照人眼視網(wǎng)膜的工作原理，每個(gè)像素都相當(dāng)于一個(gè)視網(wǎng)膜細(xì)胞，獨(dú)立工作，且只對(duì)變化敏感，也被稱之為事件相機(jī)。

不僅僅是索尼，三星也開發(fā)了系列芯片，入局事件相機(jī)行業(yè)。

回顧圖像傳感器的發(fā)展，最初是以高像素、高制造難度的 CCD 器件為主流，日本公司扛大旗，直到 1995 年，幾位華人留學(xué)生在硅谷創(chuàng)辦了豪威，將傳統(tǒng)的 CMOS 工藝用在圖像傳感器中，取代 CCD，就此打破日企壟斷格局。

CMOS 最終得以取代 CCD 的原因眾多，一方面 CMOS 雖然成像質(zhì)量較 CCD 差，但功耗和成本降低，適合消費(fèi)電子市場(chǎng)，另一方面，豪威切入蘋果供應(yīng)鏈，加速了 CMOS 對(duì) CCD 的替代。

據(jù)市場(chǎng)調(diào)研機(jī)構(gòu) Strategy Analytics報(bào)告顯示，豪威、索尼、三星在視覺傳感器的市場(chǎng)占有率達(dá)80%以上。CMOS 技術(shù)保持傳感器市場(chǎng)主旋律的同時(shí),規(guī)模也在不斷增長。

既然 CMOS 火爆至今，那么視覺傳感器巨頭們?yōu)楹芜€要切入事件相機(jī)呢？

原因有二，一是 AI 與 CIS 集成是未來趨勢(shì)，二是傳統(tǒng) CMOS 只適用于拍攝人眼觀看靜態(tài)圖片，在機(jī)器視覺方面，則依然面臨眾多痛點(diǎn)。

銳思智芯創(chuàng)始人兼 CEO 鄧堅(jiān)告訴雷鋒網(wǎng)，傳統(tǒng)機(jī)器視覺面臨四大痛點(diǎn)：運(yùn)動(dòng)捕捉差、數(shù)據(jù)冗余大、功耗高、環(huán)境適應(yīng)力差。

這主要是因?yàn)?CIS 本身的工作原理造成的。CIS 主要是對(duì)光電流進(jìn)行時(shí)間上的積分來實(shí)現(xiàn)曝光，而從曝光到數(shù)模轉(zhuǎn)化再到數(shù)據(jù)的傳輸耗時(shí)長，時(shí)間越長意味著能耗越高，同時(shí)圖像的幀率也會(huì)降低。幀與幀之間的間隔時(shí)間長造成信息缺失，從而增加了機(jī)器對(duì)圖像的判斷難度。

同時(shí)，CIS 輸出的是 8-12 bit 信息，數(shù)據(jù)傳輸量大、能耗高，讀取慢，存儲(chǔ)空間需求大且處理圖像耗能高。

“CIS 也嘗試解決這些痛點(diǎn)問題，但基于其通過快門控制所有像素在同一時(shí)間內(nèi)進(jìn)行積分曝光的工作原理，其幀率、數(shù)據(jù)量和動(dòng)態(tài)范圍三個(gè)參數(shù)難以平衡。”鄧堅(jiān)解釋道。例如在高動(dòng)態(tài)范圍的拍攝中，常常使用多重曝光算法，即融合多個(gè)不同曝光時(shí)間的幀圖像而成高動(dòng)態(tài)范圍的圖像，必然導(dǎo)致幀率下降，更多的數(shù)據(jù)運(yùn)算和更大的系統(tǒng)延時(shí)，在要求短響應(yīng)時(shí)間和捕捉快速變化的場(chǎng)景中無法適用。

仿生視覺傳感器與傳統(tǒng)CIS傳感器參數(shù)對(duì)比

基于不同的工作原理，事件相機(jī)則能過打破 CIS 在機(jī)器視覺上的限制。鄧堅(jiān)表示，事件相機(jī)模仿人眼的工作原理，每個(gè)像素都像神經(jīng)細(xì)胞一樣獨(dú)立工作，獨(dú)立連續(xù)地感知光的變化，并將光的變化轉(zhuǎn)換為數(shù)字脈沖信號(hào)，若光強(qiáng)無變化則不輸出。

“總結(jié)起來，事件相機(jī)具有速度快、數(shù)據(jù)量少、功耗低和動(dòng)態(tài)范圍大的特點(diǎn)，與當(dāng)下機(jī)器視覺面臨的痛點(diǎn)一一對(duì)應(yīng)。”鄧堅(jiān)說道。

國內(nèi)唯一事件相機(jī)獨(dú)立創(chuàng)企，核心技術(shù)領(lǐng)先索尼、三星

正是因?yàn)槭录鄼C(jī)能夠解決傳統(tǒng) CIS 無法解決的難題，三星、索尼等視覺傳感器大廠紛紛入局仿人眼視網(wǎng)膜的機(jī)器視覺傳感器。

據(jù)鄧堅(jiān)介紹，由于仿生視覺技術(shù)起源于瑞士，目前主要的技術(shù)團(tuán)隊(duì)主要集中在國外，包括法國的 Prophesee、瑞士的 insightness 和 inivation，其中瑞士的兩家公司已經(jīng)分別被索尼和三星收購，國內(nèi)除了銳思智芯外，上海芯侖光電也涉足仿生視覺技術(shù)，不過目前芯侖光電已經(jīng)被韋爾股份收購。

“在事件相機(jī)領(lǐng)域，銳思智芯是目前國內(nèi)唯一一家獨(dú)立的創(chuàng)企?！编噲?jiān)說道。

雖然是在國內(nèi)創(chuàng)業(yè)，但與其他幾個(gè)事件相機(jī)公司類似，銳思智芯核心團(tuán)隊(duì)來自瑞士，核心成員曾從事過各類高端傳感器研發(fā)，如高端圖像傳感器、ToF、X ray、神經(jīng)元信號(hào)探測(cè)芯片等。銳思智芯成立至今不到3年時(shí)間，不過其核心團(tuán)隊(duì)最早于 2014 年參加瑞士國家基金會(huì)項(xiàng)目，設(shè)計(jì)一款植入盲人眼球的仿視網(wǎng)膜芯片，就已經(jīng)進(jìn)入仿生視覺領(lǐng)域。

融資方面，今年初，銳思智芯完成近億元 Per-A 輪融資，由?？低暫鸵举Y本聯(lián)合領(lǐng)投，訊飛創(chuàng)投、舜宇中央研究院、全志科技、追遠(yuǎn)創(chuàng)投、同創(chuàng)偉業(yè)跟投，老股東聯(lián)想創(chuàng)投、中科創(chuàng)星繼續(xù)加注。

值得一提的是，銳思智芯擁有獨(dú)有的核心技術(shù)，從一開始就同索尼、三星等形成差異化格局。

“為何發(fā)展了 6 年多的事件相機(jī)，至今依然活躍在工業(yè)測(cè)振領(lǐng)域，而在消費(fèi)電子領(lǐng)域不見其身影？”鄧堅(jiān)說：“市面上現(xiàn)有的事件相機(jī)技術(shù)理念和方式還是基于二十年前的技術(shù)，導(dǎo)致最終設(shè)計(jì)制造的芯片功能受限，適用范圍并不廣泛。”

事實(shí)上，在真實(shí)拍攝場(chǎng)景中，機(jī)器視覺既需要事件信號(hào)做快速的預(yù)判，也需要圖像信號(hào)做精細(xì)的判斷或重建，因此既需要事件相機(jī)捕捉動(dòng)態(tài)信息，也需要傳統(tǒng) CIS 呈現(xiàn)細(xì)節(jié)豐富的靜態(tài)信息。

“現(xiàn)有的事件相機(jī)，由于其底層設(shè)計(jì)還是沿用比較傳統(tǒng)的方式，存在一些問題，難以兼容輸出圖像信號(hào)，并且像素尺寸大，噪聲大?！编噲?jiān)說。

正因如此，銳思智芯將仿生事件相機(jī)功能和 CIS 功能在像素層面融合，用一顆攝像頭代替兩顆攝像頭，同一個(gè)像素中放置兩套電路，一套用于生成事件信號(hào)，一套用于輸出圖像信號(hào)。這一技術(shù)，被銳思智芯命名為 Hybrid Vision 融合式仿生視覺技術(shù)。

Hybrid Vision 融合式仿生視覺技術(shù)原理

不過由于一個(gè)像素內(nèi)電路數(shù)量是傳統(tǒng) CIS 的十倍，設(shè)計(jì)難度也大大增加，同時(shí)也可能導(dǎo)致設(shè)計(jì)出的芯片像素面積大。

為解決這一問題，銳思智芯采用先進(jìn)的 3D 堆疊工藝，將像素感光部分和圖像信號(hào)輸出電路放置上層晶圓，事件信號(hào)輸出電路放置下層晶圓，然后通過銅互連技術(shù)將上下層晶圓的電路在每個(gè)像素上對(duì)應(yīng)連接，既能大幅度減小像素尺寸，又能隔離不同電路之間的信號(hào)串?dāng)_，降低噪聲。

進(jìn)軍消費(fèi)電子，預(yù)計(jì)明年年中出貨

基于獨(dú)有的核心技術(shù)，銳思智芯設(shè)計(jì)出 ALPIX 系列芯片產(chǎn)品，目前ALPIX-P正式發(fā)布。

據(jù)銳思智芯介紹，最新公布的 ALPIX-P，可以在傳統(tǒng)圖像傳感器模式和仿生事件相機(jī)模式間快速切換。在圖像模式下，ALPIX-P是一款最高幀率為120幀的全局曝光傳感器，與現(xiàn)有的傳統(tǒng)圖像傳感器完全一致，與現(xiàn)有成熟的視覺系統(tǒng)完全兼容。在仿生事件相機(jī)模式下，ALPIX-P具有超高幀率，高有效信息占比，大動(dòng)態(tài)范圍的特點(diǎn)。預(yù)計(jì)到明年，將在VIoT領(lǐng)域落地。

不過低功耗的 IoT 領(lǐng)域并不是銳思智芯的全部市場(chǎng)目標(biāo)，其計(jì)劃于今年年底發(fā)布的 ALPIX-Eiger，就適用于超高畫質(zhì)拍攝的小型相機(jī)設(shè)備，如手機(jī)、安防攝像頭等。銳思智芯稱，該款芯片將進(jìn)一步縮小像素尺寸，提升分辨率。

“事實(shí)上，現(xiàn)階段我們想的不是如何去顛覆視覺傳感器行業(yè)，只是想盡量滿足市場(chǎng)需求空白，作為初創(chuàng)公司，我們會(huì)腳踏實(shí)地，早期先聚焦于 VIoT 領(lǐng)域，未來將擴(kuò)展至汽車和消費(fèi)電子領(lǐng)域?！编噲?jiān)說道。

作者 | 吳優(yōu)

編輯 | 李帥飛