-供需商情.jpg?orientation=landscape&width=800&height=600)
271
肇觀電子馮歆鵬親述Feynman深度相機背后的研發(fā)故事。
芯東西12月10報道，近日，國產(chǎn)視覺AI芯片公司肇觀電子推出了基于NE-D163A芯片的深度3D AI相機Feynman。NE-D163A芯片是肇觀電子在今年1月份推出的第二款D系列3D視覺芯片，具有高精度3D深度計算能力、支持200余種通用數(shù)學計算和較高的AI計算能力。
在這款芯片加持下，F(xiàn)eynman系列智能深度相機采用主動雙目視覺技術，在室內(nèi)外各種場景均能生成高幀率和高精度的深度圖，同時支持端側AI算法的部署，能夠幫助機器人、安防、AR/VR等行業(yè)的廠商實現(xiàn)精確定位、避障和分析等需求。芯東西采訪到了肇觀電子創(chuàng)始人兼CEO馮歆鵬，就Feynman相機研發(fā)背后的故事，以及肇觀電子對于智能深度相機賽道看法進行了深入地探討。
▲肇觀電子創(chuàng)始人兼CEO馮歆鵬
01.多部門協(xié)同，自主研發(fā)相機助力客戶AI落地
Feynman系列相機的誕生還要從NE-D163A芯片說起。該芯片具備高AI算力和高精度3D深度計算能力，支持200余種通用數(shù)學計算。簡單來說，NE-D163A芯片在機器人上，可以消除傳統(tǒng)近距離盲區(qū)，提供周邊障礙的位置和距離；在近距離的人臉識別中，假如被測人員張嘴，NE-D163A可以精確識別嘴內(nèi)外的深度不同。
▲肇觀電子NE-D163A視覺AI芯片
芯片很好，也滿足了機器人、AR/VR、安防、工業(yè)等不同行業(yè)的痛點。但是在AI視覺這一新的賽道，相應的模組廠商和系統(tǒng)廠商都不成熟，找上門的終端客戶需求也不盡相同。馮歆鵬稱：“市場的反饋是，有的客戶是有能力自己研發(fā)基于芯片的產(chǎn)品，有些客戶希望能拿到一個半成品（不光是提供芯片），有些客戶就希望拿到一個相機，然后進一步推動他們產(chǎn)品的研發(fā)。”
最終，為幫助終端客戶實現(xiàn)快速AI落地，肇觀電子決定自己做一款3D視覺+AI的智能深度相機。這個決定并不簡單，一款合格的智能深度相機除了芯片，還需要面對傳感器光路設計、軟硬件結合、平衡系統(tǒng)功耗等不同的挑戰(zhàn)?？梢哉f做一款智能深度相機，肇觀電子要打通一整條產(chǎn)業(yè)鏈，而上一個這么做的是家大業(yè)大的英特爾。就算是英特爾，最近也為了專注芯片制造等核心業(yè)務，正在縮減RealSense深度相機業(yè)務規(guī)模，甚至會關停其部門。
▲英特爾RealSense D435（左）與Feynman M1（右）
在產(chǎn)品之外，肇觀電子的客戶涉及各個不同的行業(yè)，僅機器人就既有用于內(nèi)蒙古強烈光照環(huán)境下的智能采集機器人，也有用于冷庫中的物流機器人，對環(huán)境要求可謂是天差地別。如何挖掘客戶需求進行精準地描述，最后加以解決是一個關鍵的挑戰(zhàn)。馮歆鵬透露，為了解決種種挑戰(zhàn)，肇觀電子動員了很多部門進行研發(fā)，最終在NE-D163A芯片的基礎上自主完成了算法、光路、硬件、軟件、結構、認證等各方面的設計研發(fā)。
02.自帶高算力AI芯片低成本、功耗產(chǎn)生高清深度圖
作為芯片公司的肇觀電子，最大化地發(fā)揮出了NE-D163A芯片的性能優(yōu)勢。NE-D163A芯片作為主控芯片，內(nèi)嵌幾何和深度引擎DEP、AI加速引擎NPU和視覺加速引擎DSP。在芯片的加持下，F(xiàn)eynman相機自帶1.2Tops INT8/0.6Tops FP16的AI算力和666 DMIPS的CPU運算性能，是業(yè)界唯一一款內(nèi)嵌AI和DSP擴展算力的深度相機。這對Feynman的部署起到了關鍵作用。
▲不同芯片跑經(jīng)典網(wǎng)絡模型每秒處理的圖片幀數(shù)對比
此前，終端客戶如果采用英特爾的RealSense相機，往往需要搭配i7系列的處理器。這種方案對最后終端產(chǎn)品的成本、功耗都不友好，還需要占用處理器帶寬，造成延遲等問題。相比之下，內(nèi)嵌高算力芯片的Feynman應用更加簡單，可以直接在端側處理視覺數(shù)據(jù)，無需外掛其他處理器，就可以產(chǎn)生性能高達720P 30FPS的深度圖。因此Feynman相機既不需要向后傳輸數(shù)據(jù)，也降低了終端產(chǎn)品的中控算力要求，對客戶來說部署成本和使用成本都更低。Feynman相機整體的功耗水平在2W-3.8W之間，根據(jù)所運行的AI模型大小不同有所浮動。同時，在最重要的圖像探測上，F(xiàn)eynman相機搭載了散斑結構光、雙目紅外攝像頭IR模組、彩色攝像頭RGB全局曝光模組以及慣性測量單元（IMU）等傳感器，能夠提供多維度的信息。
▲Feynman M1結構圖
這些傳感器并不是Feynman的探測極限。馮歆鵬強調(diào)，NE-D163A芯片支持當前雙目立體視覺、結構光、ToF（飛行時間傳感器）、激光雷達等各類傳感器，F(xiàn)eynman傳感器配置是在功能、性能、成本和功耗四個維度考量后決定的。
當前Feynman相機的傳感器可以最大化的滿足客戶需求，實現(xiàn)如在障礙物到相機僅有10cm的距離下仍能準確分辨等功能。如果客戶需要使用其他類型的傳感器，F(xiàn)eynman相機也能夠滿足需求。實測數(shù)據(jù)顯示，F(xiàn)eynman的空洞率僅為0.2%，而同一環(huán)境下英特爾的RealSense空洞率在1%左右，這意味著Feynman相機采集到空間位置的有效信息更多。同時，F(xiàn)eynman的深度圖具有90°對角的廣角視場，比常規(guī)深度相機的視野更廣。
▲Feynman M1深度圖效果
最重要的一點則是，肇觀電子對Feynman相機的研發(fā)目標就是適應所有他們見過的場景，這里面就包括前文提到的內(nèi)蒙古10萬流明光照環(huán)境、冷庫中低溫環(huán)境和黑暗環(huán)境等。為此，肇觀電子在Feynman相機內(nèi)部的光路設計上花費了不少心思，使其能夠精確地控制補光和傳感器曝光。結合NE-D163A芯片的自學習ISP流水線架構，F(xiàn)eynman相機在各種復雜光照環(huán)境下均能獲得優(yōu)質(zhì)的圖像。
▲不同光照環(huán)境下的圖像處理對比圖
03.提供高效軟件工具鏈可部署差異化算法
對于智能深度相機這一賽道，馮歆鵬表示看好。從技術發(fā)展來看，工廠的高度自動化、萬物智聯(lián)的發(fā)展趨勢是必然的。在這樣的大趨勢下，智能設備需要具備視覺能力，甚至要讓智能設備自己看懂世界。這一宏偉藍圖的關鍵，就是視覺系統(tǒng)，也就是智能深度相機。假設全球人口繼續(xù)增長，每個人周邊的智能設備也會越來越多，而這些智能設備都需要具備視覺能力，所以肇觀電子對這一賽道的市場前景十分看好?，F(xiàn)實來講，肇觀電子已經(jīng)看到數(shù)十家Feynman相機的潛在客戶。為了讓Feynman相機應用于各個客戶，肇觀電子提供了Windows、Android、Linux的驅(qū)動SDK，客戶通過中控直接加載就可實現(xiàn)通信，完成對Feynman相機的部署。
▲Feynman相機對各平臺SDK的支持
對于需要利用端側AI和DSP算力的產(chǎn)品和深度定制的客戶，肇觀電子則有一套InferStudio™工具鏈?？蛻艨梢酝ㄟ^InferStudio™將自己的神經(jīng)網(wǎng)絡翻譯成一個鏡像文件，以提供給Feynman相機使用。在整個采訪中，馮歆鵬談到了很多次Feynman相機在研發(fā)和落地過程中的挑戰(zhàn)和困難，有一部分原因是AI芯片產(chǎn)業(yè)鏈并不完善。
作為芯片公司的肇觀電子在Feynman相機的研發(fā)過程中，同時扮演了模組廠商、系統(tǒng)廠商的角色。相比賣芯片，基于NE-D163A芯片研制Feynman當然挑戰(zhàn)的環(huán)節(jié)更多，但在馮歆鵬看來，這是肇觀電子參與產(chǎn)業(yè)鏈塑形的一個過程，能夠幫助更多地客戶找到AI落地的正確路徑和方法，有著更為實際的意義。
04.結語：肇觀電子參與產(chǎn)業(yè)鏈構建解答AI落地挑戰(zhàn)
AI將改變各行各業(yè)已成為產(chǎn)業(yè)共識，但由于產(chǎn)業(yè)鏈不成熟使得AI落地需要花很大力氣；如何破解AI落地難的問題一直在困擾整個人工智能行業(yè)。對于很多AI芯片玩家的創(chuàng)始人，一方面他們有著深厚的芯片從業(yè)經(jīng)歷，另一方面卻要面對產(chǎn)業(yè)鏈并不完整的新問題。肇觀電子作為AI芯片賽道的參與者，親身參與了產(chǎn)業(yè)鏈的構建，F(xiàn)eynman相機也是他們對于行業(yè)挑戰(zhàn)所提交的一份答卷，結果如何值得行業(yè)期待。
作者 | 高歌
編輯 | 漠影
