近十多年來,圖像傳感器和視覺類產(chǎn)品的應(yīng)用迅速擴(kuò)展,從安防監(jiān)控到消費類機(jī)器視覺,視覺應(yīng)用越來越廣泛。同時,神經(jīng)網(wǎng)絡(luò)與AI算法的發(fā)展也極為迅速,視覺與AI的結(jié)合在各行各業(yè)中催生了眾多應(yīng)用場景。日前,在E維智庫第12屆中國硬科技產(chǎn)業(yè)鏈創(chuàng)新趨勢峰會暨百家媒體論壇上,飛凌微首席執(zhí)行官兼思特威副總裁邵科深入探討了端側(cè)視覺處理芯片及其與圖像傳感器在車載應(yīng)用中的融合方案。
當(dāng)前,越來越多的應(yīng)用場景正在導(dǎo)入端側(cè)AI處理。邵科表示,AI的應(yīng)用場景可以分為三類:云端處理、本地中央計算處理,以及直接在端側(cè)處理。端側(cè)處理的優(yōu)勢在于減少了數(shù)據(jù)傳輸的延時,提高了可靠性,并有效解決了數(shù)據(jù)安全與隱私保護(hù)的問題,尤其在車載艙內(nèi)視覺應(yīng)用等特定領(lǐng)域更具優(yōu)勢。
隨著智能汽車的發(fā)展,視覺傳感器在車輛中的應(yīng)用越來越廣泛,從360度環(huán)視到ADAS輔助系統(tǒng),再到艙內(nèi)監(jiān)控,都發(fā)揮著重要作用。隨著應(yīng)用落地的增多,對攝像頭的規(guī)格要求也越來越高,包括更高的分辨率、更好的成像性能以及多攝像頭的組合使用。這些需求推動了對圖像處理性能和處理性能的要求。
邵科介紹了飛凌微在端側(cè)處理領(lǐng)域的最新成果——M1智能視覺處理芯片系列,該系列芯片能夠在端側(cè)進(jìn)行高性能的圖像處理或視覺預(yù)處理,為整個系統(tǒng)的高效落地提供有力支持。M1系列包含三款產(chǎn)品,其中一款是針對車載應(yīng)用的高性能ISP,另外兩款是用于車載端側(cè)視覺感知預(yù)處理的輕量級SoC。這些芯片采用業(yè)內(nèi)最小的BGA 7mm*7mm封裝,有助于實現(xiàn)更小巧的模組設(shè)計,便于在車載環(huán)境中應(yīng)用。
作為一款高性能的ISP(圖像信號處理)芯片,M1能夠處理高達(dá)800萬像素的圖像數(shù)據(jù)或同時處理兩顆300萬像素的圖像數(shù)據(jù)。得益于飛凌微多年自研的ISP技術(shù),M1在高動態(tài)范圍和暗光性能上表現(xiàn)卓越。高動態(tài)范圍確保了在強(qiáng)光和弱光環(huán)境下都能獲得清晰的圖像,而優(yōu)秀的暗光性能則讓夜間駕駛或停車時也能清晰查看周圍環(huán)境。
為了進(jìn)一步增強(qiáng)處理能力,飛凌微在M1的基礎(chǔ)上加入了輕量級的CPU和NPU(神經(jīng)網(wǎng)絡(luò)處理單元),實現(xiàn)了圖像處理和輕量級AI應(yīng)用的并行處理。例如,人臉識別和姿態(tài)識別等AI功能現(xiàn)在可以在端側(cè)系統(tǒng)中直接完成。此外,為了滿足不同應(yīng)用的需求,飛凌微還推出了M1Max,其算力資源是M1Pro的兩倍,能夠處理更多數(shù)據(jù),支持更豐富的應(yīng)用場景。
M1系列芯片適用于車載ADAS、影像類產(chǎn)品,以及新法規(guī)要求的后視鏡等領(lǐng)域。據(jù)邵科介紹,目前,M1系列已經(jīng)實現(xiàn)了多個落地場景。
首先是車內(nèi)的DMS(駕駛員監(jiān)控系統(tǒng)),該系統(tǒng)能夠監(jiān)測駕駛員的疲勞和聲音狀態(tài),為駕駛安全提供重要保障。隨著輔助駕駛技術(shù)的發(fā)展,L2或L3級別的輔助駕駛都需要駕駛員的監(jiān)管,而DMS正是實現(xiàn)這一功能的關(guān)鍵。飛凌微的方案通過集成化的方式,在新勢力車型中輕松實現(xiàn)駕駛員監(jiān)控功能;同時,針對資源有限的車型,飛凌微也在端側(cè)實現(xiàn)了該功能,只需替換原有模組即可集成新功能。
除了DMS外,飛凌微還推出了OMS(乘客監(jiān)控系統(tǒng)),該系統(tǒng)原本主要用于商用車和運營車輛的乘客狀態(tài)監(jiān)控,但現(xiàn)在也擴(kuò)展到了拍照、視頻應(yīng)用以及手勢識別等更多感知應(yīng)用。為了滿足這些新需求,飛凌微提供了能夠同時輸出RGB彩色圖像和近紅外圖像的500萬像素圖像傳感器,結(jié)合M1形成了一套完整的模組方案。
在電子后視鏡方面,相比傳統(tǒng)后視鏡,電子后視鏡在暗光環(huán)境下具有更好的夜視性能。去年開始,電子后視鏡已經(jīng)得到法規(guī)的認(rèn)可,可以替換現(xiàn)有物理鏡子。飛凌微的方案通過高性能ISP和圖像傳感器的組合,實現(xiàn)了更好的成像效果。
飛凌微還在后視攝像頭上加入了識別算法,實現(xiàn)了行人和物體的檢測功能,避免了潛在的安全隱患。這種輕量化的應(yīng)用方案通過圖像傳感器和端側(cè)SoC的組合,在模組端就能實現(xiàn)。
作為思特威的全新子品牌和子公司,飛凌微致力于結(jié)合思特威在圖像傳感器技術(shù)和市場上的優(yōu)勢,通過數(shù)字SoC實現(xiàn)更好的方案融合。
新一代端側(cè)SoC與感知融合方案對于推動車載智能視覺升級的重要意義。邵科表示,飛凌微的M1系列芯片以其卓越的性能和創(chuàng)新的設(shè)計,為車載視覺處理帶來了革命性的突破,有望在未來的智能汽車發(fā)展中發(fā)揮關(guān)鍵作用。
除了車載應(yīng)用外,飛凌微的技術(shù)還廣泛應(yīng)用于工業(yè)自動化、智能家居等領(lǐng)域。未來,該公司將繼續(xù)開發(fā)新的SoC產(chǎn)品,與圖像傳感器更緊密地結(jié)合,推動端側(cè)應(yīng)用在各行各業(yè)的落地。