AI替代傳統(tǒng)ISP的Plan B，誰將成為隱形冠軍？

當(dāng)前，隨著數(shù)據(jù)呈指數(shù)級增長，數(shù)字技術(shù)也在不斷迭代創(chuàng)新，在這樣的背景下，智能化管理已成為引領(lǐng)城市未來發(fā)展的重點(diǎn)方向。為了提升城市管理效力，智慧城市的發(fā)展正在以一種不可逆的勢態(tài)迅速蔓延至城市生活的各個角落。

而建設(shè)智慧城市，一方面需要通過實(shí)時的高清攝像頭來收集數(shù)據(jù)信息，另一方面，需要傳感器將這些信息盡量完整清晰的保存輸出，以供城市大腦進(jìn)行全局實(shí)時分析，從而利用可靠的數(shù)據(jù)優(yōu)化調(diào)配公共資源。

但由于鏡頭和傳感器的物理缺陷以及拍攝環(huán)境的多樣性，傳感器輸出的原始數(shù)據(jù)和人類預(yù)期的圖像有巨大差異，因此ISP就起到了相當(dāng)重要的作用。而隨著時間的推移，大眾對于影像追求不斷提高，ISP芯片也變得越來越有存在感。不管是CMOS、獨(dú)立ISP、AI芯片還是手機(jī)SoC廠商，都在爭奪ISP的制高點(diǎn)。

這似乎在告訴我們，未來的視覺處理是離不開ISP的。但近日卻有一種聲音：當(dāng)AI高度發(fā)達(dá)后就不需要ISP了，真的是這樣嗎？

首先我們來了解一下，什么是ISP？ISP是英文Image Signal Processor的縮寫，中文譯為圖像信號處理器。它的作用是將來自前端圖像傳感器采集到原始圖像數(shù)據(jù)（Raw Data）作為處理對象，通過噪聲處理、色彩校正、明暗度調(diào)整等處理，對不同光照條件下的現(xiàn)場細(xì)節(jié)進(jìn)行還原，從而生成后端所需要的圖像，也就是“翻譯”成人眼可以看懂并且更好看的圖像。

圖 | ISP工作原理（圖源：知網(wǎng)）

從軟硬件組成上來看，ISP芯片一般由控制單元和基本的ISP算法組成，其中ISP算法集中在ISP pipeline中。ISP芯片在圖像處理過程中，大體上都會遵循三個域（Bayer域、RGB域和YUV域）的基本劃分以及走向，包括：壞點(diǎn)校正DPC、黑電平校正BLC、降噪NR、鏡頭陰影校正LSC、自動白平衡AWE、去馬賽克Demosaic、色彩校正CCM、自動曝光AE、伽馬校正GC、銳化Sharpening、色彩空間轉(zhuǎn)化CSM以及壓縮Compression等模塊。至于具體型號的ISP芯片，在圖像處理上面的順序會根據(jù)各個設(shè)計公司不同的技術(shù)和應(yīng)用側(cè)重而各有差異。

圖 | ISP芯片常規(guī)圖像處理流程（圖源：知網(wǎng)）

了解了ISP，接下來我們來講講AI，以及AI和ISP之間的關(guān)系。那么什么是AI呢？AI是英文Artificial Intelligence的縮寫，中文譯為人工智能。用美國麻省理工學(xué)院溫斯頓教授的話來講，“AI就是研究如何使計算機(jī)去做過去只有人才能做的智能工作。”

而在圖像處理領(lǐng)域，AI算法比如遺傳算法、蟻群算法、模擬退火算法和粒子群算法等，已經(jīng)在圖像邊緣檢測、圖像分割、圖像識別、圖像匹配和圖像分類等領(lǐng)域有著廣泛的應(yīng)用。所以有人認(rèn)為AI同樣可以替代傳統(tǒng)ISP來實(shí)現(xiàn)更好、更智能的圖像處理，而英特爾實(shí)驗(yàn)室發(fā)表的論文《Learning to see in the dark》也在某種程度上論證了通過整個神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)ISP的全部功能的可能性。

但理論是一回事兒，實(shí)現(xiàn)又是另外一回事兒。通過AI實(shí)現(xiàn)ISP的全部功能，意味著要用AI來實(shí)現(xiàn)端到端（end to end）的ISP pipeline，甚至跳過ISP，直接對從傳感器輸出的RAW圖進(jìn)行AI的高級視覺處理。這無疑會大大提升AI高級視覺算法的難度，同時也將形成對算力的大考。至少就目前的技術(shù)水平來看，用全AI來實(shí)現(xiàn)ISP或者直接用高級AI視覺算法來實(shí)現(xiàn)RAW圖的預(yù)處理是不成熟的。

細(xì)心的小伙伴可能又要問了，“目前的技術(shù)水平達(dá)不到，但前面命題的前提是AI技術(shù)高度發(fā)達(dá)啊。”從理論的角度來講，確實(shí)有這種可能性。但是技術(shù)路線的演進(jìn)往往也是資本市場的推動，我們不得不承認(rèn)目前ISP在圖像標(biāo)定、去畸變、雙目相機(jī)圖像調(diào)整等方向上存在時間市場優(yōu)勢，要讓資本決策者放棄諸多成熟算法的多步分類處理，來從頭推動全AI一步化圖像處理存在難度。

所以說，AI還不能完全拋棄傳統(tǒng)的ISP技術(shù)，但這不影響AI和ISP進(jìn)行結(jié)合。眾所周知，每個ISP項(xiàng)目在交付前都需要根據(jù)不同的模組和客戶需求進(jìn)行大量的調(diào)試工作，可能需要幾十個人團(tuán)隊(duì)工作幾個月。但在今天，人們對手機(jī)、相機(jī)等設(shè)備中圖像和視頻畫質(zhì)的提升追求已經(jīng)沒有上線，所以傳統(tǒng)ISP廠商總在不停地投入，哪怕提高那么一點(diǎn)點(diǎn)，也是相較于競對廠商的差異化優(yōu)勢。但是對于ISP技術(shù)本身來講，傳統(tǒng)的ISP作為SoC中負(fù)責(zé)畫質(zhì)處理和提升的主要單元，與其配套使用的鏡頭和傳感器在物理學(xué)上已經(jīng)接近極限，在ISP處理過程中，尤其是暗光和高動態(tài)場景，圖像失真和信息損失不可避免，因此整體技術(shù)已經(jīng)觸及“天花板”。而用AI+ISP的方案可以大大提升成像畫質(zhì)，所以在一定程度上來說，用AI賦能ISP將成為未來的風(fēng)口技術(shù)。

那么將AI引入ISP到底怎么個引法呢？這就涉及到時下非?；鸬囊粋€名詞“AI ISP”了。

根據(jù)CSDN上一位有著十幾年ISP從業(yè)經(jīng)驗(yàn)的研發(fā)人員的描述，“AI可以用于評判圖像質(zhì)量，可以代替?zhèn)鹘y(tǒng)ISP的一些block，也可以把一個不可微的系統(tǒng)轉(zhuǎn)換成可微的系統(tǒng)，從而提高優(yōu)化的速度。”這些都是AI ISP大有可為的地方。但他也強(qiáng)調(diào)了AI ISP的難度，他認(rèn)為目前的AI不能拋開ISP，所以AI ISP不可能減少原來的研發(fā)復(fù)雜度。

而對于研發(fā)難度一說，愛芯元智ISP負(fù)責(zé)人、系統(tǒng)架構(gòu)師張興則表示：“AI ISP的研究不只是幾種指令的簡單算法效果研究，而是包括提供算法、 大算力和復(fù)合精度的NPU、聯(lián)合設(shè)計下的內(nèi)存使用及模塊間通信、以及AI ISP在實(shí)踐中所需要的完整工具鏈和交付方案，都是整個AI ISP能否真正投入商用的關(guān)鍵，所以AI ISP并非芯片行業(yè)中單一的算法研究，而是對芯片系統(tǒng)性能的研究。”

既然AI ISP研發(fā)難度這么高，那么目前是否已經(jīng)有量產(chǎn)產(chǎn)品面世了呢？據(jù)悉，前面提到的愛芯元智是第一家將AI ISP落地到實(shí)際應(yīng)用領(lǐng)域的公司，其第一代自研NPU芯片AX630A已實(shí)現(xiàn)量產(chǎn)，第二代NPU芯片AX620A也已經(jīng)于2021年7月成功點(diǎn)亮，除了這款應(yīng)用于智慧城市中的產(chǎn)品，愛芯元智針對消費(fèi)領(lǐng)域的AX170A也成功落地，且表現(xiàn)卓越。

圖 | AX620A實(shí)物圖

據(jù)了解，愛芯元智適用于智慧城市的AX620A是一款高算力、高能效比、低功耗的AI SoC芯片，集成了四核Cortex A7 CPU、自研AI ISP和混合精度NPU，能夠?yàn)橛脩籼峁└鼉?yōu)質(zhì)的畫質(zhì)和更易用的NPU工具鏈。

在性能方面，AX620A具有14.4TOPs@INT4或3.6TOPs@INT8的高NPU算力，最大支持4K30fps的ISP，支持極速喚醒模式、動態(tài)壞點(diǎn)的自動檢測和消除、暗角補(bǔ)償、圖像增強(qiáng)等功能，可幫助家用智能網(wǎng)絡(luò)攝像機(jī)在分辨率上和智能化上進(jìn)行進(jìn)一步的升級，使攝像設(shè)備即使在黑暗環(huán)境中，也能呈現(xiàn)清晰的圖像。此外，AX620A最多同時支持4路攝像頭接入，支持雙路1080p雙屏異顯，因此在門禁設(shè)備系統(tǒng)中也可幫助客戶做更多差異化的應(yīng)用。

借助于“混合精度NPU”和“自研AI ISP”兩大核心技術(shù)，AX620A在獲得了極高的芯片效能功耗比的同時，大幅提升了傳統(tǒng)ISP中多個關(guān)鍵模塊的畫質(zhì)，減少了對DDR的需求，同時讓NPU的性能提高到了50%以上。而從應(yīng)用的角度出發(fā)，AX620A已經(jīng)可以用一顆芯片實(shí)現(xiàn)對智慧城市和智能手機(jī)兩個完全不同領(lǐng)域的市場覆蓋，這將大大降低用戶端的AI綜合應(yīng)用成本。

在智慧城市全面提速的當(dāng)下，AI視覺芯片已經(jīng)成為全行業(yè)大力發(fā)展的對象。無論是傳統(tǒng)芯片設(shè)計企業(yè)還是新秀技術(shù)公司都在瞄準(zhǔn)機(jī)會，力求在此領(lǐng)域中拔得頭籌。而作為這批企業(yè)中的佼佼者，愛芯元智以多輪融資的高起點(diǎn)為基礎(chǔ)，以自研AI ISP+混合精度NPU算法為支撐，在成立不到三年的時間里就成功推出三款行業(yè)領(lǐng)先的邊緣側(cè)AI視覺芯片，且均具備“高算力、低功耗、高算力利用率”的優(yōu)勢，可滿足合作伙伴對于視覺處理的需求。未來，愛芯元智還將在此領(lǐng)域繼續(xù)深耕，從人才建設(shè)到技術(shù)研發(fā)都向國際大廠看齊，以打造具有國際競爭力的高端芯片。