愛芯元智展示“黑光全彩”技術(shù)，帶來圖像處理革命

隨著網(wǎng)絡(luò)攝像機(jī)的廣泛應(yīng)用，IPC SoC芯片已經(jīng)嶄露頭角，成為智慧城市管理的關(guān)鍵技術(shù)組件。其在市場(chǎng)上的地位得益于其卓越的性能，包括高圖像質(zhì)量、算法的廣泛兼容性及出色的低功耗特性。這些特點(diǎn)使得它們?nèi)找媸艿绞袌?chǎng)的熱烈歡迎。

亮相CPSE，愛芯元智展示“真黑光”技術(shù)

2023年10月25日，在深圳CPSE期間，愛芯元智舉行了愛芯元智“黑光全彩體驗(yàn)中心”媒體溝通會(huì)，愛芯元智副總裁史欣接受了與非網(wǎng)記者的采訪。

愛芯元智副總裁史欣

這已經(jīng)是愛芯元智第二次參加深圳CPSE，與首次參展相比，愛芯已取得了市場(chǎng)和客戶上的顯著進(jìn)展。史欣介紹，目前愛芯元智的業(yè)務(wù)線已經(jīng)涉及多個(gè)領(lǐng)域：包括智慧城市、智能駕駛和機(jī)器人及AR、VR等。史欣認(rèn)為這些業(yè)務(wù)的核心是對(duì)視頻和環(huán)境感知的需求，這在AI中至關(guān)重要。面對(duì)碎片化的市場(chǎng)，他們錨定于算力和感知，目標(biāo)是提高圖像效果并確保NPU的高能效比。史欣表示，作為普惠AI的推動(dòng)者，愛芯元智根據(jù)市場(chǎng)反饋對(duì)業(yè)務(wù)線進(jìn)行了重新梳理和思考。他表示：“盡管人們普遍認(rèn)為AI是一個(gè)無(wú)所不在的技術(shù)，但實(shí)際上，這并不意味著所有的AI技術(shù)都會(huì)被市場(chǎng)所接受?！币虼耍瑦坌驹堑哪繕?biāo)又過去專注于更先進(jìn)的AI技術(shù)，轉(zhuǎn)型到更務(wù)實(shí)的普惠AI，重點(diǎn)在于如何助力客戶實(shí)現(xiàn)商業(yè)成功。

事實(shí)上，愛芯元智充當(dāng)了為客戶提供技術(shù)能力支持的角色，從畫面分割、圖像超分到人車非結(jié)構(gòu)化算法，愛芯展現(xiàn)了自家芯片集成的強(qiáng)大綜合能力。經(jīng)過四輪技術(shù)迭代，愛芯元智的自研核心技術(shù)，如愛芯智眸AI-ISP和愛芯通元混合精度NPU已經(jīng)在市場(chǎng)和客戶中取得了不俗的突破。

本次安防展上，愛芯元智重點(diǎn)介紹了其兩款新產(chǎn)品：AX630C和AX620Q。它們都搭載了最新的愛芯智眸AI-ISP4.0圖像處理引擎以及愛芯通元4.0高性能、低功耗的NPU引擎。這些技術(shù)的升級(jí)使得這兩款產(chǎn)品在視頻圖像效果、智能業(yè)務(wù)處理和分析等方面均達(dá)到了業(yè)界的領(lǐng)先水平。具體細(xì)節(jié)上，AX630C是一款針對(duì)智慧城市IPC市場(chǎng)的超高清智能SoC，能夠提供4K@30fps的實(shí)時(shí)“真黑光”技術(shù)。而AX620Q則是面向模組與渠道IPC市場(chǎng)的高清智能SoC，支持5Mp的實(shí)時(shí)和4K的非實(shí)時(shí)“真黑光”技術(shù)。另外，AX630C和AX620Q在功耗、集成度及性能等方面都表現(xiàn)出了明顯優(yōu)勢(shì)。AX630C，憑借其高算力，以及新一代的NPU引擎，不僅支持主流的Transformer網(wǎng)絡(luò)，還能解決算法精度和泛化性的問題。而AX620Q，雖然在算力上略顯不足，但在集成度和功耗上則更勝一籌。為了滿足客戶的多樣化需求，這兩款產(chǎn)品都配備了完備的SDK軟件開發(fā)包，確?？焖?、高效的量產(chǎn)。

“真黑光”技術(shù)：重新定義暗環(huán)境攝像與圖像處理

現(xiàn)場(chǎng)展示暗室環(huán)境拍攝

據(jù)介紹，愛芯元智的“真黑光”技術(shù)結(jié)合了AI-ISP與NPU，確保即使在極低的照度條件下，也能真實(shí)地還原畫面，實(shí)現(xiàn)超過人眼識(shí)別能力的清晰度。在不足0.001Lux的光照條件下，它還能夠提供高幀率的實(shí)時(shí)色彩展現(xiàn)，而且畫面中沒有任何拖影或鬼影，這無(wú)疑為攝像技術(shù)開創(chuàng)了新的紀(jì)元。

黑光全彩攝像機(jī)是一種可以在微弱光源中保持全彩效果的設(shè)備。雖然傳統(tǒng)方法如使用大靶面sensor或降低幀率可以部分達(dá)到這個(gè)效果，但在特別暗的環(huán)境中，仍然面臨種種問題。而愛芯元智的技術(shù)則完全打破了這一限制，使得在如城市路口或鄉(xiāng)村養(yǎng)殖業(yè)等多種環(huán)境下，即使是在夜間，也能捕獲到高品質(zhì)的彩色視頻。

ISP系統(tǒng)是實(shí)現(xiàn)“真黑光”效果的核心。愛芯元智公司AI-ISP專家張興曾在一次論壇上深入地解釋了這一創(chuàng)新ISP架構(gòu)的工作原理。簡(jiǎn)單地說，ISP的功能就像人類的大腦，它處理并優(yōu)化傳感器所捕捉到的影像，確保輸出的視頻具有最優(yōu)的質(zhì)量。

愛芯元智副總裁史欣現(xiàn)場(chǎng)分享了更多關(guān)于“黑光全彩”技術(shù)的應(yīng)用前景。他提到了與創(chuàng)維公司的成功合作，這不僅是一個(gè)技術(shù)上的里程碑，也預(yù)示著圖像處理技術(shù)即將進(jìn)入一個(gè)全新的階段。而且，這項(xiàng)技術(shù)的應(yīng)用遠(yuǎn)不止于此。在汽車行業(yè)，特別是自動(dòng)輔助駕駛系統(tǒng)中，當(dāng)車輛在無(wú)光環(huán)境下行駛時(shí)，也開始廣泛使用這項(xiàng)技術(shù)。史欣進(jìn)一步預(yù)測(cè)，隨著技術(shù)的不斷演進(jìn)，“真黑光”未來將不再只是處理可見光，而是將包括毫米波雷達(dá)、紅外熱成像等多種傳感器信號(hào)融合，而這一切都將依賴于AI的處理和集成能力。

愛芯智眸AI-ISP技術(shù)：一場(chǎng)圖像處理的革命

數(shù)字成像技術(shù)，自從其誕生之日起，就為人們的生活帶來了翻天覆地的變化。其中，圖像信號(hào)處理（ISP）技術(shù)占據(jù)了核心地位。傳統(tǒng)的ISP技術(shù)，盡管歷經(jīng)數(shù)十年的發(fā)展和完善，但仍存在局限性，特別是在處理復(fù)雜、動(dòng)態(tài)的實(shí)時(shí)視頻流時(shí)。而現(xiàn)在，隨著AI技術(shù)的迅速發(fā)展，AI-ISP技術(shù)應(yīng)運(yùn)而生，它模擬人的大腦對(duì)圖像數(shù)據(jù)進(jìn)行處理，為用戶帶來了前所未有的視覺體驗(yàn)。

愛芯元智公司清楚地認(rèn)識(shí)到，僅依靠傳統(tǒng)方法是無(wú)法滿足現(xiàn)代智能化需求的。在這樣的認(rèn)知驅(qū)動(dòng)下，他們對(duì)AI技術(shù)進(jìn)行了深度的融入，全新地升級(jí)了ISP Pipeline的關(guān)鍵模塊，使得在各種應(yīng)用場(chǎng)景下，無(wú)論是公共安全、智慧交通還是家庭娛樂，成像效果都得到了質(zhì)的飛躍。這不僅優(yōu)化了圖像和視頻數(shù)據(jù)的質(zhì)量，而且為后續(xù)的智能處理打下了堅(jiān)實(shí)的基礎(chǔ)。

同時(shí)，愛芯通元混合精度NPU技術(shù)的研發(fā)進(jìn)一步推動(dòng)了這一創(chuàng)新。傳統(tǒng)的處理技術(shù)經(jīng)常面臨數(shù)據(jù)傳輸量大、處理效率低的問題，特別是在功耗有限的場(chǎng)景下。但混合精度NPU技術(shù)改變了這一現(xiàn)狀，它成功地降低了數(shù)據(jù)傳輸量，提高了處理效率，并保證了在不同應(yīng)用場(chǎng)景中都能夠流暢運(yùn)行各種復(fù)雜的智能算法。

愛芯智眸AI-ISP和愛芯通元混合精度NPU引領(lǐng)了視頻碼流的結(jié)構(gòu)化處理技術(shù)變革。這一技術(shù)的突破不僅大幅提升了芯片的工作性能，也在智慧城市領(lǐng)域取得了顯著的業(yè)績(jī)，促進(jìn)了大批量的產(chǎn)品出貨。愛芯元智的愛芯智眸AI-ISP技術(shù)為ISP Pipeline中的四個(gè)核心模塊——HDR、3DNR、RLTM和Demosaic——帶來了前所未有的深度優(yōu)化。這四個(gè)模塊是決定圖像清晰度和整體質(zhì)量的關(guān)鍵，但在傳統(tǒng)ISP技術(shù)下，往往難以達(dá)到理想的處理效果。而現(xiàn)在，借助于愛芯智眸AI-ISP，這些難題得到了完美解決。

黑光技術(shù)就是該愛芯技術(shù)優(yōu)勢(shì)的又一明證。在低光照條件下，許多現(xiàn)有的技術(shù)都表現(xiàn)得力不從心，而愛芯智眸AI-ISP則輕松應(yīng)對(duì)，它能夠在極低亮度條件下實(shí)時(shí)識(shí)別移動(dòng)物體，并準(zhǔn)確還原色彩。史欣認(rèn)為，隨著技術(shù)的不斷進(jìn)步和市場(chǎng)的逐步擴(kuò)大，AI-ISP技術(shù)將被更多的產(chǎn)品和解決方案所采納。

Transformer模型的前景與挑戰(zhàn)

隨著科技的進(jìn)步，AI已經(jīng)不再是一個(gè)遙不可及的概念，它已經(jīng)深入到各個(gè)產(chǎn)業(yè)領(lǐng)域中。如今，越來越多的廠商開始涉足AI領(lǐng)域，提供各種基于AI的解決方案，市場(chǎng)競(jìng)爭(zhēng)日趨激烈。其中，一大原因是由于技術(shù)的成本下降，這意味著更多先進(jìn)的功能和技術(shù)變得觸手可及，進(jìn)而帶來了市場(chǎng)上對(duì)高清像素和其他高級(jí)功能的強(qiáng)烈需求。

史欣認(rèn)為隨著技術(shù)的進(jìn)步，AI真正面臨的挑戰(zhàn)在于它們?cè)谡鎸?shí)應(yīng)用場(chǎng)景中的表現(xiàn)。談及AIGC廠商對(duì)AI的興趣時(shí)，史欣坦言許多華南的客戶更關(guān)注的是產(chǎn)品的實(shí)際效果而非背后的技術(shù)。他認(rèn)為，科技要與實(shí)際需求相匹配，才能真正地被市場(chǎng)所接受。史欣以與創(chuàng)維的合作為例，分享了在無(wú)光環(huán)境下如何通過技術(shù)呈現(xiàn)真實(shí)全彩圖像。這一技術(shù)的推出不僅僅是為了吸引消費(fèi)者的目光，更多的是希望能滿足客戶的實(shí)際需求，給用戶帶來真正的價(jià)值。

此外，近年來AI大模型也對(duì)智慧城市產(chǎn)生深遠(yuǎn)影響。領(lǐng)頭企業(yè)紛紛推出大模型，意圖從To G或To大B業(yè)務(wù)拓展到To小B和To C。這增強(qiáng)了技術(shù)粘度和產(chǎn)品中標(biāo)能力。但消費(fèi)類市場(chǎng)因成本和技術(shù)門檻而難以進(jìn)入。對(duì)于端側(cè)芯片部署，客戶需求集中于不降低性能和高性價(jià)比。這是芯片企業(yè)共同的挑戰(zhàn)。愛芯的解決策略基于先前的基礎(chǔ)，優(yōu)化工具鏈、算子集，并將更多原來需要DSP和FPGA處理的功能進(jìn)行硬化處理，。成功關(guān)鍵在于構(gòu)建芯片PPA最優(yōu)。DSP、FPGA在高端場(chǎng)景得以留存是因?yàn)樗惴ǔ掷m(xù)優(yōu)化。ASIC的優(yōu)勢(shì)在于固定已知的多種應(yīng)用算法，進(jìn)行硬化，而有一些探索中的算法需要FPGA、DSP的靈活性。

作為普惠AI的推動(dòng)者，愛芯元智深知在端側(cè)部署大模型的視覺AI的重要性。當(dāng)面臨長(zhǎng)尾場(chǎng)景下的高投入問題時(shí)，端側(cè)部署大模型不僅提供了一種解決方案，而且可能是未來的主流趨勢(shì)。當(dāng)前，凡涉及攝像頭捕捉畫面的應(yīng)用場(chǎng)景，Transformer大模型的需求正在快速增長(zhǎng)。這種需求的增加是由多種因素驅(qū)動(dòng)的，其中包括技術(shù)的進(jìn)步、市場(chǎng)的需求和用戶的期望。然而，部署的速度往往受到研發(fā)和資源的限制，這需要不同行業(yè)進(jìn)行適當(dāng)?shù)恼{(diào)整和規(guī)劃。

史欣也分享了Transformer在智慧城市中的應(yīng)用情景，并提到了Transformer技術(shù)如何幫助提高檢索準(zhǔn)確性，這為愛芯帶來了新的機(jī)會(huì)和挑戰(zhàn)。史欣認(rèn)為，為了確保技術(shù)部署的商業(yè)價(jià)值，需要持續(xù)的研發(fā)和創(chuàng)新。他期待行業(yè)上下游的緊密合作，希望看到更多具有實(shí)際應(yīng)用價(jià)值的技術(shù)和產(chǎn)品誕生。

對(duì)于技術(shù)公司，特別是專注于芯片設(shè)計(jì)的公司，如何在端側(cè)快速部署Transformer模型成為了一項(xiàng)關(guān)鍵任務(wù)。從愛芯元智的經(jīng)驗(yàn)來看，降低大模型帶寬的使用和優(yōu)化Transformer的結(jié)構(gòu)是實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵。愛芯元智的AX650N芯片已經(jīng)在實(shí)際部署中證明了自己的價(jià)值，并為下一代芯片提供了寶貴的經(jīng)驗(yàn)。

從更宏觀的角度看，愛芯元智的成功并非偶然。從2020年首顆高性能AI視覺芯片AX630A的量產(chǎn)，到2021年的第二代邊緣側(cè)智能芯片AX620A，再到今年發(fā)布的旗艦款A(yù)X650N，愛芯元智一直在不斷創(chuàng)新，為端側(cè)和邊緣側(cè)的AI應(yīng)用提供了強(qiáng)大的支持。但這只是開始。隨著大模型在端側(cè)和邊緣側(cè)的更廣泛部署，愛芯元智希望能在其AI算力平臺(tái)上開發(fā)更多基于Transformer模型的應(yīng)用，為整個(gè)行業(yè)帶來實(shí)際價(jià)值。

總結(jié)

史欣對(duì)與非網(wǎng)記者表示，一個(gè)公司無(wú)法獨(dú)自完成AI產(chǎn)業(yè)鏈的所有任務(wù)，需要產(chǎn)業(yè)的共同努力。各企業(yè)應(yīng)專注于自己擅長(zhǎng)的領(lǐng)域，共推關(guān)鍵技術(shù)如軟硬結(jié)合。合作伙伴需提供算法和軟件，滿足量化需求。對(duì)于端側(cè)AI芯片的未來趨勢(shì)，史欣認(rèn)為端側(cè)芯片將小型化，追求極致性價(jià)比，滿足1-2年業(yè)務(wù)需求，對(duì)消費(fèi)者可能是1-1.5年。除性能外，易用性關(guān)鍵，產(chǎn)品應(yīng)更“傻瓜式”，特別適合技術(shù)能力不強(qiáng)，但有其他優(yōu)勢(shì)的客戶。

史欣同時(shí)預(yù)測(cè)到感知設(shè)備將增多，特別是新能源汽車市場(chǎng)。后端處理系統(tǒng)需能處理各種傳感器輸入。他期望未來的SoC既能處理傳感器輸入，也有強(qiáng)大的計(jì)算能力滿足應(yīng)用需求。Transformer大模型為AI行業(yè)創(chuàng)新機(jī)會(huì)，愛芯元智在此領(lǐng)域取得成功，且預(yù)期未來其影響力增大。

圖像處理因AI技術(shù)應(yīng)用進(jìn)入新時(shí)代，愛芯智眸AI-ISP證明了其在圖像處理的領(lǐng)先地位，展望廣泛的成像未來。其“黑光全彩”技術(shù)預(yù)示攝像技術(shù)新紀(jì)元，對(duì)智慧城市和IoT有巨大應(yīng)用潛力。展望未來，愛芯元智將繼續(xù)合作推進(jìn)技術(shù)進(jìn)步，創(chuàng)建技術(shù)前沿、廣泛應(yīng)用的新時(shí)代。