前博通副總裁創(chuàng)業(yè)，9個(gè)月流片，性能趕超對(duì)手十多年迭代的高端視覺(jué)芯片

ISP性能已經(jīng)達(dá)到傳統(tǒng)算法的極致，引入AI則可以顛覆傳統(tǒng)。”

想要在資金、技術(shù)、人才門(mén)檻“三高”的芯片領(lǐng)域沿著領(lǐng)先者走過(guò)的路實(shí)現(xiàn)彎道超車(chē)，可能性微乎其微，創(chuàng)新則可以顛覆傳統(tǒng)。

前博通副總裁、紫光展銳CTO仇肖莘2019年5月創(chuàng)立的愛(ài)芯元智（原愛(ài)芯科技）僅用時(shí)一年四個(gè)月就量產(chǎn)了一款可以與競(jìng)爭(zhēng)對(duì)手迭代十多年的高端視覺(jué)芯片比拼的產(chǎn)品。

“ISP（Image Signal Processor，圖像信號(hào)處理器）經(jīng)過(guò)十幾二十年的發(fā)展性能已經(jīng)達(dá)到傳統(tǒng)算法的極致，我們引入AI的方式顛覆傳統(tǒng)的ISP設(shè)計(jì)，同時(shí)提升ISP的性能天花板。”愛(ài)芯元智創(chuàng)始人兼首席執(zhí)行官仇肖莘對(duì)雷鋒網(wǎng)表示。

用AI顛覆傳統(tǒng)的ISP，有哪些關(guān)鍵？

1

感知+計(jì)算的大市場(chǎng)

愛(ài)芯元智（原愛(ài)芯科技）成立的2019年并非AI芯片初創(chuàng)公司大量成立的時(shí)間點(diǎn)，之所以選擇在2019年創(chuàng)業(yè)，仇肖莘說(shuō)，“我非?？春酶兄?計(jì)算芯片的應(yīng)用前景。ISP是感知的關(guān)鍵，但這個(gè)技術(shù)沿著傳統(tǒng)的方式很難有很大的提升，如果把ISP和AI計(jì)算結(jié)合起來(lái)，不僅能夠提升ISP，也有廣闊的應(yīng)用市場(chǎng)，包括智慧交通、智慧城市、運(yùn)動(dòng)相機(jī)、翻譯筆等。”

看好市場(chǎng)的機(jī)遇是一方面，仇肖莘的個(gè)人經(jīng)歷也決定了愛(ài)芯的創(chuàng)立時(shí)間。她本碩畢業(yè)于清華大學(xué)自動(dòng)化專(zhuān)業(yè)，并在美國(guó)南加州大學(xué)取得了電子工程博士學(xué)位。在2018年9月加入紫光展銳任CTO之前，仇肖莘一直在國(guó)外工作，曾在AT&T Labs任職并獲得研究卓越獎(jiǎng)，也曾任博通公司副總裁。2019年，創(chuàng)業(yè)并且聚焦感知和計(jì)算成為她新的的選擇。“我們希望做AI視覺(jué)芯片行業(yè)的開(kāi)拓者，同時(shí)也堅(jiān)持長(zhǎng)期主義。”仇肖莘說(shuō)。

明確了目標(biāo)，堅(jiān)定了信念后，仇肖莘迅速集結(jié)了一批參與過(guò)10顆以上的芯片設(shè)計(jì)和生產(chǎn)的核心成員，業(yè)務(wù)范圍涵蓋芯片的設(shè)計(jì)、生產(chǎn)，軟件和硬件。“我現(xiàn)在可以說(shuō)，愛(ài)芯元智已經(jīng)有非常完整的芯片團(tuán)隊(duì)，負(fù)責(zé)芯片從設(shè)計(jì)到生產(chǎn)到應(yīng)用的各個(gè)環(huán)節(jié)。”仇肖莘表示。

團(tuán)隊(duì)的完善帶來(lái)了產(chǎn)品的快速量產(chǎn)。愛(ài)芯元智的首顆人工智能視覺(jué)芯片AX 630A在2019年8月立項(xiàng)，9個(gè)月后的2020年5月流片，7月31號(hào)回片后一次成功點(diǎn)亮，12月進(jìn)入量產(chǎn)狀態(tài)，今年6月正式風(fēng)險(xiǎn)量產(chǎn)。

“AX630A是我們目前的旗艦產(chǎn)品。這款新品第一版就流片成功，既沒(méi)有做MPW，也沒(méi)做任何Metal Fix。”仇肖莘自信的表示。

2

顛覆傳統(tǒng)ISP的兩大關(guān)鍵

愛(ài)芯元智的首款旗艦產(chǎn)品AX630A功耗約3W，可實(shí)現(xiàn)57.6TOPS@800MHz 2w4f算力，等效算力到達(dá)28.8TOPS@800MHz INT4。如果對(duì)比市場(chǎng)同類(lèi)產(chǎn)品，競(jìng)品以int8運(yùn)行Resnet50的網(wǎng)絡(luò)，AX630A以混合精度的方式運(yùn)行Resnet50，在最終精度幾乎相同的情況下，愛(ài)芯的芯片每秒處理的圖像幀數(shù)是競(jìng)品的十倍多。

能夠?qū)崿F(xiàn)一個(gè)數(shù)量級(jí)性能差距的關(guān)鍵是愛(ài)芯元智自研的混合精度NPU以及聯(lián)合設(shè)計(jì)的AI ISP。要用AI顛覆ISP，首先需要解決AI芯片面臨的內(nèi)存墻挑戰(zhàn)。所謂的內(nèi)存墻，是由于內(nèi)存性能遠(yuǎn)小于計(jì)算性能，內(nèi)存不能高效將數(shù)據(jù)傳輸到計(jì)算核心，帶來(lái)高功耗和有效率計(jì)算性能不高的問(wèn)題。

目前業(yè)內(nèi)通過(guò)多種方式解決內(nèi)存墻的挑戰(zhàn)，包括存算一體、可重構(gòu)計(jì)算等。愛(ài)芯解決內(nèi)存墻挑戰(zhàn)的方式是混合精度。

“AI模型有非常多層，在端側(cè)，目前主流的方式是每一層都讀取8位整數(shù)（int8），但實(shí)際上，在最終模型精度不變的情況下，并不是每一層都需要讀取8位數(shù)，中間層的數(shù)據(jù)表達(dá)4位甚至2位就足夠，不同的層用不同的數(shù)據(jù)精度表達(dá)就是混合精度。”仇肖莘表示，

“采用混合精度設(shè)計(jì)AI芯片可以降低對(duì)內(nèi)存的需求，比如原來(lái)每層網(wǎng)絡(luò)都讀取8位數(shù)據(jù)，用混合精度表示可能平均只需要4位的精度就足夠，這樣不僅能夠在相同的芯片面積下提供更大的算力而且對(duì)內(nèi)存的帶寬需求就可以減少為原來(lái)的四分之一，也就解決了內(nèi)存墻的問(wèn)題。”

要用混合精度的方式設(shè)計(jì)AI芯片的挑戰(zhàn)在于需要芯片和算法的協(xié)同設(shè)計(jì)，既然是協(xié)同設(shè)計(jì)，就需要同時(shí)非常了解算法和芯片架構(gòu)，用算法指導(dǎo)AI芯片的硬件設(shè)計(jì)，同時(shí)又要思考AI芯片的設(shè)計(jì)反過(guò)來(lái)對(duì)算法實(shí)現(xiàn)的影響。

也就是說(shuō)，硬件可以提升算法的效率，而算法又可以繞過(guò)硬件的限制，這是一個(gè)在算法靈活性和硬件效率間尋求最佳平衡點(diǎn)的難題。

“我們是業(yè)內(nèi)第一個(gè)設(shè)計(jì)且量產(chǎn)端側(cè)混合精度AI芯片的公司。”仇肖莘說(shuō)。

解決AI芯片的內(nèi)存墻挑戰(zhàn)只是第一步，接下來(lái)需要思考的是如何將AI與ISP結(jié)合超越傳統(tǒng)ISP，真正實(shí)現(xiàn)顛覆。

“傳統(tǒng)的ISP流水線(xiàn)（pipeline）有十幾到二十個(gè)模塊，我們將ISP流水線(xiàn)中最重要的幾個(gè)模塊，包括高動(dòng)態(tài)、3D降噪等AI化處理，將AI處理融入到ISP流水線(xiàn)中。”仇肖莘透露。

愛(ài)芯元智ISP負(fù)責(zé)人、系統(tǒng)架構(gòu)師張興解釋?zhuān)?ldquo;用AI的方式實(shí)現(xiàn)ISP流水線(xiàn)中的關(guān)鍵模塊，我們就能夠不斷迭代和優(yōu)化AI模型，不斷提升畫(huà)質(zhì)。AX630A從去年7月底回片到現(xiàn)在，我們的模型每半個(gè)月更新一版效果，效果實(shí)現(xiàn)了質(zhì)的飛躍。”

仇肖莘說(shuō)：“如果用傳統(tǒng)的方式，我們沒(méi)有辦法在第一代芯片就達(dá)到行業(yè)內(nèi)迭代了十多年的高端水平。通過(guò)AI定義ISP，我們的第一代芯片就趕上了行業(yè)高端ISP，并且在某些性能上實(shí)現(xiàn)了超越。”

也就是說(shuō)，傳統(tǒng)ISP需要通過(guò)芯片按年來(lái)迭代的方式，才能不斷完善ISP，而愛(ài)芯將ISP中的關(guān)鍵模塊AI化，ISP的迭代周期大幅縮短到以周來(lái)計(jì)算，提升了ISP的迭代速度的同時(shí)，還提高了ISP的靈活性能夠匹配不同傳感器。

“如果是沒(méi)有協(xié)同設(shè)計(jì)的ISP和NPU，很難實(shí)現(xiàn)將ISP流水線(xiàn)中的關(guān)鍵模塊軟件化或者說(shuō)AI化。我們之所以率先量產(chǎn)AI ISP不僅因?yàn)檫@兩個(gè)核心IP都是自主研發(fā)，聯(lián)合設(shè)計(jì)也非常關(guān)鍵。”仇肖莘特別指出。

“高算力的AI ISP有很多好處，比如可以提升圖像的信噪比，把原來(lái)被埋在噪聲里的信號(hào)恢復(fù)出來(lái)。或者，大算力也能夠?qū)崿F(xiàn)大規(guī)模的智能分析，用于智慧城市等。還有，大算力能夠滿(mǎn)足視頻流處理需求的同時(shí)，實(shí)現(xiàn)更好的夜間視頻效果。”

要知道，視頻流的處理對(duì)ISP有較高要求，每幀的處理時(shí)間只有33毫秒，這對(duì)ISP是極大的考驗(yàn)。

注：視頻截圖已做人物隱私保護(hù)

從愛(ài)芯展示的視頻看，AX630A在多路視頻結(jié)構(gòu)化智能分析、大規(guī)模智能分析和夜間視頻效果中確實(shí)有顯著提升。這款芯片也已經(jīng)被華東地區(qū)的大客戶(hù)采用。

3

普及AI ISP

“手機(jī)業(yè)界已經(jīng)發(fā)現(xiàn)在AI算力的支持下，AI算法已經(jīng)超越了傳統(tǒng)ISP算法的效果，因此目前主流的趨勢(shì)是用AI算法替代傳統(tǒng)算法，或者將AI算法與傳統(tǒng)算法結(jié)合。”張興指出。

近來(lái)，手機(jī)業(yè)界也掀起了自研芯片潮流，頭部手機(jī)公司紛紛研發(fā)起ISP，本質(zhì)原因是影像和顯示功能是消費(fèi)者最容易感知，也最愿意買(mǎi)單的功能，自研ISP能夠在提升手機(jī)影像相關(guān)性能的同時(shí)實(shí)現(xiàn)差異化，并且相比研發(fā)SoC，自研ISP的投入產(chǎn)出比最高。

作為率先量產(chǎn)AI ISP的公司，愛(ài)芯不會(huì)錯(cuò)過(guò)這一市場(chǎng)。愛(ài)芯的第二款產(chǎn)品，也是其定位主流的產(chǎn)品AX620A也已經(jīng)在今年5月流片，7月下旬已經(jīng)回片，目前一切順利，預(yù)計(jì)在2022年第一季度客戶(hù)會(huì)出貨搭載AX620A的產(chǎn)品。

AX620A的功耗小于1W，可以實(shí)現(xiàn)28.8 TOPS @800MHz 2w4f（等效算力 14.4 TOPS @800MHz INT4）的性能，因其主流產(chǎn)品定位AX620A的性能低于AX630A，但因?yàn)镮SP和NPU都是新一代，所以在單核性能和能效及圖像效果上相比旗艦產(chǎn)品AX630A都有所升級(jí)。

仇肖莘透露，“我們?cè)O(shè)計(jì)AX620A的時(shí)候還是希望能做手機(jī)的前處理ISP，所以功耗控制是一個(gè)大的設(shè)計(jì)目標(biāo)。在這一應(yīng)用市場(chǎng)，預(yù)計(jì)明年會(huì)有好消息和大家分享。”

AI ISP應(yīng)用于手機(jī)和智慧城市等場(chǎng)景的效果一旦被市場(chǎng)認(rèn)可，競(jìng)爭(zhēng)對(duì)手就會(huì)迅速跟進(jìn)，這也促進(jìn)了愛(ài)芯的快速成長(zhǎng)。“我們一定要比別人超前幾步，否則很容易被人追上。我們的目標(biāo)是在初期迅速讓產(chǎn)品成系列，并且有相應(yīng)的客戶(hù)支持，客戶(hù)用起來(lái)之后，后續(xù)的產(chǎn)品迭代就會(huì)比較慎重，每一代產(chǎn)品都需要有亮點(diǎn)。”仇肖莘談及愛(ài)芯的產(chǎn)品規(guī)劃。

隨著愛(ài)芯芯片的量產(chǎn)，愛(ài)芯的團(tuán)隊(duì)人數(shù)從年初的140多人迅速擴(kuò)增到了如今的300人，并且軟件團(tuán)隊(duì)的人數(shù)大約是硬件團(tuán)隊(duì)人數(shù)的1.5倍左右。

“我們的芯片明年會(huì)有比較大的出貨量。愛(ài)芯元智最終的目標(biāo)還是成為視覺(jué)處理領(lǐng)域的頭部企業(yè)，所以我們一定要成規(guī)模。同時(shí)，我們現(xiàn)在選擇投資人的時(shí)候，也更看重可能帶來(lái)的協(xié)同性。”仇肖莘說(shuō)。

4

小結(jié)

元智的成立時(shí)間早已過(guò)了AI最熱的時(shí)間，但愛(ài)芯用技術(shù)和定位證明，只要滿(mǎn)足市場(chǎng)需求的產(chǎn)品就能夠迅速獲得市場(chǎng)認(rèn)可。視覺(jué)作為AI落地的重要方向，相比許多AI芯片初創(chuàng)公司僅提供AI加速器的方法，愛(ài)芯元智的AI ISP使用的場(chǎng)景以及易用性的更加明確，這也是其產(chǎn)品能迅速落地的關(guān)鍵。

不過(guò)，要發(fā)揮混合精度NPU和AI ISP的優(yōu)勢(shì)，還有很多技術(shù)關(guān)卡需要持續(xù)突破，這對(duì)成立不久的愛(ài)芯來(lái)說(shuō)，有大量軟件層面的工作需要做，對(duì)使用的客戶(hù)來(lái)說(shuō)，也有一定的技術(shù)門(mén)檻。

愛(ài)芯元智已經(jīng)用自研核心IP表明了其想要在這一市場(chǎng)做大的決心。能否達(dá)成，拭目以待。

作者 |包永剛