歐盟前沿性NimbleAI項(xiàng)目采用定制RISC-V處理器來(lái)支持神經(jīng)形態(tài)視覺(jué)與3D集成芯片

隨著越來(lái)越多的研究伙伴加入以及新技術(shù)和新產(chǎn)品的不斷披露，歐盟于2022年底啟動(dòng)的NimbleAI這一前沿項(xiàng)目在喧囂的GPT熱潮中，開(kāi)始展現(xiàn)出一條新的智能化和數(shù)字化轉(zhuǎn)型之道。NimbleAI旨在推動(dòng)神經(jīng)形態(tài)視覺(jué)（neuromorphic vision）傳感和處理技術(shù)的發(fā)展和研究。作為一種創(chuàng)新的視覺(jué)感知和處理技術(shù)，神經(jīng)形態(tài)視覺(jué)參考了生物系統(tǒng)工作方式，通過(guò)檢測(cè)動(dòng)態(tài)場(chǎng)景中的變化來(lái)決定是否更細(xì)致地查看捕捉到的內(nèi)容，而不是花費(fèi)大量資源區(qū)連續(xù)分析整個(gè)場(chǎng)景，從而節(jié)省大量資源和大幅度縮短延遲。

盡管NimbleAI是一個(gè)啟動(dòng)不久的新項(xiàng)目，它已經(jīng)在帶動(dòng)許多新的計(jì)算和控制技術(shù)的研究和開(kāi)發(fā)。例如，全球領(lǐng)先的定制處理器IP和開(kāi)發(fā)工具提供商Codasip也一直關(guān)注和參與該領(lǐng)域的進(jìn)展；作為Codasip的創(chuàng)新孵化器，該公司旗下的Codasip Labs不斷探索將未來(lái)新技術(shù)快速推進(jìn)到應(yīng)用，因而于近期加入NimbleAI項(xiàng)目，為其開(kāi)發(fā)一個(gè)RISC-V可定制內(nèi)核，賦能神經(jīng)形態(tài)傳感3D集成芯片。

歐盟的NimbleAI項(xiàng)目是一個(gè)為期3年、耗資1000萬(wàn)歐元的研究項(xiàng)目，匯集了來(lái)自歐盟和英國(guó)的商業(yè)組織和學(xué)術(shù)界的合作伙伴共同參與研發(fā)。該項(xiàng)目由歐盟資助，旨在設(shè)計(jì)一種神經(jīng)形態(tài)視覺(jué)傳感和處理的3D集成芯片。在動(dòng)輒需要上萬(wàn)張高性能GPU卡和巨量存儲(chǔ)的GPT人工智能時(shí)代，這一靈感來(lái)自于眼睛對(duì)光線(xiàn)的探測(cè)和大腦對(duì)視覺(jué)信息處理的新機(jī)器視覺(jué)和智能技術(shù)，以其對(duì)資源和算力的節(jié)省再加更低的延遲而廣受關(guān)注，因而NimbleAI項(xiàng)目也吸引了眾多的目光。

歐盟NimbleAI項(xiàng)目的部分成員（圖片來(lái)源：NimbleAI）

顯而易見(jiàn)，這是一個(gè)受生物學(xué)啟發(fā)的前沿技術(shù)，目標(biāo)是提高下一代基于事件的視覺(jué)傳感的神經(jīng)形態(tài)芯片的能源效率和性能。如果一切按計(jì)劃進(jìn)行，那么會(huì)創(chuàng)建一種完整的神經(jīng)形態(tài)架構(gòu)，賦能終端設(shè)備有效準(zhǔn)確地運(yùn)行和多樣化的計(jì)算機(jī)視覺(jué)算法。目前這些應(yīng)用設(shè)備通常在資源和面積上受到限制，典型的應(yīng)用領(lǐng)域包括手持和電池供電的醫(yī)療成像設(shè)備、自動(dòng)駕駛車(chē)輛智能顯示器、可穿戴的眼球追蹤眼鏡等等。

將生物系統(tǒng)作為電子系統(tǒng)的“黃金基準(zhǔn)”是近年來(lái)的一個(gè)技術(shù)趨勢(shì)。受到生物學(xué)的啟發(fā)，NimbleAI正在利用生物眼腦系統(tǒng)作為其系統(tǒng)架構(gòu)。該項(xiàng)目正在實(shí)施一個(gè)始終在線(xiàn)的傳感模式，高度專(zhuān)業(yè)化的事件驅(qū)動(dòng)處理內(nèi)核和神經(jīng)網(wǎng)絡(luò)，以使用最少的能量對(duì)選定的刺激進(jìn)行視覺(jué)推理。通過(guò)基于事件來(lái)決定應(yīng)該發(fā)送和分析什么信息，計(jì)算系統(tǒng)就可以選擇捕捉和分析有意義的特征信息，而不需要捕捉和分析所有信息。這種基于事件的方法可以大幅度降低資源需求，節(jié)省大量能耗，并減少延遲。

作為定制處理器專(zhuān)家，Codasip在該項(xiàng)目中積極探索RISC-V ISA在內(nèi)存加速器中的擴(kuò)展，這些加速器由合作伙伴CEA提供。定制的RISC-V處理有助于提高神經(jīng)形態(tài)芯片的性能并降低其功耗。為了實(shí)現(xiàn)這一目標(biāo)，項(xiàng)目選用了Codasip Studio工具和CodAL架構(gòu)描述語(yǔ)言，這些工具促使定制工作流程變得直接便捷。之后由Codasip開(kāi)發(fā)的RISC-V內(nèi)核會(huì)被映射到Menta SAS的嵌入式FPGA（eFPGA）模塊上。

改變游戲規(guī)則的定制處理器技術(shù)

目前在NimbleAI項(xiàng)目中，Codasip團(tuán)隊(duì)正在開(kāi)發(fā)基于RISC-V的下一代人工智能處理器。同時(shí)這也是Codasip Labs的系列項(xiàng)目中的一個(gè)完美案例。Codasip Labs專(zhuān)注于關(guān)鍵應(yīng)用領(lǐng)域，包括安全、功能安全和人工智能/機(jī)器學(xué)習(xí)（AI/ML）等等。以發(fā)現(xiàn)和打造創(chuàng)新技術(shù)來(lái)擴(kuò)展定制計(jì)算的無(wú)限可能性為宗旨。在NimbleAI項(xiàng)目之前，Codasip的可定制RISC-V處理器IP和Codasip Studio定制開(kāi)發(fā)工具已經(jīng)得到了實(shí)際應(yīng)用的廣泛驗(yàn)證并獲得了多項(xiàng)業(yè)界大獎(jiǎng)的褒嘉，搭載其IP的處理器的出貨量已超過(guò)20億顆。

NimbleAI項(xiàng)目正在證明一個(gè)新的趨勢(shì)：通過(guò)定制的、領(lǐng)域?qū)Ｓ玫奶幚砥髟O(shè)計(jì)，可以加快直接針對(duì)智能化應(yīng)用的定制化/差異化處理器產(chǎn)品的上市時(shí)間，并能夠以高性能和低功耗等特性來(lái)最終贏(yíng)得市場(chǎng)青睞。在為期3年的NimbleAI項(xiàng)目結(jié)束時(shí)，與目前基于幀的CPU或GPU處理視頻標(biāo)準(zhǔn)相比，我們期望看到重大的性能提升。該項(xiàng)目將實(shí)現(xiàn)新的功能和實(shí)際實(shí)現(xiàn)，以解鎖更先進(jìn)的人工智能和計(jì)算機(jī)視覺(jué)算法和應(yīng)用。

注：NimbleAI從歐盟的歐洲地平線(xiàn)研究和創(chuàng)新行動(dòng)計(jì)劃（RIA）中獲得了101070679號(hào)撥款協(xié)議的資助，并從英國(guó)研究和創(chuàng)新的歐洲地平線(xiàn)擔(dān)保計(jì)劃中獲得了資助。該資金項(xiàng)目為英國(guó)脫歐后的實(shí)體公司加入歐洲地平線(xiàn)項(xiàng)目提供了歐盟簽約保障。