邊緣人工智能，從傳感器融合到深度神經(jīng)網(wǎng)絡(luò)

AI 在邊緣領(lǐng)域的優(yōu)勢(shì)現(xiàn)在是顯而易見(jiàn)的。在這些領(lǐng)域中，實(shí)時(shí)響應(yīng)起到?jīng)Q定性的作用。比如說(shuō)，在安全敏感型應(yīng)用中，既要將原始數(shù)據(jù)傳輸到云的通信成本降至最低，又要降低功耗、保護(hù)隱私并提高對(duì)多個(gè)邊緣節(jié)點(diǎn)的可擴(kuò)展性。對(duì)于以上這些要求，我們建議通過(guò)邊緣設(shè)備內(nèi)的人工智能而不是遠(yuǎn)程云服務(wù)來(lái)滿足。然而，一個(gè) AI 引擎無(wú)法服務(wù)我們現(xiàn)在所知的邊緣應(yīng)用范圍。家用電器可能只需要識(shí)別一組簡(jiǎn)單的語(yǔ)音命令或食品容器上的圖片。更復(fù)雜的監(jiān)控系統(tǒng)或工業(yè)機(jī)器人系統(tǒng)則可能需要融合圖像傳感器、麥克風(fēng)、運(yùn)動(dòng)傳感器等的多方輸入。就高端領(lǐng)域而言，自動(dòng)或半自動(dòng)駕駛識(shí)別系統(tǒng)需要用到非常復(fù)雜的深度神經(jīng)網(wǎng)絡(luò) (DNN)。CEVA SensPro2 和 NeuPro-M 平臺(tái)恰能滿足這些需求。

邊緣 AI 市場(chǎng)

自現(xiàn)在起至本世紀(jì)末，邊緣 AI 處理器芯片市場(chǎng)的年復(fù)合增長(zhǎng)率預(yù)計(jì)將達(dá)到 20% 左右。這一增長(zhǎng)是由智能設(shè)備采用率/發(fā)展程度不斷提高推動(dòng)的，具體涉及：攝像頭、可穿戴設(shè)備和家庭自動(dòng)化領(lǐng)域消費(fèi)者；安全和自動(dòng)化程度日益提高的汽車(chē)行業(yè)；行業(yè)監(jiān)控、機(jī)器人、機(jī)器/工廠控制和預(yù)測(cè)性維護(hù)。

最有可能在這些領(lǐng)域取得成功的產(chǎn)品自然必須功能十足、性能強(qiáng)大，如此才能滿足應(yīng)用這些產(chǎn)品的認(rèn)可需求。此類產(chǎn)品必須根據(jù)消費(fèi)者定價(jià)和/或在大規(guī)模部署時(shí)具有成本效益，同時(shí)還應(yīng)該最大限度地減少現(xiàn)有無(wú)線基礎(chǔ)設(shè)施的增量負(fù)載。此類產(chǎn)品的軟件還必須可以升級(jí)，如此才能適應(yīng)快速發(fā)展的 AI 技術(shù)領(lǐng)域的新興解決方案。

傳感器融合和 SensPro2

除了最簡(jiǎn)單的智能邊緣設(shè)備之外，其他所有設(shè)備現(xiàn)在都使用多個(gè)傳感器。兩個(gè)或更多傳感器的融合信息通常可讓智能系統(tǒng)提供準(zhǔn)確性度更高的信息或補(bǔ)充信息。例如，在自動(dòng)平行泊車(chē)或自動(dòng)代客泊車(chē)系統(tǒng)中，可結(jié)合使用探測(cè)可用空間的視覺(jué)傳感技術(shù)/雷達(dá)與超聲波測(cè)距技術(shù)，另外也可以結(jié)合使用 IMU 輸入，進(jìn)一步細(xì)化定位估計(jì)結(jié)果。SLAM 算法可以對(duì)這些功能形成補(bǔ)充，在停車(chē)場(chǎng)內(nèi)導(dǎo)航以便自動(dòng)代客泊車(chē)。

CEVA SensPro2 傳感器中樞 DSP 是傳感器中樞/融合應(yīng)用的完美答案。SensPro2 是第二代 CEVA 傳感器中樞 DSP，允許圖像傳感器、麥克風(fēng)、雷達(dá)、飛行時(shí)間、IMU 等的多個(gè)傳感器輸入?；谏窠?jīng)網(wǎng)絡(luò)的軟件可在這種 DSP 架構(gòu)上快速運(yùn)行。因?yàn)檫@種架構(gòu)提供整套豐富的硬件支持功能，包括：具有靈活 MAC 操作范圍的矢量單元、整數(shù)和浮點(diǎn)運(yùn)算支持、針對(duì)應(yīng)用的 ISA 擴(kuò)展和全面的非線性指令集。SensPro2 可利用這些功能提供 2 倍的 AI 速度、6 倍的 SLAM 速度、8 倍的雷達(dá)速度、10 倍的音頻速度（相較于上一代 SensPro 而言）。

在各種消費(fèi)者應(yīng)用中，邊緣人工智能已通過(guò) SensPro2 部署到 SoC，最近發(fā)布的新 Novatek 監(jiān)控 SoC 版本就是一個(gè)示例。

DNN 智能和 NeuPro-M

高端邊緣智能需要深度神經(jīng)網(wǎng)絡(luò) (DNN) 支持、高水平的并行性能和帶寬優(yōu)化，以及擁有最新 AI 算法的異構(gòu)加速器。對(duì)于第一種需求而言，自動(dòng)/半自動(dòng)駕駛時(shí)的可用空間檢測(cè)是一個(gè)不錯(cuò)的應(yīng)用示例。此檢測(cè)目的在于沿著公路/高速公路的安全駕駛區(qū)域行駛，避開(kāi)障礙物，避免駛上對(duì)向車(chē)道、未鋪砌的路肩和隔離帶。在這種情況下必須迅速響應(yīng)，因此會(huì)將前方道路圖像分解為 4 個(gè)子幀，對(duì)其進(jìn)行并行處理。之后再在每個(gè)子圖像上運(yùn)行可用空間檢測(cè)，并重新組合以提供完整的結(jié)果。對(duì)于邊緣應(yīng)用中的此類人工智能而言，NeuPro-M 可支持多達(dá) 8 個(gè)并行運(yùn)行的引擎。

大家對(duì)精度和性能的期望遠(yuǎn)不止并行這么簡(jiǎn)單。如今的網(wǎng)絡(luò)開(kāi)發(fā)人員希望利用現(xiàn)在 NeuPro-M 中采用硬件加速的專用功能，如矩陣分解、稀疏、Winograd 及混合精度的神經(jīng)操作，且以上所有功能都可以在每個(gè)并行引擎中使用。

NeuPro-M 于 2022 年發(fā)布，榮獲了“亞洲金選獎(jiǎng)”之“金選潛力標(biāo)桿獎(jiǎng)”及“2022 年邊緣人工智能與視覺(jué)聯(lián)盟產(chǎn)品獎(jiǎng)”之“年度最佳邊緣 AI 處理器榮譽(yù)獎(jiǎng)”。目前已部署在設(shè)計(jì)中的多個(gè) SoC 中，并預(yù)計(jì)會(huì)在未來(lái)幾年出現(xiàn)在最終產(chǎn)品中。

面向未來(lái)的解決方案

在標(biāo)準(zhǔn) CPU 或 GPU 上運(yùn)行的純軟件 AI 解決方案效率過(guò)低，功耗又大，不太實(shí)用，但在理論上來(lái)說(shuō)又具有一定的吸引力，因?yàn)槟梢噪S時(shí)更改軟件，而無(wú)需更改硬件。隨著 AI 技術(shù)和網(wǎng)絡(luò)層的發(fā)展，能否在獲得硬件加速帶來(lái)的所有性能和功耗優(yōu)勢(shì)的同時(shí)，保持靈活升級(jí)？SensPro2 和 NeuPro-M 能夠做到這一點(diǎn)。這些 AI 解決方案的矢量 DSP 基礎(chǔ)確保您能夠隨著市場(chǎng)需求和網(wǎng)絡(luò)的發(fā)展，在軟件中對(duì)產(chǎn)品實(shí)施進(jìn)行升級(jí)。CEVA 的深度神經(jīng)網(wǎng)絡(luò) (CDNN) AI 編譯器簡(jiǎn)化了從標(biāo)準(zhǔn)網(wǎng)絡(luò)（TensorFlow、PyTorch 等）實(shí)施到在特定 SoC 中實(shí)施時(shí)映射到處理器 IP 的一應(yīng)事宜。您也可以在此步驟中控制優(yōu)化，以充分利用特殊加速器（如 NeuPro-M 中的加速器），或添加您在設(shè)計(jì)中可能需要的、自己的加速器。CEVA CDNN-Invite API 為此類擴(kuò)展提供支持。

作者：Moshe Sheier, Vice President of Marketing, CEVA