AI大算力場景加速發(fā)展，NPU如何破局？

ChatGPT和GPT-4等大規(guī)模語言模型的走紅，迅速點燃了輿論對人工智能的熱情，也讓人工智能芯片受到產(chǎn)業(yè)界的強烈關(guān)注。相比CPU、GPU等通用芯片，NPU（神經(jīng)網(wǎng)絡(luò)處理器）能夠以更簡單的控制流、更高的效率、更低的功耗處理AI工作負載。隨著人工智能技術(shù)棧和行業(yè)應(yīng)用的發(fā)展，NPU一方面支持越來越多的模型，包括GPT-4采用的Transformer模型；另一方面，也從AIoT走向消費電子、自動駕駛等更多領(lǐng)域。

3 月 28 日，安謀科技發(fā)布了最新一代NPU產(chǎn)品“周易”X2，將配合此前宣布的“周易”NPU軟件開源計劃，為人工智能的應(yīng)用創(chuàng)新——尤其是面向自動駕駛等大算力、高精度、強實時場景提供軟硬件支持。

多核心、大算力、多精度，助力AI多場景落地

隨著摩爾定律放緩，通用處理器架構(gòu)難以滿足人工智能的密集型計算需求。數(shù)據(jù)顯示，2000-2004年，每一美元能獲取的芯片性能以每年48%的速度提升，而2008年以后已不足10%。在這種趨勢下，專用芯片成為面向特定需求提升算力和能效比的新思路。

其中，NPU是面向機器學習和人工智能領(lǐng)域的專用加速芯片。相比CPU、GPU等通用芯片，NPU在電路層模擬了人類神經(jīng)元和突觸，針對AI計算涉及的大量神經(jīng)網(wǎng)絡(luò)模型進行特殊優(yōu)化，能夠以更高的效率、更低的能耗處理人工神經(jīng)網(wǎng)絡(luò)、隨機森林等機器學習算法和深度學習模型。

如今，蘋果、三星、oppo等多家手機廠商搭載了NPU，用于面部識別、拍攝物體及環(huán)境識別、影像處理等，為消費者帶來3D動畫表情、人臉解鎖、AI場景識別、無損實時RAW計算等一系列新體驗。隨著人工智能向平板電腦、臺式機等更多終端，家居、汽車等更多領(lǐng)域滲透，“萬物智聯(lián)”時代拉開序幕，這不僅考驗著NPU的算力和精度，也對NPU架構(gòu)的靈活性和兼容性提出了更高的要求。

此次安謀科技推出的“周易”X2 NPU聚焦綜合性能的提升，兼顧了多終端、跨領(lǐng)域應(yīng)用對大算力、高精度、靈活性、兼容性的需求。

在算力層面，“周易”X2 NPU不僅提升了單核性能，還引入了多核、多集群架構(gòu)，能夠支持高達320TOPS的大算力方案。相比采用單核架構(gòu)的“周易”X1和“周易”Z系列，“周易”X2引入了由多個NPU核組成的Cluster（集群），較單核實現(xiàn)了算力的成倍提升。多個Cluster又構(gòu)成了子系統(tǒng)，較單個Cluster進一步實現(xiàn)算力的成本提升，可支持320TOPS大算力產(chǎn)品的交付。

在精度層面，“周易”X2 NPU支持混合精度計算，支持整型的4bit、8bit、12bit、16bit、32bit以及浮點的16bit、32bit計算，可以更好地平衡功耗、算力密度和計算精度。

在靈活性層面，“周易”X2 NPU 的任務(wù)調(diào)度速度達到100納秒。據(jù)安謀科技產(chǎn)品總監(jiān)楊磊介紹，安謀科技為“周易”X2設(shè)計了硬件級別的任務(wù)調(diào)度加速單元，以支持多核或者多個計算單元的實時任務(wù)調(diào)度。

“當我的車有10個攝像頭，有10路數(shù)據(jù)進來。任務(wù)調(diào)度器發(fā)現(xiàn)哪個NPU核是空閑的，就可以把任務(wù)立刻調(diào)度給那個核做計算，構(gòu)建動態(tài)、實時的調(diào)度解決方案?！睏罾谡f。

在兼容性方面，“周易”X2 NPU支持自定義算子，滿足各種模型部署需求，并針對ADAS、智能座艙、平板電腦、臺式機和手機等應(yīng)用場景提供了配置方案和專門優(yōu)化。

面向消費級終端，“周易”X2 NPU則針對AI去噪、超分辨率、插幀等面向拍照、錄像和視頻會議的場景進行了優(yōu)化。

面向自動駕駛等場景，“周易”X2 NPU可提供大算力配置方案。首先，專門的硬件加速任務(wù)調(diào)度器，能夠更好地支持汽車判斷前方目標并實時響應(yīng)的需求。其次，對混合精度的支持，順應(yīng)了汽車場景對更高計算精度的追求。此外，安謀科技面向車載算法專門優(yōu)化了Transformer模型的性能，在算力相等的情況下，Transformer的性能較上一代的“周易” Z2提升了10倍。

在邊緣終端和自動駕駛等領(lǐng)域的基礎(chǔ)上，“周易”系列還將向更高性能的場景拓展。

“過去幾年里，‘周易’系列產(chǎn)品應(yīng)用已經(jīng)從AIoT領(lǐng)域，到現(xiàn)在的汽車、邊緣智能終端等領(lǐng)域，未來會向更高性能的云側(cè)和服務(wù)側(cè)發(fā)展。我們希望‘周易’涵蓋不同的應(yīng)用場景，通過不同的配置，與更多領(lǐng)域、更加多樣的系統(tǒng)結(jié)合?！卑仓\科技執(zhí)行副總裁、產(chǎn)品研發(fā)負責人劉澍表示。

軟件開源解決開發(fā)痛點，助力本土NPU生態(tài)構(gòu)建

在面向更多行業(yè)、更多場景的落地過程中，NPU的應(yīng)用開發(fā)也出現(xiàn)了一些痛點。由于缺乏統(tǒng)一的工具鏈，NPU在推理側(cè)出現(xiàn)了硬件碎片化，增加了應(yīng)用開發(fā)創(chuàng)新的代價和周期。另一方面，NPU處理AI模型的訓(xùn)練、推理時，涉及或產(chǎn)生大量數(shù)據(jù)，開發(fā)者對白盒軟件、工具鏈的訴求越發(fā)迫切。

針對以上痛點，安謀科技發(fā)起了“周易”NPU軟件開源計劃，通過開放源碼，滿足客戶更自主、靈活的算法移植需求。按照計劃，安謀科技率先對外開放NPU中間表示層規(guī)范、模型解析器、模型優(yōu)化器、驅(qū)動等，并提供免費的軟件工具鏈，包括軟件模擬器、調(diào)試器、C編譯器。

安謀科技“周易”NPU軟件開源計劃

“我們收集到很多用戶反饋，最典型的是汽車應(yīng)用場景。一方面，Tier1在實際應(yīng)用過程中產(chǎn)生的算法和數(shù)據(jù)都是很寶貴的資源，如果在移植開發(fā)中遇到問題，Tier1希望在自己那側(cè)解決，獨立進行白盒的開發(fā)和調(diào)試。另一方面,客戶有很多自定義算子的需求，這也對白盒化的軟件和工具鏈有很強的訴求?；谶@樣的市場反饋，我們選擇這個時間點推出開源計劃?！睏罾谠诮邮堋吨袊娮訄蟆凡稍L時表示。

目前，安謀科技已開源“周易”NPU軟件工具Compass的前端，并在開源計劃的第一階段開放了Compass解析器、NPU Linux驅(qū)動、Compass集成和模型倉庫。

同時，安謀科技最新的一代V3架構(gòu)為免費授權(quán)。根據(jù)安謀科技研發(fā)團隊測算，如果開發(fā)者在軟件參與“周易”的NPU開源項目，在硬件上兼容“周易”架構(gòu)，無論在硬件開發(fā)還是在軟件開發(fā)上，大概能節(jié)省超過50%的工作量。

后續(xù)，安謀科技還將逐步開放更多資源，例如模型量化、算子實現(xiàn)等源代碼。

軟件的開源不僅能提升開發(fā)效率，而且能夠持續(xù)吸納開發(fā)者在使用過程中的反饋，有利于行業(yè)生態(tài)的良性循環(huán)。一方面，NPU的軟件開源可以提升用戶開發(fā)效率，減少上市時間，并提升系統(tǒng)的能效表現(xiàn)。另一方面，開源有利于NPU在更多場合發(fā)揮更大作用，也令NPU IP廠商能夠觸達上下游企業(yè)，共同反哺本地化的NPU生態(tài)。

“NPU有很強的軟件屬性，并不是一個純粹的硬件加速器，因為用戶要在上面跑各種各樣的應(yīng)用或算法。每一個算法在硬件上的部署或移植，都會為生態(tài)貢獻了一份力量?！睏罾谡f。

目前，安謀科技已分別在代碼托管平臺Gitee、GitHub上建立NPU軟件的開源庫，并吸引了來自AIoT、智能汽車、智能操作系統(tǒng)等領(lǐng)域的第一批合作伙伴“入駐”。據(jù)安謀科技透露，以上合作伙伴均表示將基于NPU開源計劃與安謀科技深化合作，加速構(gòu)建本地化的智能計算生態(tài)“朋友圈”。

Arm底蘊與本土化創(chuàng)新結(jié)合，強化芯片設(shè)計“彈藥庫”

自1990年Arm公司成立以來，基于Arm架構(gòu)出貨的芯片已經(jīng)達到2500億顆。IP授權(quán)這一商業(yè)模式，也隨著Arm的發(fā)展深入人心，成為芯片設(shè)計垂直分工的重要環(huán)節(jié)。

安謀科技作為獨立運營、中資控股的合資公司，在吸納和發(fā)揮Arm技術(shù)和生態(tài)優(yōu)勢的同時，立足并結(jié)合本地化需求，形成了“自研IP技術(shù)的創(chuàng)新發(fā)展與Arm IP相配合”的經(jīng)營策略。據(jù)安謀科技介紹，其成立時與Arm簽訂了交叉許可協(xié)議，一方面可以向總部設(shè)在中國的合作伙伴開展集成電路IP的授權(quán)與技術(shù)服務(wù)；另一方面，也擁有獨立的自主研發(fā)權(quán)力，可以結(jié)合中國市場需求自研基于Arm技術(shù)的IP與標準，本土團隊研發(fā)的自研IP產(chǎn)權(quán)歸安謀科技所有。

安謀科技自研IP產(chǎn)品矩陣及相關(guān)服務(wù)

以“周易”NPU為例，安謀科技在自研其硬件IP和軟件工具的同時，也吸引和培養(yǎng)了本地化的NPU工程師團隊，為公司研發(fā)和用戶開發(fā)提供本地化的支持。

“經(jīng)過5年的努力，我們已經(jīng)在北京、上海、深圳吸引和培養(yǎng)了很多工程師，整個團隊擁有超過130位工程師從事NPU的軟硬件全棧研發(fā)。我們已經(jīng)開發(fā)了三代NPU產(chǎn)品和架構(gòu)，也專注于IP和SDK開發(fā)，以及對國內(nèi)客戶的服務(wù)和支持?！卑仓\科技NPU研發(fā)高級總監(jiān)孫錦鴻表示。

時至今日，安謀科技在國內(nèi)的授權(quán)客戶超過370家，累計芯片出貨量突破300億片。除了“周易”NPU，安謀科技還自研并推出了“星辰”CPU、“山海”SPU、“玲瓏”ISP與“玲瓏”VPU等本地化IP，而包含CPU、NPU、信息安全、多媒體的IP矩陣，為芯片企業(yè)打造異構(gòu)集成方案提供了“彈藥庫”，并有利于提升芯片設(shè)計的靈活性。例如博通2022年推出的兩款Wi-Fi藍牙雙模SoC芯片，就集成了“星辰”處理器和“山?！钡男畔踩诵哪K。

本次“周易”NPU軟件開源及相應(yīng)的生態(tài)合作措施，也是對安謀科技“生態(tài)伙伴計劃”的承襲和補充。該計劃發(fā)起于2022年7月，依托Arm技術(shù)生態(tài)與自研IP產(chǎn)品矩陣，與生態(tài)伙伴共建上下游產(chǎn)業(yè)生態(tài)，共同推動各領(lǐng)域的軟硬件、解決方案、工具鏈、行業(yè)標準以及社區(qū)聯(lián)盟等生態(tài)環(huán)節(jié)的發(fā)展。截至目前，已有多家芯片設(shè)計公司、解決方案提供商、系統(tǒng)平臺公司等加入生態(tài)伙伴計劃。

安謀科技生態(tài)伙伴計劃

IP作為硬件設(shè)計的核心資產(chǎn)，不僅在芯片設(shè)計和產(chǎn)品定義中發(fā)揮了重要作用，也對芯片產(chǎn)業(yè)的底層創(chuàng)新具有深遠意義。而IP的迭代與創(chuàng)新，需要與芯片、軟件、生態(tài)乃至標準等產(chǎn)業(yè)鏈關(guān)鍵節(jié)點的發(fā)展趨勢與共性問題耦合，才能推動芯片產(chǎn)業(yè)的螺旋上升。

“對產(chǎn)業(yè)來說一個，IP公司的意義和作用就在于，它首先看到了生態(tài)和技術(shù)的發(fā)展趨勢，幫助客戶和合作伙伴解決一些重復(fù)投入的問題。通常來說，我們解決了底層的技術(shù)問題和創(chuàng)新問題以后，可以幫助客戶合作伙伴節(jié)省1到2年的開發(fā)周期。客戶利用這些IP，能夠更高效地推出可量產(chǎn)的芯片，達到應(yīng)用級創(chuàng)新的目的，這是IP作為基石幫助客戶走向成功的定位和角色?！眲f。

編輯丨陳炳欣

美編丨馬利亞