加入星計劃,您可以享受以下權益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴散
  • 作品版權保護
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
  • 相關推薦
  • 電子產(chǎn)業(yè)圖譜
申請入駐 產(chǎn)業(yè)圖譜

高能低耗易部署,愛芯元智AX650N成Transformer最佳落地平臺

2023/05/30
2010
閱讀需 5 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

近來,ChatGPT成為社會各界關注的焦點。從技術領域看,ChatGPT的爆發(fā)是深度學習領域演進、發(fā)展和突破的結果,其背后代表著Transformer結構下的大模型技術的飛速進展。因此,如何在端側(cè)、邊緣側(cè)高效部署Transformer也成為用戶選擇平臺的核心考量。

2023年3月,愛芯元智推出了第三代高算力、高能效比的SoC芯片——AX650N,依托其在高性能、高精度、易部署、低功耗等方面的優(yōu)異表現(xiàn),AX650N受到越來越多有大模型部署需求用戶的青睞,并且先人一步成為Transformer端側(cè)、邊緣側(cè)落地平臺。

Transformer是當前各種大模型所采用的主要結構,而ChatGPT的火爆讓人們逐漸意識到人工智能有著更高的上限,并可以在計算機視覺領域發(fā)揮出巨大潛能。相比于在云端用GPU部署Transformer大模型,在邊緣側(cè)、端側(cè)部署Transformer最大的挑戰(zhàn)則來自功耗,這也使得愛芯元智兼具高性能和低功耗特質(zhì)的混合精度NPU,成為端側(cè)和邊緣側(cè)部署Transformer的首選平臺,而其優(yōu)越性能則決定了Transformer的運行效果。

作為人工智能視覺感知芯片研發(fā)及基礎算力平臺公司,愛芯元智始終致力于讓更多的實際應用落地。目前大眾普遍采用的Transformer網(wǎng)絡SwinT,在愛芯元智AX650N平臺

表現(xiàn)出色:361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗以及原版模型且PTQ量化的極易部署能力,都讓AX650N在Transformer的落地中有著領先的優(yōu)勢地位。

具體來看,361幀的高性能,可媲美汽車自動駕駛領域基于GPU的高端域控SoC;而80.45%的高精度成績同樣高于市面平均水平;199 FPS/W的速度則充分體現(xiàn)出低功耗的特點,對比于目前基于GPU的高端域控SoC,有著數(shù)倍的優(yōu)勢;更為重要的,AX650N部署方便,GitHub上的原版模型可以在愛芯元智的平臺上高效運行,不需要對模型做修改,亦無需QAT重新訓練。與此同時,AX650N支持低比特混合精度,用戶如果采用INT4,可以極大地減少內(nèi)存和帶寬占用率,達到有效控制端側(cè)、邊緣側(cè)部署成本的目的。這些特性都保證了AX650N作為人工智能算力平臺,最終落地效果更好用、更易用,且大幅提升了用戶效率。

目前,AX650N已適配包括ViT/DeiT、Swin/SwinV2、DETR在內(nèi)的Transformer模型,在DINOv2也已達到30幀以上的運行結果,這也更便于用戶在下游進行檢測、分類、分割等操作?;贏X650N的產(chǎn)品目前已在智慧城市、智慧教育、智能制造等計算機視覺核心領域發(fā)揮出重要作用。

接下來,愛芯元智AX650N將會針對Transformer結構進行持續(xù)優(yōu)化,并且探索更多的Transformer大模型,例如多模態(tài)大模型,不斷讓Transformer在愛芯元智平臺上得到更好的落地效果。值得一提的是,愛芯元智還將推出相應開發(fā)板,滿足開發(fā)者對Transformer深度研究的需求,探尋更豐富的產(chǎn)品應用。

“愛芯元智將繼續(xù)努力打造基于芯片+軟件的端側(cè)、邊緣側(cè)人工智能算力平臺,讓智能落實到生活的真實場景,最終實現(xiàn)普惠AI造就美好生活的企業(yè)愿景”,愛芯元智創(chuàng)始人、CEO仇肖莘女士表示。未來,愛芯元智將在成為人工智能算力平臺型公司的道路上繼續(xù)探索,加速基于Transformer的大模型在端側(cè)、邊緣側(cè)落地的節(jié)奏,讓普惠智能真正落地生根,開花結果。

 

相關推薦

電子產(chǎn)業(yè)圖譜