GPU和NNA讓邊緣智能更快、更好地落地

在當(dāng)前的科技圈，最火的技術(shù)名詞莫過于 5G 和 AI。5G 作為一種全新的網(wǎng)絡(luò)架構(gòu)，提供 10Gbps 以上的峰值速率、更佳的移動(dòng)性能、毫秒級(jí)時(shí)延和超高密度連接；AI 則是研究使計(jì)算機(jī)來模擬人的某些思維過程和智能行為（如學(xué)習(xí)、推理、思考、規(guī)劃等），主要包括計(jì)算機(jī)實(shí)現(xiàn)智能的原理、制造類似于人腦智能的計(jì)算機(jī)，使計(jì)算機(jī)能實(shí)現(xiàn)更高層次的應(yīng)用。

而 5G / AI 均和邊緣計(jì)算有關(guān)聯(lián)。Imagination PowerVR 視覺及 AI 部門高級(jí)總監(jiān) Andrew Grant 認(rèn)為，在嵌入式設(shè)備上使用 AI 進(jìn)行邊緣計(jì)算是 AI 革命的一部分；5G 是將邊緣帶入下一階段的大規(guī)模商業(yè)化的技術(shù)之一，與 AI 一樣，能最好地證明這一點(diǎn)的應(yīng)用仍在開發(fā)之中。

Imagination PowerVR 視覺及 AI 部門高級(jí)總監(jiān) Andrew Grant

他對(duì)此進(jìn)行了詳細(xì)的論述。

針對(duì) AI 和邊緣計(jì)算
這個(gè)簡(jiǎn)單的原理使復(fù)雜的系統(tǒng)能夠顯著加快推理速度。設(shè)備和傳感器現(xiàn)在可以識(shí)別貓，甚至許多其他物體，就像人以實(shí)時(shí)決策的速度進(jìn)行識(shí)別一樣。在自動(dòng)駕駛汽車中，這些系統(tǒng)可以識(shí)別其他車輛，區(qū)分道路和人行道，區(qū)分行人和道路標(biāo)志。然后，它們可以開始作決定，不僅決定車輛應(yīng)該做什么，還可以進(jìn)行預(yù)測(cè)，例如一位行人是否將要冒險(xiǎn)進(jìn)入道路。

這里至關(guān)重要的是，這種復(fù)雜的推理傳統(tǒng)上是在“云端”執(zhí)行的，但現(xiàn)在可以在“邊緣”設(shè)備上運(yùn)行——即在本地嵌入式處理器中運(yùn)行，在僅占用 1-2 平方毫米硅面積上，可提供以優(yōu)異性能加速神經(jīng)網(wǎng)絡(luò)層的能力。這改變了游戲規(guī)則，因?yàn)檫@意味著強(qiáng)大的 AI 計(jì)算能力現(xiàn)在可以置入最小的 IoT 設(shè)備中。

邊緣設(shè)備中的這種硬件 NNA 正在實(shí)現(xiàn) AI 性能的階躍式變化，這將為汽車、機(jī)器人、監(jiān)控?cái)z像頭和整個(gè)城市帶來智能。隨著 AI 越來越靠近邊緣并進(jìn)入傳感器、攝像頭和手機(jī)等設(shè)備中，在許多情況下，它無需云計(jì)算機(jī)架，而是將分析轉(zhuǎn)移至 IoT 設(shè)備本身。這消除了處理過程中的所有延遲，并將 IoT 數(shù)據(jù)轉(zhuǎn)換為有用的信息以改善決策過程。在數(shù)據(jù)中心經(jīng)過大規(guī)模訓(xùn)練的強(qiáng)大的神經(jīng)網(wǎng)絡(luò)，通過量化和自適應(yīng)，可以被部署在小型邊緣設(shè)備上。上述這些技術(shù)的應(yīng)用將特別有助于克服延遲、傳輸、安全和成本方面的挑戰(zhàn)。

通過在一片比針頭還小的芯片上進(jìn)行推理，這些邊緣設(shè)備將影響眾多市場(chǎng)——包括但不限于安全、零售、聯(lián)網(wǎng)家庭、教育、農(nóng)業(yè)和健康。過去還只能想象的處理能力此刻已掌握在我們手中。隨著這些邊緣設(shè)備越來越多地被用于工廠、家居和汽車中，它們最終將變得無處不在，到了那個(gè)階段，它們基本上將成為無形的、遍及各處的“智能邊緣”。

人工智能的這種增長(zhǎng)趨勢(shì)已經(jīng)得到了廣泛關(guān)注，諸如英國《金融時(shí)報(bào)》、麥肯錫和德勤等主流機(jī)構(gòu)最近都發(fā)表了報(bào)告和文章，強(qiáng)調(diào)神經(jīng)網(wǎng)絡(luò)正在走向邊緣，創(chuàng)造了“環(huán)境式”人工智能（“ambient” AI）。這已經(jīng)被稱為 AIoT，它將智能邊緣進(jìn)一步帶向 AI 與 IoT 的結(jié)合。隨著廉價(jià)傳感器和設(shè)備的快速增加，它們通過運(yùn)行神經(jīng)網(wǎng)絡(luò)的能力獲得了智能，實(shí)現(xiàn)了“雙贏”的局面。

針對(duì) 5G 和邊緣計(jì)算
我們可以看到改進(jìn)的連接性使邊緣應(yīng)用能夠做更多的事情。移動(dòng)設(shè)備、汽車和智能基礎(chǔ)設(shè)施將推動(dòng)此項(xiàng)技術(shù)應(yīng)用向前發(fā)展。

智慧城市全都是智慧 AI 賦能的基礎(chǔ)設(shè)施。在智慧城市中，監(jiān)測(cè)交通流量的傳感器將數(shù)據(jù)傳送回云端的“大腦”，從而使交通能夠順暢地運(yùn)行，提高道路使用效率。在一個(gè)智慧城市中，汽車將依靠這一智能基礎(chǔ)設(shè)施使駕駛員了解即將要面臨的交通狀況。因此，盡管與路燈柱、交通信號(hào)燈和路標(biāo)交流對(duì)普通人來說似乎很瘋狂，但是未來，您的汽車無時(shí)無刻都會(huì)做這些事情。同樣地，我們將看到車輛對(duì)車輛（V2V）和車輛對(duì)基礎(chǔ)設(shè)施（V2X）系統(tǒng)越來越多地被使用，還將看到通過交互使智能邊緣傳感器“所見”的內(nèi)容作為有用的信息被傳遞。V2X 將成為一項(xiàng)基本要求——這需要在數(shù)萬億個(gè)傳感器上實(shí)現(xiàn) AIoT。AIoT 將為這種車輛與基礎(chǔ)設(shè)施之間的通信提供支持，實(shí)現(xiàn)多個(gè)途徑的信息交換，從而使車輛能夠基于實(shí)時(shí)信息和預(yù)測(cè)信息作出知情的選擇。

例如，當(dāng)高速公路標(biāo)志因?yàn)槿斯た刂迫藛T沒有意識(shí)到需要刷新而顯示過時(shí)的信息時(shí)，會(huì)多么令人沮喪？又例如，在繞過拐角并成為三英里堵車長(zhǎng)龍的一部分之前就知道從出口出去是不是會(huì)更好？當(dāng)前，衛(wèi)星導(dǎo)航系統(tǒng)依靠眾包數(shù)據(jù)來實(shí)現(xiàn)這一功能，但是使用實(shí)時(shí)信息將使這一過程自動(dòng)化并減少獲取數(shù)據(jù)時(shí)的延遲。

邊緣計(jì)算只是整個(gè)過程的開始。神經(jīng)網(wǎng)絡(luò)加速正在使城市、汽車、工廠機(jī)器人和監(jiān)控?cái)z像頭中的邊緣設(shè)備變得更加智能。我們用于神經(jīng)網(wǎng)絡(luò)加速的架構(gòu)創(chuàng)造了“智能邊緣”，它是一種無處不在的、無形的技術(shù)。

Imagination 的邊緣計(jì)算布局

通過 Andrew Grant 的描述我們不難發(fā)現(xiàn)，不管是 AI、5G 還是邊緣計(jì)算，都有著巨大的未來潛力，但是還遠(yuǎn)遠(yuǎn)沒有真正釋放。我們依然處于這些技術(shù)爆發(fā)的“前夜”。

而邊緣計(jì)算之所以難以大規(guī)模落地的原因之一就是缺少基準(zhǔn)程序和行業(yè)標(biāo)準(zhǔn)。Andrew Grant 表示：“在 AI 和嵌入式領(lǐng)域，真的可以說很難找到合適的性能基準(zhǔn)，但是，這些最終都將會(huì)實(shí)現(xiàn)，AI-benchmark.com 和 AIIA 在建立通用基準(zhǔn)方面已經(jīng)做了有價(jià)值的工作。然而，迄今為止，AI 基準(zhǔn)通常專注于數(shù)據(jù)中心的工作負(fù)載，在這類工作負(fù)載上主要測(cè)量浮點(diǎn)數(shù)據(jù)而非量化性能（更小的邊緣模型和更快的整數(shù)性能）。在數(shù)據(jù)中心訓(xùn)練深度學(xué)習(xí)模型的基準(zhǔn)與在邊緣端進(jìn)行推理的基準(zhǔn)相差甚遠(yuǎn)，而邊緣端才是邊緣 AI 發(fā)揮作用的地方。的確，如果移動(dòng) GPU 運(yùn)行神經(jīng)網(wǎng)絡(luò)工作負(fù)載的速度可以比移動(dòng) CPU 快 10 倍，那么專用神經(jīng)網(wǎng)絡(luò)加速器運(yùn)行相關(guān)工作負(fù)載的速度通?？梢员纫苿?dòng) CPU 快 200 倍?！?/p>

他認(rèn)為，除了找到合適的性能基準(zhǔn)，邊緣計(jì)算落地還需要在意識(shí)、愿景、能力、性能功耗比和教育方面做出突破，這樣才能讓邊緣計(jì)算，亦或者是更進(jìn)一步的智能邊緣，更快、更好地落地。

Andrew Grant 詳細(xì)地解釋到：
--首先，人工智能在全球范圍內(nèi)已經(jīng)取得了重大進(jìn)展，相關(guān)新聞也登上了頭條，但是各個(gè)行業(yè)仍然缺乏意識(shí)，因?yàn)檫@些技術(shù)進(jìn)展都需要時(shí)間來推廣，進(jìn)而作為“已應(yīng)用的人工智能技術(shù)”被廣泛采用。這是因?yàn)樵S多企業(yè)需要了解在看起來很復(fù)雜的領(lǐng)域進(jìn)行投資能為他們帶來哪些收益。其次，愿景也至關(guān)重要，它可以讓我們看清生產(chǎn)力的提升和數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)化從何而來。通常，只有具備真正領(lǐng)導(dǎo)力的企業(yè)才能闡明邊緣 AI 的愿景。邊緣設(shè)備的能力意味著它可以執(zhí)行所需的功能，即用于工業(yè)質(zhì)量控制或自動(dòng)駕駛汽車的傳感器和攝像頭。邊緣處理正越來越多地利用非常復(fù)雜的神經(jīng)網(wǎng)絡(luò)來支持深度學(xué)習(xí)應(yīng)用。

--其次，性能、硅面積和功耗都是至關(guān)重要的因素。能夠在針頭大小的、可能由太陽能或風(fēng)能供電的芯片上執(zhí)行具有挑戰(zhàn)性的任務(wù)，的的確確改變了游戲規(guī)則。

--最后一點(diǎn)，政府部門意識(shí)到，對(duì)行業(yè)中的所有管理層人士進(jìn)行教育，讓他們了解可以利用的所有機(jī)遇是會(huì)花費(fèi)些時(shí)間的，但也會(huì)更快地推動(dòng)這些技術(shù)被采用。

面對(duì)蓄勢(shì)待發(fā)且潛力巨大的邊緣計(jì)算市場(chǎng)， Imagination Technologies 將自己在移動(dòng)設(shè)備上的所有經(jīng)驗(yàn)和專業(yè)知識(shí)應(yīng)用在人工智能（AI）的邊緣計(jì)算，并開發(fā)出了用于深度學(xué)習(xí)（Deep Learning）的神經(jīng)網(wǎng)絡(luò)加速器（Neural Network Accelerator，NNA）。

Andrew Grant 介紹說：

Imagination 創(chuàng)建了圖形處理器（GPU）和專用 NNA 知識(shí)產(chǎn)權(quán)（IP）設(shè)計(jì)，并將其授權(quán)給那些希望自己的芯片可以更快上市的公司。Imagination 專注于邊緣端，并致力于加速 AI 應(yīng)用以使邊緣設(shè)備更智能。

邊緣計(jì)算將智能從網(wǎng)絡(luò) / 數(shù)據(jù)中心轉(zhuǎn)移到邊緣端，降低了延遲、數(shù)據(jù)傳輸量和總體成本，同時(shí)由于來回轉(zhuǎn)移的數(shù)據(jù)更少使安全性得以提升。這意味著在未來幾年，邊緣端在重要性、容量和靈活性方面將趕超云端（Cloud）。

我們?cè)谌斯ぶ悄?a class="article-link" target="_blank" href="/tag/%E7%89%A9%E8%81%94%E7%BD%91/">物聯(lián)網(wǎng)（AIoT）方面看到了大量的機(jī)遇，AIoT 就是邊緣 AI 和物聯(lián)網(wǎng)（IoT）的結(jié)合，我們很自豪可以去提倡對(duì)這些機(jī)遇的理解。我們?cè)谑澜绺鞯氐臅?huì)議上談?wù)撐覀兊脑妇?，即通過 NNA 為邊緣端賦能，以支持智慧城市、汽車和連接等領(lǐng)域。

Imagination 對(duì) AI 的認(rèn)識(shí)源于我們?cè)谟?jì)算機(jī)視覺和移動(dòng)領(lǐng)域的悠久歷史。多年來，我們一直在 GPU 上運(yùn)行人臉識(shí)別和對(duì)象分類網(wǎng)絡(luò)，這些知識(shí)使我們能夠提供專用的硬件，以呈指數(shù)級(jí)加快的速度去執(zhí)行這些改變游戲規(guī)則的任務(wù)，同時(shí)功耗也會(huì)得到顯著改善。

我們的研發(fā)非常專注于最大化單位面積的性能，以及運(yùn)行最新的框架和神經(jīng)網(wǎng)絡(luò)，使客戶能夠獲得其系統(tǒng)級(jí)芯片（SoC）的最佳性能，進(jìn)而支持應(yīng)用商在汽車、監(jiān)控和智慧城市等領(lǐng)域的人工智能物聯(lián)網(wǎng)中運(yùn)行最新的應(yīng)用。Imagination 最新的 NNA 是基于“加速卷積神經(jīng)網(wǎng)絡(luò)”這一基本原則進(jìn)行設(shè)計(jì)的，從而使所有設(shè)備都可以利用超快的每秒推理速度。

隨著邊緣 AI 的發(fā)展，我們看到在移動(dòng)、智能監(jiān)控、汽車、家庭娛樂和眾多其它行業(yè)中有很多功能更強(qiáng)、自主程度更高、更易于使用的設(shè)備被創(chuàng)造出來。在邊緣端部署低功耗嵌入式智能的一項(xiàng)關(guān)鍵挑戰(zhàn)是在處理性能、靈活性、成本和功耗之間實(shí)現(xiàn)恰到好處的平衡。NNA 是一種小型化的專用處理器，對(duì)于相同的面積和功耗預(yù)算，它能以中央處理器（CPU）或 GPU 無法實(shí)現(xiàn)的速率來執(zhí)行卷積神經(jīng)網(wǎng)絡(luò)（CNN）所需的核心功能。NNA 通常能夠在功耗預(yù)算小于 1 瓦的情況下，在 1-2 平方毫米的硅面積上提供超過 1TOPS（Tera-Operation Per Second，每秒萬億次運(yùn)算）的運(yùn)算能力。Imagination 的全新 PowerVR Series3NX NNA 的速度遠(yuǎn)不止于此，其旨在通過提供靈活性、可擴(kuò)展性和領(lǐng)先的頂級(jí)性能，使 AI 在邊緣端被大量采用。

針對(duì)硅面積?。ǔ杀荆?、性能高（高的 TOPS 級(jí)別運(yùn)算能力）、功耗低和模型尺寸小等需求，我們將自己的產(chǎn)品設(shè)計(jì)為可滿足這些需求的解決方案。我們的方法使用了定點(diǎn)數(shù)據(jù)類型和量化技術(shù)，以最小化模型大小和所需的帶寬。無損權(quán)重壓縮進(jìn)一步提高了效率。此外，我們的 NNA 硬件內(nèi)核 IP 是獨(dú)特的，因?yàn)樗С挚勺兊奈粚挾?，因此可以逐層調(diào)整權(quán)重，以實(shí)現(xiàn)部署模型的最高精度，同時(shí)最小化模型尺寸以減小內(nèi)存帶寬和降低功耗。總體而言，這在低功耗要求下提供了非常高效的性能。我們最小尺寸的 NNA（小于 1 平方毫米）擁有令人印象深刻的能量效率，甚至可以使設(shè)備能夠依靠電池和從太陽能或風(fēng)能采集的能量來運(yùn)行。

憑借對(duì) TensorFlow、TensorFlow Lite、Caffe 和 ONNX（一種交換格式 / 轉(zhuǎn)換層，支持 PyTorch、MXNet、Caffe2、Paddle Paddle 等多個(gè)框架）等流行框架的支持，Imagination 的 NNA 內(nèi)核系列可以加速最優(yōu)化應(yīng)用所需的神經(jīng)網(wǎng)絡(luò)層。

邊緣計(jì)算是在高帶寬、時(shí)間敏感型、物聯(lián)網(wǎng)集成這個(gè)背景下發(fā)展起來的技術(shù)，指的是接近于事物、數(shù)據(jù)和行動(dòng)源頭處的計(jì)算，不僅需要能夠幫助系統(tǒng)快速的做出響應(yīng)，同時(shí)也需要分布在各終端巨量的設(shè)備能夠不造成更大的維護(hù)負(fù)擔(dān)。在這樣的情況下，部署的邊緣 AI 必須要有低功耗的特性。

Andrew Grant 認(rèn)為：“功耗是 PPA（單位面積的功耗和性能）指標(biāo)中的關(guān)鍵因素之一，因此我們的設(shè)計(jì)理念是要知道在最小化所需功耗的同時(shí)最大化性能。顯然，這很難權(quán)衡，但是我們?cè)谑謾C(jī) GPU 上的經(jīng)驗(yàn)意味著我們非常了解功耗對(duì)電池的影響，因此我們進(jìn)行了相應(yīng)的設(shè)計(jì)。”

邊緣計(jì)算讓更多的設(shè)備采集數(shù)據(jù)、處理數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)，在某些層面增大了數(shù)據(jù)保護(hù)的難度。針對(duì)邊緣設(shè)備，駭客和攻擊者一直在尋找利用缺陷的新方法?？傊?，安全是怎么強(qiáng)調(diào)都不為過的。Andrew Grant 表示：“邊緣設(shè)備的復(fù)雜性將會(huì)增加，因?yàn)閮?nèi)存和存儲(chǔ)很重要，同時(shí)還要考慮依靠以太網(wǎng)供電或能量收集來運(yùn)行的能力——這對(duì)于遠(yuǎn)程傳感器而言通常至關(guān)重要。由于我們的內(nèi)核引擎尺寸從小于 1 平方毫米到大約 3 平方毫米，因此我們?cè)谠O(shè)計(jì)時(shí)就考慮了功耗和性能。對(duì)于農(nóng)業(yè)和環(huán)境監(jiān)測(cè)以及傳感器部署于臟亂、困難和危險(xiǎn)環(huán)境中的情況而言，這會(huì)非常重要。

我們將安全性視為所有這些設(shè)備的基本要求，并且我們擁有 GPU 虛擬化解決方案，可以在需要時(shí)對(duì)工作負(fù)載進(jìn)行優(yōu)先級(jí)排序和隔離，直至操作系統(tǒng)虛擬化。NNA 具有內(nèi)置的安全鉤，允許應(yīng)用去利用安全區(qū)域。我們認(rèn)為，在這個(gè)復(fù)雜的世界中，將任務(wù)劃分到最合適的安全級(jí)別的能力是一項(xiàng)真正的優(yōu)勢(shì)。

此外，在設(shè)備上進(jìn)行處理的能力很重要，因?yàn)檫@樣就無需將數(shù)據(jù)傳回網(wǎng)絡(luò)中心，避免了數(shù)據(jù)在傳輸過程中被攔截?！?/p>

根據(jù)業(yè)者的估計(jì)，中國邊緣計(jì)算市場(chǎng)將超過萬億元的規(guī)模，對(duì)于所有的參與者而言這都是一個(gè)不容忽視的巨大機(jī)遇。Andrew Grant 對(duì)此表示：

“中國將很快成為世界上最大的單一經(jīng)濟(jì)體，其工業(yè)基礎(chǔ)具有市場(chǎng)規(guī)模，在人工智能發(fā)展方面處于領(lǐng)先地位，并且擁有強(qiáng)烈的創(chuàng)新意愿。首先在中國推廣邊緣計(jì)算技術(shù)是非常重要的機(jī)會(huì)，基于其各城市的先進(jìn)基礎(chǔ)設(shè)施，中國能夠引領(lǐng)這些先進(jìn)技術(shù)的部署。

Imagination Technologies 投入中國市場(chǎng)已有數(shù)十年，并且在幾個(gè)主要城市均設(shè)有辦事處，可以近距離地提供客戶支持和現(xiàn)場(chǎng)工程支持。在移動(dòng)、汽車和 AIoT 領(lǐng)域，中國主要的芯片公司都使用了 Imagination 的 IP 設(shè)計(jì)以領(lǐng)先其競(jìng)爭(zhēng)對(duì)手，我們看到了中國強(qiáng)有力的、積極的發(fā)展前景，并且在幫助中國向全世界輸出產(chǎn)品。我們邊緣 NNA 的性能因其量化性能和精確度而在 AI-benchmark.com 的列表中排名第一。

我們的策略是創(chuàng)建能夠支持客戶取得成功的 IP 設(shè)計(jì)——通過使用我們的先進(jìn)技術(shù)助力他們的產(chǎn)品更快上市，同時(shí)使他們?cè)谛阅?、功耗和面積方面更具競(jìng)爭(zhēng)力，從而降低他們的硅成本。

我們的研發(fā)部門希望在充分利用性能的同時(shí)根據(jù)市場(chǎng)需求增加靈活性。此外，我們的專業(yè)知識(shí)和經(jīng)驗(yàn)以及廣受歡迎的工具和工作流程可以確保我們客戶的客戶能夠充滿信心地開發(fā)其在邊緣運(yùn)行的應(yīng)用?！?br /> ?