AMD AI目標(biāo)實(shí)現(xiàn)關(guān)鍵一環(huán)，“單芯片智能”滿足嵌入式需求

在AMD董事會(huì)主席及首席執(zhí)行官蘇姿豐（Lisa Su）“無(wú)處不在的AI”愿景下，該公司在AI領(lǐng)域的布局越來(lái)越全面且深入。多款適配AI應(yīng)用的產(chǎn)品，如EPYC、Ryzen等系列處理器，已經(jīng)在云上、企業(yè)應(yīng)用中得到廣泛應(yīng)用。不過(guò)，面向下一場(chǎng)邊緣AI的革命，AMD需要推出更加高效且緊湊的解決方案。

事實(shí)上，邊緣AI在醫(yī)療、交通、智能零售、智能工廠和智能城市等眾多行業(yè)的變革已經(jīng)開始了。隨著新應(yīng)用對(duì)計(jì)算能力的需求日益增加，行業(yè)同時(shí)面臨著功耗和尺寸限制等一系列挑戰(zhàn)。以往，AMD主要憑借Versal、Zynq等系列產(chǎn)品滿足行業(yè)需求。然而，為了應(yīng)對(duì)更高層次的計(jì)算要求，AMD正在不斷升級(jí)，以提供更為強(qiáng)大的支持。

嵌入式AI瓶頸——亟需單芯片加速處理

一直以來(lái)，嵌入式系統(tǒng)面臨嚴(yán)格限制，比如極端的溫度條件、受限的電力供應(yīng)/空間尺寸，并且必須實(shí)現(xiàn)實(shí)時(shí)響應(yīng)，確保安全性和可靠性。而隨著AI的普及，在傳統(tǒng)挑戰(zhàn)之外，嵌入式系統(tǒng)還要滿足更高的工作負(fù)載需求。

在AI驅(qū)動(dòng)的嵌入式系統(tǒng)中，數(shù)據(jù)處理包括預(yù)處理、AI推理和后處理三個(gè)關(guān)鍵環(huán)節(jié)，每個(gè)環(huán)節(jié)都需要加速以實(shí)現(xiàn)系統(tǒng)的實(shí)時(shí)性能。預(yù)處理涉及多種傳感器的數(shù)據(jù)融合和交集，是實(shí)現(xiàn)實(shí)時(shí)處理的關(guān)鍵步驟；AI推理通常由矢量處理器執(zhí)行；后處理則依賴高性能的嵌入式CPU。由于沒(méi)有單一類型的處理器能夠優(yōu)化這三個(gè)階段，因此需要一系列不同的處理器來(lái)針對(duì)各個(gè)環(huán)節(jié)進(jìn)行優(yōu)化。

構(gòu)建這樣的系統(tǒng)通常采用多芯片解決方案。一般在預(yù)處理階段結(jié)合FPGA和SoC進(jìn)行優(yōu)化，推理階段使用非自適應(yīng)SoC，后處理階段使用高性能嵌入式CPU。當(dāng)然，AMD第一代Versal AI Edge系列產(chǎn)品提供了一種替代方案，能夠使用可編程邏輯進(jìn)行預(yù)處理，矢量處理或AI引擎進(jìn)行推理，但后處理仍需要外部處理器的支持。

以上無(wú)論哪種方法，都要用到多芯片解決方案，而這會(huì)帶來(lái)一系列問(wèn)題：比如更高的功率需求、供電復(fù)雜性、更大的占板面積和系統(tǒng)尺寸、更高的外部?jī)?nèi)存需求，以及芯片間互聯(lián)帶來(lái)的時(shí)延增加。此外，更多的組件增加了安全漏洞和潛在故障點(diǎn)，提高了報(bào)廢風(fēng)險(xiǎn)，并增加了板卡設(shè)計(jì)的時(shí)間和工作量，從而降低了生產(chǎn)效率。

AMD第二代Versal自適應(yīng)SoC實(shí)現(xiàn)“單芯片智能”

針對(duì)上述行業(yè)痛點(diǎn)，AMD宣布針對(duì)嵌入式系統(tǒng)推出第二代Versal自適應(yīng)SoC，包括：第二代Versal AI Edge系列和第二代Versal Prime系列，前者專為AI驅(qū)動(dòng)型嵌入式系統(tǒng)設(shè)計(jì)，后者則適用于經(jīng)典的嵌入式系統(tǒng)。

“單芯片智能”對(duì)嵌入式AI究竟意味著什么？根據(jù)AMD自適應(yīng)與嵌入式計(jì)算事業(yè)部( AECG ) Versal產(chǎn)品營(yíng)銷總監(jiān)Manuel Uhm的解讀，核心在于單個(gè)器件提供端到端加速的能力，能夠覆蓋數(shù)據(jù)預(yù)處理、推理和后處理三個(gè)階段。

AMD自適應(yīng)與嵌入式計(jì)算事業(yè)部( AECG )Versal產(chǎn)品營(yíng)銷總監(jiān)? Manuel Uhm

第二代Versal自適應(yīng)SoC通過(guò)可編程邏輯進(jìn)行預(yù)處理，包括傳感器融合、數(shù)據(jù)調(diào)節(jié)，同時(shí)加入了新的硬件圖像和視頻處理功能；在推理階段，新一代AI引擎AIE-ML v2實(shí)現(xiàn)了每瓦TOPS 3倍提升；后處理階段，通過(guò)集成8X Arm Cortex-A78AE應(yīng)用處理器和10X Arm Cortex-R52實(shí)時(shí)處理器，實(shí)現(xiàn)了10倍的標(biāo)量計(jì)算能力。

此外，考慮到邊緣計(jì)算對(duì)信息安全和功能安全的嚴(yán)格要求，第二代Versal系列產(chǎn)品支持ASIL D、SIL 3等標(biāo)準(zhǔn)，確保安全性能從設(shè)計(jì)初期就被納入考慮。

Manuel Uhm表示，“不同于第一代產(chǎn)品更多是進(jìn)行CPU加速，第二代Versal AI Edge系列最主要的目的是能夠形成系統(tǒng)的中央計(jì)算?；谶^(guò)去幾十年在嵌入式領(lǐng)域的深耕，AMD面向嵌入式AI提供了強(qiáng)大支持。”

一組直觀的對(duì)比可以看出第二代Versal在ADAS、智慧城市、視頻流應(yīng)用中更高級(jí)別的系統(tǒng)性能提升：

• 在L2+/L3 ADAS應(yīng)用中，由于加入硬圖像處理功能，第二代AI Edge系列在具備相近功率資源的前提下，其圖像處理能力提升了4倍。
• 在智慧城市場(chǎng)景中，第二代AI Edge系列在為邊緣AI設(shè)備占板面積帶來(lái)30%尺寸縮小的同時(shí)，支持2倍視頻流，意味著每路視頻流占板面積縮小65%。
• 在視頻流中，與Zyng MPSoC的效率相比，第二代Versal Prime系列能夠?yàn)槎喽丝诰幋a與流媒體提供2倍的視頻處理能力，使得每路視頻流占板面積縮小35%。

如何在三大處理階段實(shí)現(xiàn)“單芯片智能”？

Manuel Uhm深入解釋了第二代Versal自適應(yīng)SoC在預(yù)處理、推理、后處理三個(gè)階段的具體表現(xiàn)和實(shí)現(xiàn)方式。

預(yù)處理階段最主要的目標(biāo)就是降低時(shí)延、增加確定性。這個(gè)階段如果使用非自適應(yīng)SoC，I/O接口或硬ISP數(shù)量非常有限，缺少靈活性。如果想導(dǎo)入不同的傳感器或是數(shù)據(jù)類型時(shí)，必須通過(guò)外部存儲(chǔ)或緩存，這會(huì)導(dǎo)致處理效率低、時(shí)延增加。

“預(yù)處理階段，自適應(yīng)性就相當(dāng)于靈活性，意味著它能夠和任何傳感器、任何接口連接。處理器受限于指令集內(nèi)容，而自適應(yīng)性可以對(duì)硬件實(shí)現(xiàn)定制，適配不同的性能，同時(shí)可以實(shí)現(xiàn)實(shí)時(shí)。通過(guò)可編程的方式，可以做到真正的靈活性”， Manuel Uhm指出。

AI推理方面，與第一代主要通過(guò)可編程邏輯來(lái)實(shí)現(xiàn)AI引擎控制不同，第二代產(chǎn)品的控制處理器包含在AI引擎陣列中，并且進(jìn)行了硬化處理。也就是說(shuō)，AI引擎控制的工作無(wú)需交由可編程邏輯處理，多出來(lái)的可編程邏輯資源可被用于傳感器和其他數(shù)據(jù)的處理工作。

由于AI推理面臨高吞吐量和精準(zhǔn)度的雙重要求，第二代Versal AI Edge系列通過(guò)支持多種數(shù)據(jù)類型，滿足了不同級(jí)別的精確度和吞吐量需求。例如引入共享指數(shù)數(shù)據(jù)類型，使得在不犧牲精確度的前提下，吞吐量得到了顯著提升，在MX6數(shù)據(jù)類型Dense配置下，最高端性能可達(dá)369 TFLOPS，與INT8類型最高可實(shí)現(xiàn)184 TOPS的性能相比，實(shí)現(xiàn)了約60%的每瓦TOPS提升。此外，AIE-ML v2 AI引擎還能夠處理數(shù)據(jù)信號(hào)，如FIR和FFT等。

為了充分發(fā)揮AI引擎的強(qiáng)大性能，配套的軟件包也必須強(qiáng)大且易于使用，以便開發(fā)者能夠利用熟悉的工具進(jìn)行部署和優(yōu)化。Vitis AI就是這樣一個(gè)軟件包，它允許開發(fā)者使用開源工具如PyTorch和TensorFlow等進(jìn)行模型優(yōu)化和推理，從而更好地發(fā)揮Versal AI Edge系列器件的潛力。

后處理階段，如前所述，新產(chǎn)品可以提供高達(dá)10倍的標(biāo)量算力。這主要離不開針對(duì)復(fù)雜決策與類似工作負(fù)載的應(yīng)用處理單元（APU），具有8倍的Arm Cortex-A78AE核心，每核心最高頻率高達(dá)2.2GHz，并且具備高達(dá)200.3K的DMIPS算力；針對(duì)控制功能的實(shí)時(shí)處理單元（RPU），具有高達(dá)10倍的Arm Cortex-R52核心，每核心最高頻率高達(dá)1.05GHz，以及高達(dá)28.5K的DMIPS算力；此外，ASIL D及SIL3級(jí)別的設(shè)計(jì)，也大幅提升了新產(chǎn)品應(yīng)對(duì)系統(tǒng)故障的能力。

“對(duì)比以往多芯片AI驅(qū)動(dòng)型嵌入式系統(tǒng)，第二代Versal AI Edge系列在單個(gè)器件中實(shí)現(xiàn)了端到端嵌入式系統(tǒng)加速，并且，采用外部安全微控制器或外部?jī)?nèi)存的需求也降到最低，不需要在多個(gè)處理器之間去分享工作流，提高了效率，免去了額外開銷”，Manuel Uhm總結(jié)。

斯巴魯EyeSight視覺(jué)系統(tǒng)是使用第二代Versal AI Edge系列產(chǎn)品的典型案例。雙方通過(guò)合作，使得下一代EyeSight視覺(jué)系統(tǒng)的碰撞前制動(dòng)、車道偏離預(yù)警、自適應(yīng)巡航控制和車道保持輔助性能得到了進(jìn)一步的提升。而且，利用可編程邏輯，斯巴魯還可以實(shí)時(shí)修改立體攝像頭的處理算法，進(jìn)一步強(qiáng)化了車輛安全性能。

據(jù)了解，第二代Versal AI Edge系列和第二代的Versal Prime系列早期試用計(jì)劃已經(jīng)展開，早期的訪問(wèn)文檔已經(jīng)發(fā)布，目前正與包括斯巴魯在內(nèi)的主要客戶進(jìn)行接洽。芯片樣片將于2025年上半年發(fā)布，評(píng)估套件和系統(tǒng)模塊(SOM)將于2025年年中推出，量產(chǎn)芯片將于2025年末面市。

推動(dòng)“無(wú)處不在的AI”，實(shí)現(xiàn)更廣泛的智能化

AI正在經(jīng)歷快速的發(fā)展和變革，新興模型如Transformer在短短幾年內(nèi)已成為行業(yè)焦點(diǎn)，而未來(lái)可能出現(xiàn)的全新模型更是無(wú)法預(yù)測(cè)。要在這樣快速變化的環(huán)境中保持競(jìng)爭(zhēng)力，平臺(tái)的適應(yīng)性和靈活性變得至關(guān)重要。

這也是為什么，AMD致力于開發(fā)一個(gè)具有高度伸縮性的平臺(tái)，希望它能夠靈活適配未來(lái)市場(chǎng)的處理需求。

目前，AMD的AI布局主要聚焦于推理和訓(xùn)練。未來(lái)，幾大產(chǎn)品線將如何提供相應(yīng)支持？根據(jù)Manuel Uhm的表述，訓(xùn)練端將主要依賴于CPU、GPU的強(qiáng)大能力，并輔以Alveo等自適應(yīng)加速產(chǎn)品；在邊緣推理方面，將主要依靠AI引擎和可編程邏輯來(lái)執(zhí)行推理任務(wù)，發(fā)揮自適應(yīng)平臺(tái)的關(guān)鍵能力。

在分布式機(jī)器學(xué)習(xí)的趨勢(shì)下，訓(xùn)練和學(xué)習(xí)任務(wù)也被推送到邊緣設(shè)備執(zhí)行，而不是集中在云端。這種方法減少了數(shù)據(jù)回傳云端所導(dǎo)致的時(shí)延，使得邊緣設(shè)備能夠進(jìn)行實(shí)時(shí)學(xué)習(xí)和適應(yīng)，AMD的產(chǎn)品也可適用這種場(chǎng)景。

此外，隱私保護(hù)成為AI應(yīng)用中的一個(gè)重要考量。隨著對(duì)數(shù)據(jù)隱私的關(guān)注日益增加，越來(lái)越多的用戶和企業(yè)希望在本地設(shè)備上進(jìn)行數(shù)據(jù)處理，而不是將數(shù)據(jù)上傳到云端。AMD也關(guān)注在邊緣設(shè)備上進(jìn)行訓(xùn)練和推理的解決方案，以滿足對(duì)隱私保護(hù)的需求。

Manuel Uhm表示，通過(guò)上述戰(zhàn)略布局，AMD正積極應(yīng)對(duì)AI領(lǐng)域的主要挑戰(zhàn)，旨在推動(dòng)實(shí)現(xiàn)“無(wú)處不在的AI”，實(shí)現(xiàn)更廣泛的智能化。