讓自適應(yīng)計(jì)算躋身主流處理器，賽靈思的三道必答題

什么是自適應(yīng)計(jì)算？業(yè)界有這么多的計(jì)算平臺(tái)，如CPU、GPU、DSP等，為什么還需要自適應(yīng)計(jì)算？自適應(yīng)計(jì)算能給業(yè)界帶來(lái)什么？這些問(wèn)題，是賽靈思于2018年推出自適應(yīng)計(jì)算加速平臺(tái)（Adaptive Compute Acceleration Platform）時(shí)，被問(wèn)到的最多的問(wèn)題。時(shí)隔三年，賽靈思又取得了哪些進(jìn)展？

今年5月，賽靈思總裁兼首席執(zhí)行官Victor Peng在接受媒體采訪時(shí)曾表示，過(guò)去三年，賽靈思處于從FPGA公司向自適應(yīng)計(jì)算平臺(tái)公司轉(zhuǎn)型的過(guò)程中。盡管面臨各種外部挑戰(zhàn)，但仍能保持當(dāng)前的成長(zhǎng)之路，這期間的幾項(xiàng)重要決定，為未來(lái)奠定了積極的方向，這其中的一個(gè)重大決策就包括：讓平臺(tái)更易于使用，讓自適應(yīng)計(jì)算為更多的創(chuàng)新者賦能。?

日前，賽靈思人工智能及軟件業(yè)務(wù)市場(chǎng)總監(jiān)羅霖（ Andy Luo）在接受<與非網(wǎng)>采訪時(shí)，進(jìn)一步闡釋了如何推動(dòng)自適應(yīng)計(jì)算力量的普及化，以及如何讓自適應(yīng)計(jì)算流行起來(lái)。

?

?

自適應(yīng)計(jì)算能為業(yè)界帶來(lái)什么？

羅霖首先指出了自適應(yīng)計(jì)算與其他計(jì)算方式的根本區(qū)別——不論是基于CPU、GPU或其他計(jì)算平臺(tái)做開發(fā)，需要優(yōu)化軟件來(lái)適應(yīng)硬件，也就是說(shuō)，硬件是固定的，只能通過(guò)改寫代碼來(lái)提升平臺(tái)性能。而自適應(yīng)計(jì)算的概念恰好相反，平臺(tái)可提供開發(fā)工具、加速API等，可以為具體應(yīng)用優(yōu)化硬件、定義軟件，并且這種優(yōu)化是持續(xù)不斷進(jìn)行的，即使是產(chǎn)品量產(chǎn)后，在部署階段也可以進(jìn)行優(yōu)化。簡(jiǎn)言之，所謂自適應(yīng)計(jì)算，就是根據(jù)具體的應(yīng)用優(yōu)化硬件，硬件是軟件定義的、軟件可編程的，是新一代的計(jì)算形式。?

至于為什么需要自適應(yīng)計(jì)算？則是在當(dāng)前創(chuàng)新步伐加速之下，賽靈思著力推進(jìn)的技術(shù)路線，它主要包含兩方面：一是提高創(chuàng)新效率，二是提供面向所有開發(fā)者的易用性。

羅霖表示，為了讓更多的開發(fā)者能夠獲益于自適應(yīng)計(jì)算平臺(tái)開發(fā)的高效率，賽靈思將易用性作為重要的戰(zhàn)略著力點(diǎn)。通過(guò)為開發(fā)者提供他們熟悉的編程語(yǔ)言、框架和集成開發(fā)環(huán)境，以及足夠的加速API庫(kù)和參考設(shè)計(jì)，大幅降低了自適應(yīng)計(jì)算的門檻，開發(fā)者上手設(shè)計(jì)的速度也得以大幅提升。

“自適應(yīng)計(jì)算”背后，蘊(yùn)藏了賽靈思從云端到邊緣再到終端的決心和方向，即：將最新的架構(gòu)創(chuàng)新提供給端到端應(yīng)用的每一個(gè)部分，軟件和 AI 開發(fā)者只需借助硬件抽象工具，就能充分發(fā)揮它的優(yōu)勢(shì)，而無(wú)需成為硬件專家。

如何推動(dòng)自適應(yīng)計(jì)算力量的普及？

過(guò)往的發(fā)展證明，任何計(jì)算形式的普及、任何計(jì)算平臺(tái)的流行，都離不開開發(fā)者，離不開生態(tài)系統(tǒng)的不斷壯大。為了讓自適應(yīng)計(jì)算流行起來(lái)，賽靈思需要不斷開拓開發(fā)者生態(tài)系統(tǒng)，賦能所有開發(fā)者。

賦能所有開發(fā)者——這是一個(gè)橫跨軟件和硬件開發(fā)者的雄心勃勃的計(jì)劃。這意味著，在最基本的芯片和組件之上，需要一個(gè)完整的堆棧，提供靈活的硬件平臺(tái)、涵蓋不同的處理單元、開發(fā)工具，覆蓋面向不同開發(fā)環(huán)境、開發(fā)群體的適應(yīng)性和彈性。這一龐大的愿景，賽靈思如何實(shí)現(xiàn)？

羅霖介紹，基于Versal ACAP異構(gòu)加速硬件平臺(tái)，上層涵蓋了標(biāo)量引擎、可編程邏輯、AI加速引擎在內(nèi)的不同處理單元，以及硬件IP、加速庫(kù)、定制硬件和專門的AI加速庫(kù)等。在此基礎(chǔ)之上，還有三種不同的開發(fā)工具：適合于底層硬件IP、加速庫(kù)開發(fā)的Vivado；面向軟件開發(fā)者的集成式開發(fā)環(huán)境和平臺(tái)Vitis，開發(fā)者可以使用熟悉的高層次語(yǔ)言C、C++和Python來(lái)進(jìn)行編程；還有專門針對(duì)AI推理的開發(fā)平臺(tái)Vitis AI，支持AI開發(fā)者使用熟悉的框架，如TensorFlow、PyTorch、Caffe來(lái)訓(xùn)練模型，再通過(guò)Vitis AI來(lái)進(jìn)行部署，讓AI模型能夠高效在硬件平臺(tái)上實(shí)現(xiàn)。

為了持續(xù)解鎖開發(fā)者的生產(chǎn)力，賽靈思在不斷推出新的開發(fā)工具和面向新應(yīng)用的開發(fā)平臺(tái)。今年6月推出了基于機(jī)器學(xué)習(xí)的 VivadoML版本，剛剛又發(fā)布了針對(duì)AI智能視頻分析應(yīng)用的新工具 Vitis Video Analytics SDK。

據(jù)介紹，基于機(jī)器學(xué)習(xí)的VivadoML版本是一個(gè)突破性的升級(jí)：通過(guò)在Vivado環(huán)境中使用機(jī)器學(xué)習(xí)技術(shù)來(lái)提升布線的時(shí)延優(yōu)化，進(jìn)行模塊化的自動(dòng)化設(shè)計(jì)，從而將結(jié)果質(zhì)量(QoR)平均提升了約10%(在不同的測(cè)試的用例中甚至?xí)岣?0%)。同時(shí)，還有基于可重配置模塊的層級(jí)化編譯器，用戶可以自定義模塊，再通過(guò)賽靈思工具進(jìn)行增量編譯和并行編譯，從而將平均編譯時(shí)間縮短5倍，最高縮短17倍。

在針對(duì)新應(yīng)用的開發(fā)平臺(tái)方面，賽靈思選擇了智能視頻分析作為切入點(diǎn)，推出了視頻分析SDK?；贠mdia報(bào)告，賽靈思預(yù)測(cè)2020至2027年，AI推理市場(chǎng)年復(fù)合增長(zhǎng)率將為35%，其中，55%的AI推理應(yīng)用都將基于圖像、視頻，這也正是賽靈思推出視頻分析SDK的一大原因。
?

Vitis Video SDK底層基于賽靈思Alveo嵌入式平臺(tái)，支持運(yùn)行時(shí)庫(kù)、Vitis、Vitis AI、Gstreamer多媒體協(xié)議、以及包括視頻編解碼、圖像預(yù)處理等插件。為了構(gòu)建智慧城市、智慧零售、智慧醫(yī)療、智慧建筑等方面的應(yīng)用，Vitis Video SDK還提供了C++和Python接口，支持TensorFlow、Pytorch、Caffe等主流框架模型，開發(fā)者無(wú)需使用RTL進(jìn)行編程，所有的編程都基C++和Python API，開發(fā)效率得以大幅提升。

?
根據(jù)展示的評(píng)測(cè)數(shù)據(jù)，在視頻解碼預(yù)處理加車牌識(shí)別場(chǎng)景下，賽靈思的Kria SOM可以運(yùn)行3路數(shù)據(jù)流，英偉達(dá)Jetson Nano、TX2只能運(yùn)行1-2路，賽靈思可提供約1.5~3倍的性能；Alveo加速卡方面，主要工作負(fù)載為運(yùn)行視頻解碼預(yù)處理、目標(biāo)檢測(cè)和分類，Versal VCK5000可以實(shí)現(xiàn)32路，英偉達(dá)T4約為16路，賽靈思可提供高出2倍的吞吐量。

從可編程FPGA到自適應(yīng)計(jì)算平臺(tái)，AI和機(jī)器學(xué)習(xí)在賽靈思的技術(shù)演進(jìn)中發(fā)揮了重大作用。羅霖以視覺分析為例介紹，傳統(tǒng)算法更多是基于規(guī)則、基于計(jì)算機(jī)視覺的，在自適應(yīng)計(jì)算平臺(tái)中，賽靈思提供了可靈活配置、可伸縮的AI加速引擎DPU，用戶可以根據(jù)硬件平臺(tái)來(lái)配置和集成該引擎，根據(jù)芯片的不同來(lái)選擇引擎的大小，從而實(shí)現(xiàn)有效的AI加速，這就是自適應(yīng)計(jì)算理念的典型呈現(xiàn)，即根據(jù)應(yīng)用和工作負(fù)載，來(lái)定制硬件、適配軟件。

如何擴(kuò)大生態(tài)影響力？

為了提高開發(fā)者技能，助力開發(fā)者在自適應(yīng)計(jì)算平臺(tái)上進(jìn)行更多、更好的項(xiàng)目設(shè)計(jì)，賽靈思去年底推出了新的開發(fā)者計(jì)劃 （ Xilinx Developer Program ），推出了全新設(shè)計(jì)的開發(fā)者網(wǎng)站，為開發(fā)者提供Vivado、Vitis、Vitis AI相關(guān)的開發(fā)資源(項(xiàng)目、工程、底層設(shè)計(jì))；上線了賽靈思應(yīng)用商店（AppStore），用戶可以線上購(gòu)買 Alveo 卡和 Kria SOM；通過(guò) GitHub 項(xiàng)目和支持開源社區(qū)，提升用戶對(duì)賽靈思開源的認(rèn)知度；增加了虛擬培訓(xùn)課程，發(fā)布了不同的培訓(xùn)視頻，并創(chuàng)建了更多技術(shù)電子書；推出大學(xué)計(jì)劃，并主辦了自適應(yīng)計(jì)算挑戰(zhàn)賽等賽事；推出開發(fā)者認(rèn)證計(jì)劃，針對(duì)通過(guò)認(rèn)證的開發(fā)者，提供早期使用（ Early Access ）機(jī)會(huì)，讓他們能夠率先接觸到賽靈思最新的技術(shù)。

值得一提的是，今年舉辦的第二屆自適應(yīng)計(jì)算挑戰(zhàn)賽，大賽的規(guī)模將是去年的2倍，預(yù)計(jì)將吸引2000名參賽選手，最終將評(píng)選出360名入圍選手，15名獲獎(jiǎng)?wù)?，?jiǎng)金總額7萬(wàn)美金。本屆賽事還增設(shè)了兩個(gè)特殊獎(jiǎng)項(xiàng)：賽靈大學(xué)計(jì)劃(XUP)和科技女性(WIT, Women in Technology)專項(xiàng)獎(jiǎng)，來(lái)推動(dòng)高等院校自適應(yīng)計(jì)算的創(chuàng)新、以及技術(shù)領(lǐng)域的多元化發(fā)展。

羅霖表示，在工具采用方面，已經(jīng)顯露出強(qiáng)勁的發(fā)展勢(shì)頭。據(jù)統(tǒng)計(jì)，Vitis下載量已經(jīng)超過(guò)15萬(wàn)次，Vitis AI下載量超過(guò)10萬(wàn)次，而50%以上的下載都來(lái)自于新用戶；開發(fā)者計(jì)劃推出約8個(gè)月，目前已經(jīng)突破了10000注冊(cè)人數(shù)；應(yīng)用商店上線半年時(shí)間，已經(jīng)覆蓋了200多個(gè)不同應(yīng)用。賽靈思希望不斷降低自適應(yīng)計(jì)算門檻，擁抱所有開發(fā)者及數(shù)據(jù)科學(xué)家，真正做到讓自適應(yīng)計(jì)算流行起來(lái)。