?
芯片作為產業(yè)鏈技術要求最高的環(huán)節(jié)之一,往往是最難攻克的陣地。2016 年,我們談中國集成電路在芯片環(huán)節(jié)還比較薄弱;2017 上半年,我們說我國與美國的差距主要在硬件方面,尤其是芯片環(huán)節(jié);2017 下半年及 2018 年,我們看到一批本土 AI 芯發(fā)布,很多還帶有“首款”的榮譽稱號,首款嵌入式 AI 芯、首款人臉識別 AI 芯、首款 AI 移動芯片等等。
似乎,集成電路最難攻克的環(huán)節(jié)——芯片,在 AI 大環(huán)境下,一切都變得那么 EASY。這是真的嗎?
以上是一位與非網(wǎng)友向小編表達出的疑惑。近期,小編收到很多網(wǎng)友關于 AI 芯的疑惑。那么,在近期的《AI 發(fā)現(xiàn)》中,我們將結合與非網(wǎng)友的疑惑,講一講 AI 芯那些事。
?
AI 芯定義
廣義上講,可以運行 AI 算法的都可以稱為 AI 芯片,只不過效率有高有低;狹義上說,針對 AI 算法專門做了特殊加速設計的芯片才是 AI 芯片。
AI 芯的硬件核心
AI 芯的核心就是神經(jīng)網(wǎng)絡加速器,或者叫深度學習加速器。
AI 芯分類
芯片架構,四大類芯片
基于 FPGA 的半定制化芯片,代表如深鑒科技 DPU、百度 XPU 等;
全定制化 ASIC 芯片,代表如 TPU、寒武紀 Cambricon-1A 等;
類腦計算芯片,代表如 IBM TrueNorth、westwell、高通 Zeroth 等。
功能,訓練( Training)與推理(Inference)
訓練(Training):通常需要通過大量的數(shù)據(jù)輸入,或采取增強學習等非監(jiān)督學習方法,訓練出一個復雜的深度神經(jīng)網(wǎng)絡模型。
?
該過程對處理器的計算能力、精度、可擴展性等性能要求很高,能勝任此環(huán)節(jié)工作的芯片有英偉達的 GPU 集群與 Google? TPU2.0。
?
推理(Inference):利用訓練好的模型,使用新的數(shù)據(jù)去“推理”出各種結論。
?
相比訓練過程,推理的計算量像是個“小兒科”,盡管如此,但此過程也涉及大量的矩陣運算。GPU、FPGA 和 ASIC 在此過程發(fā)揮作用。
?
?
應用場景,云端(Cloud/DataCenter)與設備端(Device/Embedded)
目前,訓練環(huán)節(jié)只能在云端實現(xiàn)。GPU、FPGA、ASIC(Google TPU1.0/2.0)等都已應用于云端訓練環(huán)境。
設備端對 AI 芯的需求差異大、數(shù)量龐大,低功耗、低延遲、低成本是該領域需求趨勢,如今的 xPU 與 ASIC 熱更多集中于該領域。
搞清楚各類芯在 AI 格局中所在的位置后,我們就集中精力解答如下的問題:
AI 芯與 AI 通用芯的趨勢是什么?
AI 通用芯的玩法有哪些? 誰才是王道?
?
與非觀點:
AI 芯的趨勢:從通用到專用。
該趨勢包含兩個層次的含義:某些應用場景,AI 專用芯取代 AI 通用芯;AI 通用芯,從通用到為 AI 定制。
AI 通用芯玩法:CPU、GPU、FPGA 和 DSP 共存。
市場首批 AI 芯片,幾乎都是以現(xiàn)成的 CPU、GPU、FPGA 和 DSP 加以組合而成,是和平共處的局面;如今,他們卻被視作互撕的幾股勢力?;蛟S情況并不是這樣,各種 AI 芯玩法都有存在的意義。
AI 通用芯之間的競爭,是一場舊勢力新套路的競爭。
?
與非論據(jù):
AI 芯的趨勢
曾經(jīng)提及 AI 通用芯的較量,主要是 CPU 與 GPU 兩股勢力;后來 CPU 漸漸淡出大眾視線,GPU 成為 AI 界寵兒。2016~2017 年,英特爾與英偉在 AI 市場的地位及發(fā)展也能說明這一點。
黃仁勛曾在演講中表示,CPU 的時代結束了。
英特爾懟回去說:不單 CPU 不行了,GPU 也不行了。
?
這說明,英特爾肯定了通用 CPU 在 AI 領域無力的事實,同時對通用 GPU 也提出了質疑。
那么,短板在哪?是“通用”還是“處理器類型”?
?
小編認為是“通用”,而不同處理器類型是面向不同應用場景總有自身可發(fā)揮的優(yōu)勢。
GPU 贏過 CPU 就是因為 GPU 比 CPU 專用。GPU 借助在深度學習方面的優(yōu)勢,成為最有競爭力的 AI 芯片;CPU 通用性強,適用于串行計算,對于 AI 算力而言,較緩慢。當然,CPU 與 GPU 都不是發(fā)展 AI 最專用的芯片。
2017 年 12 月,IBM 推出首個為 AI 而生的服務器 CPU POWER9,旨在為數(shù)據(jù)密集型人工智能工作負載管理自由流動數(shù)據(jù)、流傳感器及算法。該處理器采用 14 納米技術,嵌入 80 億個晶體管。
?
POWER9 試圖通過最新的技術和聯(lián)盟來解決系統(tǒng)短板——異構處理器是否有足夠的帶寬與系統(tǒng)的其它部分進行通信。
?
從通用 CPU 到 AI 定制 CPU,POWER9 代表了 CPU 行業(yè)在 AI 領域的發(fā)展趨勢。
?
對于云端 AI 芯片市場,小公司只能覬覦,這是一場屬于寥寥可數(shù)大公司的權利游戲,云端發(fā)展不只需要有高運算力的芯片,還得營造出生態(tài)系,基本上供應商就是這幾家巨頭。但對于終端市場,能實現(xiàn)更小功耗、更低成本的 xPU 與 ASIC 將成為主流。這就注定通用 AI 芯向專用 AI 芯發(fā)展的趨勢。
?
AI 通用芯玩法
CPU & GPU
黃仁勛曾表示:GPU 不會替代 CPU,它是攜手和 CPU 共同工作的,這也是我們?yōu)槭裁窗阉Q之為加速器,CPU 是通用型的,什么場景都可以適用。但是 GPU 在一些專門的問題上是能量非常大的。它的性能要比 CPU 超過 10 倍,50 倍甚至百倍。最完美的架構就是“萬事皆能的 CPU”+“勝任重大計算挑戰(zhàn)的 GPU”。
我們先來看看 CPU 與 GPU 的對比情況:
英特爾 CPU 與英偉達 GPU 性能對比圖
?
CPU 功能模塊很多,能適應復雜運算環(huán)境;GPU 構成相對簡單,對 Cache 需求小,大部分晶體管可以組成各類專用電路、多條流水線,使得 GPU 的計算速度有了突破性的飛躍,擁有了更強大的處理浮點運算的能力。
?
CPU 與 GPU 結構對比示意圖
?
GPU 未來的主攻方向是高級復雜算法和通用性人工智能平臺。但 GPU 無法單獨工作,必須由 CPU 進行控制調用才能工作。這也就是黃仁勛為何強調“CPU+GPU”的模式了。
?
CPU 向 AI 發(fā)力的重要一大方向就是加速了 CPU 和 GPU、FPGA 甚至 TPU 之間的通信。POWER9 也印證了這一觀點,POWER9 將加速 POWER 和 GPU、FPGA、TPU 之間的合作。比如支持最新的英偉達 Nvida NVLINK 技術,可大幅提升 GPU 與 CPU 之間的數(shù)據(jù)交換速度。
?
GPU 未來的主攻方向是高級復雜算法和通用性人工智能平臺。
FPGA
FPGA 兼顧了低功耗和高運算能力的優(yōu)勢,F(xiàn)PGA 在 AI 領域的優(yōu)勢是加速和異構計算,比如騰訊云的 FPGA 加速可以實現(xiàn)比通用 CPU 型服務器快 30 倍的性能。
FPGA 和 GPU 未來在超級數(shù)據(jù)中心將成主流應用,尤其是在深度學習方面,在這方面 GPU 強在訓練,而 FPGA 強在推斷。
賽靈思曾表示:伙伴廠商利用 FPGA 芯片進行基因體定序與優(yōu)化語音識別所需的深度學習,察覺 FPGA 的耗能低于 GPU 且處理速度較快。相較于 GPU 只能處理運算,F(xiàn)PGA 能以更快速的速度一次處理所有與 AI 相關的信息。
?
DSP
DSP 是 AI 通用芯里面最低調的,或者說最受重視的。
我們先來看看驍龍 845 如何發(fā)揮 AI 實力吧。
?
與華為、蘋果采用 ASIC 方式來不同,高通驍龍 845 利用基于分布式架構的神經(jīng)網(wǎng)路處理引擎(SNPE),運行在驍龍異構平臺的 CPU、GPU、DSP 等每一個單元上。
?
Hexagon 685 DSP 不僅只是一塊用于處理語音和音頻的解碼器,由于采用了異步計算架構,支持矢量計算,因此可用于 AI 以及神經(jīng)運算,在虛擬現(xiàn)實、增強現(xiàn)實、圖像處理、視頻處理、計算視覺等功能中發(fā)揮作用。
DSP 核心主要供貨商 CEVA 認為,若要在嵌入式系統(tǒng)中實現(xiàn) CNN(卷積神經(jīng)網(wǎng)絡),DSP 將能取代 GPU 和 CPU,因 CNN 在本質上,就十分適合運用 DSP。
DSP 能夠實現(xiàn)平行處理,核心利用率高。據(jù)悉,相較 GPU 只能達到 40~50%的使用率,DSP 甚至達到 90%以上的核心使用率。業(yè)內專家表示,對于一些應用場景,以 DSP 架構驅動的 CNN 引擎,在成本與功耗上皆具優(yōu)勢。
關于 AI 通用芯的情況就講完了。
回顧 2017,我們發(fā)現(xiàn)我國的 AI 芯熱主要集中于半定制化芯片與全定制化 ASIC 芯片領域。與非網(wǎng)友關于“集成電路最難攻克的環(huán)節(jié)(芯片),在 AI 大環(huán)境下,一切都變得那么 EASY?”的問題,我們將在下期《AI 發(fā)現(xiàn)》中找出答案。
如果你有更多 AI 方面的疑惑,歡迎下方留言。
與非網(wǎng)原創(chuàng)內容,未經(jīng)許可,不得轉載!
?
《AI 發(fā)現(xiàn)》專欄: