科普 | 人工智能（AI）芯片大亂斗

人工智能的概念誕生于1956年的Dartmouth學(xué)會(huì)，麥卡錫在此次會(huì)議上正式提出人工智能的概念。人工智能經(jīng)過(guò)半個(gè)多世紀(jì)的發(fā)展，目前已經(jīng)應(yīng)用在機(jī)器人，語(yǔ)音識(shí)別，圖像識(shí)別，自然語(yǔ)言處理，專(zhuān)家系統(tǒng)等領(lǐng)域。當(dāng)然還有近幾年超火的芯片設(shè)計(jì)領(lǐng)域，國(guó)內(nèi)AI芯片公司也如雨后春筍般涌現(xiàn)。地平線，燧原，天數(shù)智芯，寒武紀(jì)，比特大陸.....每家也都推出了自己的芯片產(chǎn)品。

目前市場(chǎng)上的對(duì)于AI芯片并無(wú)明確統(tǒng)一的定義，廣義上所有面向人工智能（Artificial Intelligence，AI），包括Training(訓(xùn)練)和Inference(推理)應(yīng)用的芯片都可以被稱(chēng)為AI芯片。[1]

目前市面上的AI芯片種類(lèi)太多了，各種PU（process unit）層出不窮，從最常見(jiàn)的CPU，GPU，到現(xiàn)在的BPU，DPU，VPU，NPU等等（當(dāng)然有一些PU在嚴(yán)格意義上來(lái)講，并不算AI芯片），感覺(jué)在命名上，26個(gè)英文字母已經(jīng)快不夠了，今天就梳理一下常見(jiàn)的各種PU，看看他們都是如何在各自的領(lǐng)域發(fā)揮作用的。

APU（Accelerated Processing Units）

中文名字叫加速處理器，是AMD在2011年推出的融聚未來(lái)理念產(chǎn)品。它第一次將處理器和獨(dú)顯核心做在一個(gè)晶片上，協(xié)同計(jì)算、彼此加速，使得任務(wù)可以靈活地在CPU和GPU間分配，提高效率。

就在6.1號(hào)，蘇媽現(xiàn)身主題為“AMD Accelerating – The High-Performance Computing Ecosystem.”的發(fā)布會(huì)，發(fā)布了兩款A(yù)PU，分別是R7-5700G和R5-5600，將于8月5號(hào)開(kāi)售。

當(dāng)然，APU也可以指Audio Processing Unit，專(zhuān)門(mén)用于處理聲音數(shù)據(jù)的單元。

BPU（Brain Processing Unit）

BPU是自動(dòng)駕駛芯片及解決方案公司研發(fā)的一款A(yù)I芯片?；趧?chuàng)新的人工智能專(zhuān)用計(jì)算架構(gòu) BPU，地平線已成功流片量產(chǎn)了中國(guó)首款邊緣人工智能芯片——專(zhuān)注于智能駕駛的征程(Journey) 1 和專(zhuān)注于 AIoT 的旭日(Sunrise) 1 ；2019 年，地平線又推出了中國(guó)首款車(chē)規(guī)級(jí) AI 芯片征程 2 和新一代AIoT智能應(yīng)用加速引擎旭日 2 ；2020年，地平線進(jìn)一步加速AI芯片迭代，推出新一代高效能汽車(chē)智能芯片征程 3 和全新一代 AIoT 邊緣 AI 芯片平臺(tái)旭日 3 。

近日，2021款理想ONE汽車(chē)搭載雙“征程3”芯片，地平線的AI芯片已經(jīng)受到業(yè)內(nèi)車(chē)企的廣泛認(rèn)可。

CPU（central processing unit）

這個(gè)大家太熟悉了，CPU的結(jié)構(gòu)主要包括運(yùn)算器（ALU, Arithmetic and Logic Unit）、控制單元（CU, Control Unit）、寄存器（Register）、高速緩存器（Cache）和它們之間通訊的數(shù)據(jù)、控制及狀態(tài)的總線。

DPU（Deep-Learning Processing Unit）

DPU的概念最早由深鑒科技提出，成立于2016年，其產(chǎn)品則是基于FPGA的處理單元，擁有業(yè)界較為領(lǐng)先的機(jī)器學(xué)習(xí)能力，專(zhuān)注于神經(jīng)網(wǎng)絡(luò)剪枝、深度壓縮技術(shù)及系統(tǒng)級(jí)優(yōu)化。2018年被Xilinx收購(gòu)。

DPU也指Dataflow Processing Unit 數(shù)據(jù)流處理器， Wave Computing 公司提出的AI架構(gòu)；Data storage Processing Unit，深圳大普微的智能固態(tài)硬盤(pán)處理器。

EPU（Emotion Processing Unit）

EPU這個(gè)詞，我也是第一次聽(tīng)。EPU是由Emoshape公司提出的。Emoshape是一家致力于提供可教導(dǎo)智能機(jī)器與人類(lèi)互動(dòng)技術(shù)的公司。EPU基于微控制器(MCU)設(shè)計(jì)，在人工智能(AI)、機(jī)器人和消費(fèi)電子設(shè)備中促成近乎無(wú)限的認(rèn)知過(guò)程產(chǎn)生真正情緒反應(yīng)。EPU是Ekman理論的延伸，該理論利用情緒進(jìn)化理論識(shí)別12種主要情緒。

EPU的部分主要功能包括：

• 具有高性能機(jī)器情緒意識(shí)
• 在智能機(jī)器中創(chuàng)造情緒狀態(tài)和合成情緒
• 讓人工智能或機(jī)器人能夠體驗(yàn)64萬(wàn)億種不同的情緒狀態(tài)
• 向其他人工智能技術(shù)傳送數(shù)據(jù)，以獲得一系列真實(shí)的表情和互動(dòng)，并且全面了解語(yǔ)言和評(píng)價(jià)
• 對(duì)話準(zhǔn)確率高達(dá)98%

FPU（Floating Processing Unit）

做浮點(diǎn)運(yùn)算的模塊

GPU（Graphics Processing Unit）

可以說(shuō)這幾年GPU太火爆了！國(guó)內(nèi)很多AI芯片公司都是做GPU的。在5年以前，想在國(guó)內(nèi)公司做GPU是很難的，但現(xiàn)在則有很多初創(chuàng)公司進(jìn)入GPU領(lǐng)域，比如天數(shù)，沐曦，景嘉微等。

GPU被廣泛用于嵌入式系統(tǒng)、移動(dòng)電話、個(gè)人電腦、工作站和電子游戲解決方案當(dāng)中。現(xiàn)代的GPU對(duì)圖像和圖形處理是十分高效率的，這是因?yàn)镚PU被設(shè)計(jì)為很高的并行架構(gòu)這樣使得比通用處理器CPU在大的數(shù)據(jù)塊并行處理算法上更具有優(yōu)勢(shì)。

從硬件設(shè)計(jì)上來(lái)講，CPU 由專(zhuān)為順序串行處理而優(yōu)化的幾個(gè)核心組成。另一方面，GPU則由數(shù)以千計(jì)的更小、更高效的核心組成，這些核心專(zhuān)為同時(shí)處理多任務(wù)而設(shè)計(jì)。

串行運(yùn)算示意圖

并行運(yùn)算示意圖

所以，GPU在圖像處理等任務(wù)上，有極大的優(yōu)勢(shì)，結(jié)合自動(dòng)駕駛等應(yīng)用場(chǎng)景，使得GPU成為芯片行業(yè)的新寵。

HPU（Holographic Processing Unit）

全息處理器。微軟HoloLens是世界上首臺(tái)獨(dú)立的全息計(jì)算機(jī)設(shè)備，能夠提供高清晰度的全息影像，其秘密在于HoloLens搭載的Holographic Processing Unit（全息處理單元，簡(jiǎn)稱(chēng)HPU），這是一款定制芯片，可以處理和交互不同傳感器及Intel Atom的數(shù)據(jù)串流。

IPU（Intelligence Processing Unit）

英國(guó)AI芯片創(chuàng)業(yè)公司Graphcore率先提出的概念，即智能處理器。成立于2016年，總部位于英國(guó)布里斯托，Graphcore的主要業(yè)務(wù)是設(shè)計(jì)用于AI應(yīng)用程序的處理器，為云服務(wù)等應(yīng)用提供產(chǎn)品支持。

今年5月20號(hào)，在第五屆世界智能大會(huì)上，Graphcore的MK2 IPU正式亮相，工藝為7納米，集成了594億個(gè)晶體管，具有1472個(gè)真正獨(dú)立的處理器內(nèi)核。IPU-M2000是一款即插即用的機(jī)器智能刀片式計(jì)算單元，集成了4顆MK2 IPU，可提供1 petaFLOPS機(jī)器智能計(jì)算。

JPU

JPU目前還沒(méi)有明確的概念，有一稱(chēng)說(shuō)是Job Processing Unit，叫這個(gè)名字完全沒(méi)有任何特點(diǎn)。

KPU（Knowledge Processing Unit）

嘉楠耘智的K210就是一款基于自主研發(fā)的神經(jīng)網(wǎng)絡(luò)KPU，基于RISV-V架構(gòu)，目前已經(jīng)應(yīng)用在多個(gè)領(lǐng)域。

另外中科馭數(shù)也提出了KPU概念，其KPU是專(zhuān)為加速特定領(lǐng)域核心功能計(jì)算設(shè)計(jì)的一種協(xié)處理器架構(gòu)，以功能核作為基本單元，直接對(duì)應(yīng)用中的計(jì)算密集性應(yīng)用進(jìn)行抽象和高層綜合，實(shí)現(xiàn)以應(yīng)用為中心的架構(gòu)“定制”，有效解決特定領(lǐng)域的海量數(shù)據(jù)處理問(wèn)題。

LPU

目前業(yè)內(nèi)還沒(méi)有關(guān)于LPU的定義，大家快來(lái)?yè)尠。?/p>

MPU(Micro Processing Unit)

微處理器，與CPU概念相近，不做過(guò)多的介紹。

NPU（Neural-Network Processing Unit）

做NPU的公司不止一家，這里介紹一下平頭哥的含光NPU。2019年9月，T-Head發(fā)布了首個(gè)數(shù)據(jù)中心芯片-含光800。瀚光800是一款12nm高性能人工智能推理芯片，集成了170億個(gè)晶體管，實(shí)現(xiàn)了820 TOPS的峰值計(jì)算能力。在行業(yè)標(biāo)準(zhǔn)ResNet-50測(cè)試中，實(shí)現(xiàn)了78563 IPS的推理性能和500 IPS/W的能效率比。

OPU

OPU在業(yè)內(nèi)也沒(méi)有明確的概念，有想法的同學(xué)們?cè)琰c(diǎn)下手。

PPU（Physics Processing Unit）

物理運(yùn)算處理器。PPU是進(jìn)行模擬物理計(jì)算的處理器，CPU是為了達(dá)到更快的運(yùn)算速度，GPU是為了達(dá)到更好的圖像效果，那么PPU就是用于溝通虛擬電子世界和普遍存在的物理真實(shí)，使畫(huà)面更加真實(shí)，貼近現(xiàn)實(shí)。在GDC2005首次提出PPU這個(gè)概念。

QPU（Quantum Processing Unit）

量子處理器，利用量子疊加性快速遍歷問(wèn)題的各種可能性并找到正確答案。QPU算力隨比特?cái)?shù)n的增長(zhǎng)呈冪指數(shù)2n增長(zhǎng)。目前無(wú)論國(guó)內(nèi)還是國(guó)外在量子計(jì)算領(lǐng)域都處于探索階段。

RPU

Radio Processing Unit? Resistive Processing Unit? 目前來(lái)看，PRU在業(yè)內(nèi)被提及的少之又少。這兩個(gè)概念也很少聽(tīng)到。

SPU

Service Processing Unit？Standard Product Unit？Streaming Processing Unit？沒(méi)有一個(gè)能打的！

TPU（Tensor Processing Unit）

張量處理器，它是谷歌在2015年6月的I/O開(kāi)發(fā)者大會(huì)上推出的計(jì)算神經(jīng)網(wǎng)絡(luò)專(zhuān)用芯片，為優(yōu)化自身的TensorFlow機(jī)器學(xué)習(xí)框架而打造，主要用于AlphaGo系統(tǒng)，以及谷歌地圖、谷歌相冊(cè)和谷歌翻譯等應(yīng)用中，進(jìn)行搜索、圖像、語(yǔ)音等模型和技術(shù)的處理。

至今，谷歌已經(jīng)發(fā)布了四代TPU。

UPU（unified processor unit）

是深圳中微電科技有限公司(ICube)提出的概念。特點(diǎn)是把CPU和GPU兩種異質(zhì)核統(tǒng)一在一個(gè)芯核內(nèi)，并采用獨(dú)有的不犧牲效率的多線程技術(shù)。

中微電不僅提供UPU IP，還提供芯片，其IC1是第一個(gè)基于UPU的移動(dòng)系統(tǒng)芯片，已于去年推出工程樣片，主頻600MHz，是雙核-8線程。預(yù)計(jì)明年底推出IC2芯片，主頻1GHz，四核-16線程。

VPU(Vector Processing Unit)

一指矢量處理器，是Intel收購(gòu)的Movidius公司推出的圖像處理與人工智能的專(zhuān)用芯片的加速計(jì)算核心。

還有Vision Processing Unit，Video Processing Unit，和GPU功能接近。

WPU

一指Wearable Processing Unit，Ineda Systems公司推出的可穿戴SoC產(chǎn)品，現(xiàn)在已經(jīng)沒(méi)有消息了。二指Web Processing Unit。

XPU

X代表未知，代表無(wú)限，任何一個(gè)尚未研發(fā)出來(lái)的處理器都可以認(rèn)為是X處理器！目前的話，如果非要選一個(gè)，那么就選Xilinx-XPU吧。

YPU

這個(gè)真沒(méi)有......

ZPU(Zylin Processing Unit)

Zylin是一家挪威公司，ZPU是其推出的一款32位開(kāi)源處理器。目前我們依然可以在github上看到它的開(kāi)源代碼。

zylin/zpu

在人工智能，深度學(xué)習(xí)等概念全面融入芯片設(shè)計(jì)的時(shí)代，各家AI芯片公司順勢(shì)而起，各種概念也是層出不窮。而26個(gè)英文字母也面臨著即將用盡的情況。沒(méi)關(guān)系，不用慌，大不了用兩個(gè)字母嘛。在未來(lái)的AI芯片浪潮中，能有多少能真正把概念做成產(chǎn)品推廣到市場(chǎng)還是未知數(shù)。芯片是一個(gè)盈利周期長(zhǎng)且投資巨大的行業(yè)，潮水退去后，我們就知道到底哪些公司在裸泳。

AI芯片設(shè)計(jì)在國(guó)內(nèi)處于百花齊放的狀態(tài)，相比國(guó)外，我們不算落后，這是我們希望看到的，也希望AI芯片能為我們帶來(lái)更具想象力的應(yīng)用場(chǎng)景。

參考
^https://www.graphcore.ai/posts/machine-learning-processors-for-both-training-and-inference