端側(cè)AI應(yīng)用提速，AIoT芯片群雄逐鹿

作者：彭昭（智次方創(chuàng)始人、云和資本聯(lián)合創(chuàng)始合伙人）物聯(lián)網(wǎng)智庫(kù) 原創(chuàng)

這是我的第351篇專欄文章。

在11月舉辦的2025年AIoT產(chǎn)業(yè)年會(huì)上，一個(gè)引人深思的話題激發(fā)了業(yè)界的討論，《端側(cè)小模型們的春天來(lái)到了嗎？》。

隨著端側(cè)AI技術(shù)的日益成熟和市場(chǎng)需求的不斷釋放，業(yè)界對(duì)端側(cè)小模型的進(jìn)展高度關(guān)注，與此同時(shí)，AIoT芯片的進(jìn)步也備受矚目。

傳統(tǒng)上，芯片制造商始終將卓越的計(jì)算性能視為首要追求。然而，AIoT應(yīng)用的多樣化需求對(duì)芯片提出了更高的要求：在計(jì)算能力、內(nèi)存、延遲和能效之間實(shí)現(xiàn)微妙平衡，以滿足特定領(lǐng)域的差異化需求。

與此同時(shí)，我們看到小型、特定于應(yīng)用場(chǎng)景的語(yǔ)言模型正在興起。相比大型語(yǔ)言模型，這些小模型所需的計(jì)算資源更加經(jīng)濟(jì)高效，由此推動(dòng)了端側(cè)AI和AIoT芯片的蓬勃發(fā)展。

然而，讓生成式AI在端側(cè)“跑”起來(lái)絕非易事。這不僅需要對(duì)大模型進(jìn)行“瘦身”優(yōu)化，更需要在硬件的功耗和算力上取得突破性進(jìn)展。

在本文中，我們將重點(diǎn)剖析端側(cè)AI的最新進(jìn)展，探索AIoT芯片的創(chuàng)新應(yīng)用場(chǎng)景，并聚焦新興芯片供應(yīng)商的前沿布局和技術(shù)探索。

端側(cè)AI的進(jìn)化之路：從感知到理解再到創(chuàng)造

“端側(cè)AI”是指AI可以直接在移動(dòng)設(shè)備上處理數(shù)據(jù)，無(wú)需連接到服務(wù)器或云端，能夠在用戶設(shè)備本地完成復(fù)雜的推理和決策。端側(cè)AI在對(duì)硬件提出更高要求的同時(shí)，也對(duì)其算力、能效以及軟硬件協(xié)同等方面提出了新的挑戰(zhàn)。為了滿足端側(cè)AI的需求，AIoT芯片的能力日益增長(zhǎng)。AIoT芯片是一種集成了人工智能和物聯(lián)網(wǎng)技術(shù)的系統(tǒng)級(jí)芯片，旨在實(shí)現(xiàn)智能化設(shè)備的連接、控制和數(shù)據(jù)處理。

需要說(shuō)明的是，本文所界定的“端側(cè)”并不包括手機(jī)和電腦，而是特指物聯(lián)網(wǎng)終端設(shè)備，如網(wǎng)關(guān)、攝像頭、眼鏡、耳機(jī)、手表、車載終端、機(jī)器人等。

即使設(shè)備未連接到網(wǎng)絡(luò)，端側(cè)AI也可以隨時(shí)使用。要充分實(shí)現(xiàn)這一技術(shù)，嵌入式神經(jīng)網(wǎng)絡(luò)處理單元NPU的性能至關(guān)重要。研究機(jī)構(gòu)Counter Points預(yù)測(cè)，未來(lái)AIoT模塊的計(jì)算能力將實(shí)現(xiàn)指數(shù)級(jí)的大幅增長(zhǎng)，7年內(nèi)配備NPU的模塊數(shù)量將達(dá)到目前的31倍。

然而，實(shí)現(xiàn)端側(cè)AI并非易事。絲滑的AI體驗(yàn)通常需要搭配強(qiáng)大的計(jì)算能力，而設(shè)備上或邊緣處理需要實(shí)時(shí)處理數(shù)據(jù)，并需要低功耗和高性能芯片，這增加了專用AIoT芯片開(kāi)發(fā)的復(fù)雜性。

在文章《從LLM大模型到SLM小模型再到TinyML，這個(gè)領(lǐng)域有望增長(zhǎng)31倍并催生新的商業(yè)模式》中，我曾介紹過(guò)在人工智能的世界里，終端、邊緣和云端扮演著截然不同的角色。它們?cè)谛螒B(tài)、功能和應(yīng)用場(chǎng)景上的差異如此之大，以至于可以將其視為完全不同的實(shí)體。

端側(cè)AI經(jīng)歷了一段輾轉(zhuǎn)的旅程，從判別式AI、增強(qiáng)式AI的領(lǐng)域，現(xiàn)在又來(lái)到了具有突破性的生成式AI前沿。每一步都讓我們更接近未來(lái)，智能系統(tǒng)將無(wú)縫融入我們的日常生活，為我們帶來(lái)不僅有感知，還有掌上創(chuàng)造的沉浸式體驗(yàn)。

從信息論的角度來(lái)看，這三種范式可以看作是對(duì)源熵的不同影響。判別性AI旨在降低熵，增強(qiáng)性AI或多或少地保持熵值不變，而生成性AI則會(huì)造成熵增。

獲得感知：判別式AI

判別式AI主要關(guān)注區(qū)分不同類別或結(jié)果的能力。它通過(guò)學(xué)習(xí)輸入數(shù)據(jù)的特征和模式，判斷這些數(shù)據(jù)屬于哪個(gè)預(yù)定義的類別。例如，在圖像分類任務(wù)中，判別式AI能夠識(shí)別出圖片中的物體是貓還是狗。

增強(qiáng)感知：增強(qiáng)型AI

通過(guò)對(duì)場(chǎng)景物理性質(zhì)的語(yǔ)義理解，神經(jīng)網(wǎng)絡(luò)可以用來(lái)增強(qiáng)圖像的視覺(jué)質(zhì)量，獲得更令人滿意的結(jié)果，并進(jìn)一步增強(qiáng)感知和分析能力。我們觀察到一個(gè)緩慢但穩(wěn)定的轉(zhuǎn)變，從經(jīng)典的視覺(jué)相關(guān)功能到人工智能驅(qū)動(dòng)的視頻增強(qiáng)功能，從低光性能到高動(dòng)態(tài)范圍、數(shù)字變焦、局部色調(diào)映射等。

超越感知：生成式AI

真正的范式轉(zhuǎn)變是隨著生成式人工智能的興起而發(fā)生的。受自然語(yǔ)言理解的進(jìn)步及其對(duì)任何數(shù)據(jù)模式的采用的啟發(fā)，創(chuàng)建與現(xiàn)實(shí)難以區(qū)分的新內(nèi)容、圖像和視頻的能力，在不到一年的時(shí)間內(nèi)成功地改變了各個(gè)行業(yè)。生成式AI致力于學(xué)習(xí)數(shù)據(jù)的生成過(guò)程，并生成與訓(xùn)練數(shù)據(jù)相似的新數(shù)據(jù)樣本。這些新數(shù)據(jù)在統(tǒng)計(jì)上與原始數(shù)據(jù)具有相似的特征，但又是全新的、獨(dú)立的。

受到端側(cè)功耗和算力的限制，端側(cè)AI又呈現(xiàn)出了不同的形態(tài)：

小型語(yǔ)言模型（SLM）

SLM指的是那些參數(shù)量低于100億的輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型。與大型模型相比，SLM以更少的參數(shù)和計(jì)算資源實(shí)現(xiàn)自然語(yǔ)言處理。此外，SLM通常是面向特定任務(wù)、應(yīng)用或用例量身定制的。

微型機(jī)器學(xué)習(xí)（TinyML）

TinyML是一種優(yōu)化機(jī)器學(xué)習(xí)模型的技術(shù)，使其能夠在資源受限的設(shè)備（如微控制器）上高效運(yùn)行。這些模型通常體積小巧、運(yùn)算高效，能夠勝任語(yǔ)音識(shí)別和傳感器數(shù)據(jù)分析等任務(wù)。

AIoT芯片：功耗、性能與尺寸的平衡

端側(cè)設(shè)備將成為未來(lái)智能時(shí)代的重要錨點(diǎn)，其形態(tài)豐富多樣，包括攝像頭、智能眼鏡、耳機(jī)、手表、車載設(shè)備，以及未來(lái)的元宇宙和機(jī)器人等。

與專注于云AI的芯片市場(chǎng)相比，AIoT芯片市場(chǎng)更加分散，以滿足AIoT應(yīng)用的多樣化需求。在設(shè)計(jì)集成數(shù)十億個(gè)晶體管的芯片時(shí)，AIoT芯片制造商面臨著巨大的壓力，需要在功耗、性能和尺寸之間取得微妙的平衡。

不同邊緣或終端中的芯片性能要求可能存在很大差異。例如，自動(dòng)駕駛汽車需要更高的性能，并能承受更高的圖像處理功耗；而智能攝像頭處理器可能需要更低成本、更節(jié)能的芯片組。環(huán)境因素也在影響著端側(cè)AI和AIoT芯片市場(chǎng)，研究重點(diǎn)是實(shí)現(xiàn)高計(jì)算性能、低延遲和最低能耗。

人工智能應(yīng)用中GPU的高功耗問(wèn)題促使研究人員開(kāi)發(fā)新型芯片架構(gòu)，為端側(cè)AI的廣泛應(yīng)用鋪平道路。很多新型AIoT芯片的研發(fā)仍在路上。

比如去年弗勞恩霍夫光子微系統(tǒng)研究所IPMS與羅伯特·博世有限公司、坎普爾印度理工學(xué)院和慕尼黑工業(yè)大學(xué)合作開(kāi)發(fā)了一種針對(duì)AIoT應(yīng)用優(yōu)化的芯片設(shè)計(jì)，該設(shè)計(jì)使用鐵電場(chǎng)效應(yīng)晶體管（FeFET），無(wú)需電源即可存儲(chǔ)數(shù)據(jù)，可提供高達(dá)885 TOPS/W的性能，而一般AI芯片的這一數(shù)值為10到20 TOPS/W。

這種創(chuàng)新的芯片架構(gòu)有望大大降低AI運(yùn)行的能耗。新芯片采用FeFET單元，執(zhí)行相同數(shù)量的操作所需的能量比傳統(tǒng)設(shè)計(jì)少44倍。

此類芯片瞄準(zhǔn)端側(cè)AI的一系列用途，將AI部署在數(shù)據(jù)收集點(diǎn)：物聯(lián)網(wǎng)設(shè)備、傳感器和自動(dòng)駕駛汽車中。新芯片的另一個(gè)關(guān)鍵優(yōu)勢(shì)是能夠同時(shí)在晶體管中存儲(chǔ)和處理數(shù)據(jù)，大大減少了數(shù)據(jù)處理和內(nèi)存之間的瓶頸。

接下來(lái)，我們探討端側(cè)AI的主要應(yīng)用場(chǎng)景和市場(chǎng)空間。首當(dāng)其沖的場(chǎng)景是圖像處理和分析，到2033年此類場(chǎng)景中的AIoT設(shè)備數(shù)量將接近40億臺(tái)，主要涵蓋游戲機(jī)、智能眼鏡、車載終端、安全攝像頭、便攜式攝像機(jī)等。

此外，聊天機(jī)器人功能和自然語(yǔ)言處理的需求也不容忽視。智能音箱、耳機(jī)、智能手表等設(shè)備占據(jù)主導(dǎo)地位，并可擴(kuò)展至車載主機(jī)和電視等領(lǐng)域。預(yù)計(jì)到2033年，約有五分之一的物聯(lián)網(wǎng)設(shè)備具有原生語(yǔ)音需求，這一領(lǐng)域?qū)碛?4億連接，帶來(lái)800億美元的收入，約占所有物聯(lián)網(wǎng)連接收入的22%。

從設(shè)備形態(tài)上看，隨著智能眼鏡產(chǎn)品的密集發(fā)布，即將開(kāi)啟的“百鏡大戰(zhàn)”，有可能成為AIoT芯片的重要試煉場(chǎng)之一。

10家值得關(guān)注的AIoT芯片新秀

由于端側(cè)AI應(yīng)用具有明確的場(chǎng)景，優(yōu)先考慮成本優(yōu)化、功耗和處理能力，為新的市場(chǎng)參與者提供了大量的機(jī)會(huì)和創(chuàng)新空間。因此，AIoT芯片組的動(dòng)態(tài)市場(chǎng)中涌現(xiàn)出許多新玩家，他們通過(guò)提供多種增值功能來(lái)差異化競(jìng)爭(zhēng)。

以下篩選了10家值得關(guān)注的海外AIoT芯片新興供應(yīng)商。

1. AonDevices是一家無(wú)晶圓廠半導(dǎo)體公司，專門從事超低功耗下提供高精度的應(yīng)用程序特定型邊緣AI處理器。公司總部位于加利福尼亞州爾灣。AonDevices提供的芯片組主要側(cè)重于自然語(yǔ)言處理、語(yǔ)音認(rèn)證、聊天機(jī)器人和數(shù)字助理。該公司發(fā)布的AON1100是一款超低功耗、多模態(tài)解決方案，能夠使用單個(gè)麥克風(fēng)，極其準(zhǔn)確地同時(shí)識(shí)別多個(gè)語(yǔ)音命令和聲音事件，例如嬰兒哭泣或汽車逆火，AON1100還同時(shí)檢測(cè)步行或跌倒等特定運(yùn)動(dòng)模式。

2.?Axelera總部位于荷蘭埃因霍溫，其AIPU芯片采用了開(kāi)源的RISC-V指令集架構(gòu)（ISA）。RISC-V作為一種低成本、高效且靈活的ISA，允許根據(jù)特定的應(yīng)用需求進(jìn)行定制，這為Axelera提供了極大的設(shè)計(jì)自由度和創(chuàng)新空間。

3.?BrainChip是一家澳大利亞的技術(shù)公司，專注于研究和開(kāi)發(fā)神經(jīng)網(wǎng)絡(luò)處理單元NPU和其他高級(jí)機(jī)器學(xué)習(xí)解決方案。該公司的旗艦產(chǎn)品是Akida，這是一款可以在物聯(lián)網(wǎng)設(shè)備、汽車和工業(yè)應(yīng)用中應(yīng)用的離散神經(jīng)網(wǎng)絡(luò)處理單元。

4.?Hailo Technologies是一家以色列公司，擁有豐富的邊緣AI處理器產(chǎn)品組合，可用于各種AI用例，例如對(duì)象檢測(cè)、在邊緣設(shè)備上運(yùn)行LLM和語(yǔ)義分割。該公司提供用于視頻和圖像處理的Hailo-15系列AI視覺(jué)處理器、用于邊緣設(shè)備以運(yùn)行深度學(xué)習(xí)應(yīng)用程序的Hailo-8AI加速器以及用于運(yùn)行LLM的生成式AI加速器。

5. Innatera總部位于荷蘭，推出了一款基于SNN的神經(jīng)擬態(tài)加速器，主要用于語(yǔ)音識(shí)別、生命體征監(jiān)測(cè)和雷達(dá)等。

6. Mythic總部位于美國(guó)德克薩斯州，是一家專注于邊緣AI和AIoT的節(jié)能芯片供應(yīng)商，采用單芯片模擬計(jì)算內(nèi)存架構(gòu)，無(wú)需DRAM。Mythic開(kāi)發(fā)了統(tǒng)一的軟硬件平臺(tái)，以其獨(dú)特的模擬計(jì)算引擎Mythic ACE為特色，具備高功率、低成本和優(yōu)良的性能參數(shù)，打破了阻礙人工智能創(chuàng)新的數(shù)字障礙。Mythic模擬矩陣處理器Mythic AMP也使人工智能解決方案的部署變得更加經(jīng)濟(jì)便捷。

7. Perceive于2024年8月被亞馬遜收購(gòu)，是一家邊緣AI和AIoT處理芯片提供商，專注于LLM的邊緣處理。該公司提供低功耗邊緣處理芯片，專為各種應(yīng)用而設(shè)計(jì)，包括聯(lián)網(wǎng)攝像頭和家電。該公司最新一代邊緣AI芯片Ergo2的占用空間為7mm x 7mm，不需要外部DRAM。公司稱，該芯片可以在30 FPS的視頻源上運(yùn)行推理，功耗僅為17 mW。

8. SiMa.ai總部位于加利福尼亞州圣何塞，是嵌入式機(jī)器學(xué)習(xí)系統(tǒng)芯片SoC的提供商，允許客戶在單個(gè)芯片上執(zhí)行整個(gè)應(yīng)用程序。該公司的目標(biāo)是優(yōu)先考慮低功耗的AIoT用例，具體范圍在5W-25W之間。據(jù)SiMa稱，其芯片可以作為涵蓋計(jì)算機(jī)視覺(jué)和多模態(tài)生成AI的AI應(yīng)用的單邊緣平臺(tái)。

9. Syntiant總部位于美國(guó)加利福尼亞州，是一家為邊緣AI和AIoT應(yīng)用提供低功耗處理器的供應(yīng)商，截至2022年3月，該公司已出貨超過(guò)2000萬(wàn)片邊緣AI芯片。公司專注于安全等行業(yè)使用的聲學(xué)事件檢測(cè)和視頻處理，以最小的延遲提供實(shí)時(shí)數(shù)據(jù)處理。

10. Untether AI總部位于加拿大多倫多，芯片名為240 Slim，也是基于RISC-V架構(gòu)，性能出色但能耗卻低得多，適合在自動(dòng)駕駛汽車、自動(dòng)農(nóng)業(yè)設(shè)備和一些數(shù)據(jù)中心內(nèi)使用。梅賽德斯-奔馳表示，正在與Untether合作開(kāi)發(fā)其下一代自動(dòng)駕駛汽車。

寫在最后

隨著人工智能技術(shù)的不斷進(jìn)步，端側(cè)AI和AIoT芯片的發(fā)展正迎來(lái)一個(gè)全新的時(shí)代。

這場(chǎng)革命不僅僅是關(guān)于更強(qiáng)大的計(jì)算能力，更是關(guān)于如何在功耗、性能和尺寸之間取得完美平衡，以滿足不同應(yīng)用場(chǎng)景的特定需求。

從判別式AI到增強(qiáng)式AI，再到生成式AI，端側(cè)智能正在經(jīng)歷一場(chǎng)從感知到理解，再到創(chuàng)造的蛻變。在這個(gè)過(guò)程中，小型語(yǔ)言模型和微型機(jī)器學(xué)習(xí)等新興技術(shù)正在崛起，推動(dòng)著AIoT芯片的創(chuàng)新浪潮。無(wú)論是自動(dòng)駕駛汽車、智能眼鏡、智能攝像頭，還是未來(lái)的元宇宙和機(jī)器人，AIoT芯片都將扮演著至關(guān)重要的角色。

參考資料：
IoT: new energy-efficient chips could expand the scope of artificial intelligence in edge computing，來(lái)源：Orange
The Evolution of AI on the Edge: From Perception to Creation，來(lái)源：Hailo
AIoT Chipsets: enhancing the connected devices ecosystem，來(lái)源：Transforma Insights