451
作者：彭昭（智次方創(chuàng)始人、云和資本聯(lián)合創(chuàng)始合伙人）物聯(lián)網(wǎng)智庫(kù) 原創(chuàng)
前幾篇文章，我們不斷探討小模型（SLM）在端側(cè)和邊緣側(cè)的崛起?，F(xiàn)在，邊緣側(cè)小模型已然成為不可忽視的發(fā)展趨勢(shì)。
面對(duì)邊緣AI的迅猛發(fā)展，我們不禁要問(wèn)：邊緣硬件是否已經(jīng)做好準(zhǔn)備了？
生成式AI模型要落地應(yīng)用，離不開(kāi)邊緣硬件的支撐。對(duì)開(kāi)發(fā)者和最終用戶而言，邊緣硬件就是駕馭AI的利器。
一個(gè)優(yōu)秀的硬件“工具”，如同一柄削鐵如泥的神兵，若能遇到善加利用的主人，定能所向披靡，威力驚人。
如今，邊緣設(shè)備的算力與日俱增，從過(guò)去的幾個(gè)TOPS@INT8（每秒可執(zhí)行數(shù)兆次八位整數(shù)運(yùn)算），躍升至數(shù)十TOPS的量級(jí)。這意味著邊緣硬件即使在斷網(wǎng)狀態(tài)下，也能獨(dú)立完成SLM的推理任務(wù)，大大拓寬了應(yīng)用場(chǎng)景。
伴隨SLM的發(fā)展，多家企業(yè)紛紛推出針對(duì)SLM優(yōu)化的邊緣智能開(kāi)發(fā)板。尤其值得關(guān)注的是，在上周，英偉達(dá)發(fā)布了令人矚目的新品，將邊緣硬件的性能和性價(jià)比推向了新的高度。
12月17日，英偉達(dá)CEO黃仁勛在發(fā)布的視頻中，從烤箱端出最新“烹飪”的全新邊緣開(kāi)發(fā)套件Jetson Orin Nano Super。
這款“邊緣AI大腦”不僅性能更為強(qiáng)勁，售價(jià)更是直降一半，僅需249美元（人民幣2000元以內(nèi)）。這無(wú)疑將掀起邊緣AI的一場(chǎng)革命。
這一產(chǎn)品的問(wèn)世，不僅將會(huì)掀起一場(chǎng)全球范圍內(nèi)的邊緣AI開(kāi)發(fā)板大戰(zhàn)，也為中國(guó)企業(yè)在邊緣AI領(lǐng)域的發(fā)展提供了難得的機(jī)遇。
本文將從英偉達(dá)新品的特點(diǎn)、邊緣AI開(kāi)發(fā)板的競(jìng)爭(zhēng)格局、中國(guó)企業(yè)的機(jī)遇與挑戰(zhàn)等角度，深入探討這場(chǎng)邊緣AI革命的意義與影響。
讓我們做好準(zhǔn)備，一起迎接即將來(lái)臨的端側(cè)AI、邊緣AI硬件的“寒武紀(jì)”物種大爆發(fā)階段。
重新定義邊緣AI的可能性
在介紹英偉達(dá)新品之前，有必要明確端側(cè)AI和邊緣側(cè)AI硬件所涵蓋的范圍相當(dāng)廣泛，從數(shù)十元到數(shù)百萬(wàn)的解決方案任選，可謂豐儉由君，應(yīng)有盡有。
廣義而言，凡是無(wú)需聯(lián)網(wǎng)即可完成AI推理任務(wù)的硬件，都應(yīng)歸入邊緣AI的范疇。相較端側(cè)，邊緣側(cè)對(duì)算力和功耗的要求更高。業(yè)界普遍認(rèn)為，AI工業(yè)電腦、嵌入式設(shè)備、電池供電的可穿戴設(shè)備以及服務(wù)機(jī)器人等，都屬于邊緣側(cè)AI的典型應(yīng)用。
當(dāng)然，面向這些邊緣AI設(shè)備的解決方案也是形態(tài)各異，包括微處理器（MPU/SoC）開(kāi)發(fā)板、類樹莓派型開(kāi)發(fā)板、TPU加速棒等，當(dāng)然也包括黃仁勛此次端上的“佳肴”：Jetson Orin Nano Super開(kāi)發(fā)套件。
這款全新發(fā)布的產(chǎn)品是Jetson Nano系列的升級(jí)版，堪稱目前該系列中“性價(jià)比之王”。在性能大幅提升的同時(shí)，售價(jià)卻直降一半，僅需249美元（人民幣2000元以內(nèi)）。
與前代產(chǎn)品相比，Nano Super的AI推理性能提高了1.7倍，整體性能飆升70%，達(dá)到驚人的67 TOPS@INT8。此外，Nano Super的內(nèi)存帶寬增加至102GB/s，較前代提升50%：CPU頻率也從1.5GHz升至1.7GHz：而整機(jī)尺寸卻只有一個(gè)手掌大小，功耗僅需25瓦。
Jetson Orin Nano Super支持同時(shí)調(diào)用多達(dá)四個(gè)攝像頭，并提供比前代更高的分辨率和幀率。性能的全面升級(jí)，將為主流生成式AI模型和基于Transformer的計(jì)算機(jī)視覺(jué)算法帶來(lái)顯著增益。
這款革命性的AI開(kāi)發(fā)套件，將讓機(jī)器人、工業(yè)自動(dòng)化領(lǐng)域的開(kāi)發(fā)者以及各行各業(yè)的硬件工程師，無(wú)需連接云平臺(tái)，即可在邊緣側(cè)實(shí)現(xiàn)高效AI運(yùn)算，大幅降低成本和延遲。
在談到英偉達(dá)新品的同時(shí)，我們還需要關(guān)注美國(guó)對(duì)華芯片限制令可能帶來(lái)的影響。
就在新品發(fā)布隔日，12月19日，美國(guó)商務(wù)部要求英偉達(dá)調(diào)查該公司產(chǎn)品在過(guò)去一年中流入中國(guó)大陸的情況。
然而，查閱美國(guó)商務(wù)部工業(yè)和安全局（BIS）發(fā)布的額外出口管制規(guī)定可以發(fā)現(xiàn)，ECCN 3A090項(xiàng)下的相關(guān)注釋明確指出，非數(shù)據(jù)中心類且TPP未超過(guò)4800的芯片不在該項(xiàng)管制范圍內(nèi)。這意味著絕大多數(shù)用于筆記本電腦、智能手機(jī)和游戲機(jī)等消費(fèi)電子產(chǎn)品的芯片不受影響。
因此，英偉達(dá)Jetson系列產(chǎn)品可以通過(guò)正常渠道在中國(guó)銷售。這款新品的推出，必將點(diǎn)燃更多創(chuàng)新開(kāi)發(fā)者和應(yīng)用企業(yè)的熱情。
邊緣AI高性價(jià)比時(shí)代來(lái)臨
英偉達(dá)新品的問(wèn)世，勢(shì)必引發(fā)一場(chǎng)AI開(kāi)發(fā)板的激烈角逐。
市面上與Jetson Orin Nano相似的產(chǎn)品不在少數(shù)，各家都聲稱自己的算力高、性能強(qiáng)。曾有國(guó)外開(kāi)發(fā)者對(duì)當(dāng)時(shí)最熱門的三款A(yù)I開(kāi)發(fā)板進(jìn)行了橫向?qū)Ρ?，分別是樹莓派+英特爾神經(jīng)網(wǎng)絡(luò)計(jì)算棒、英偉達(dá)Jetson Orin Nano和Google Coral。、
結(jié)果發(fā)現(xiàn)，沒(méi)有任何一款開(kāi)發(fā)板能夠達(dá)到官方宣稱的最高效率。
測(cè)試之后，這名開(kāi)發(fā)者還很可愛(ài)的透露：This post is sponsored by Coral from Google?？梢?jiàn)谷歌也是相當(dāng)“心大”，認(rèn)可這份客觀中立、至少?zèng)]被打臉的測(cè)試結(jié)果。
無(wú)論哪家產(chǎn)品更勝一籌，對(duì)開(kāi)發(fā)者而言，高性價(jià)比、算力強(qiáng)勁的AI開(kāi)發(fā)板時(shí)代已經(jīng)到來(lái)。今后，再也沒(méi)有“算力昂貴、難出佳作”的借口了。
由此，圍繞邊緣AI的最新“安迪-比爾定律”之爭(zhēng)也拉開(kāi)了帷幕。這一定律曾為IT產(chǎn)業(yè)創(chuàng)造了一種完美模式：What Andy gives，Bill takes away。如今，這一法則正在邊緣AI領(lǐng)域重演。
除了本次新品，英偉達(dá)還計(jì)劃在2025年推出Jetson Thor，以爭(zhēng)奪更大的AI硬件市場(chǎng)份額：而OpenAI則計(jì)劃在2025年1月發(fā)布能夠獨(dú)立執(zhí)行任務(wù)的AI代理Operator。
這對(duì)“準(zhǔn)安迪-比爾”的持續(xù)迭代，不僅推動(dòng)了AI技術(shù)的進(jìn)一步成熟，也將重塑未來(lái)智能設(shè)備的功能和應(yīng)用場(chǎng)景。
在上篇文章《2025智能代理大戰(zhàn)來(lái)襲，2026智能代理+Web3觸發(fā)萬(wàn)物經(jīng)濟(jì)》中，我曾介紹OpenAI的AI代理Operator不僅在技術(shù)上具備自主性，在功能設(shè)計(jì)上也充分考慮了多樣性，能夠控制計(jì)算機(jī)并獨(dú)立執(zhí)行任務(wù)。與之呼應(yīng)，英偉達(dá)則致力于通過(guò)硬件平臺(tái)為智能機(jī)器人賦能，二者形成了互補(bǔ)之勢(shì)。
在本次邊緣AI開(kāi)發(fā)板的大戰(zhàn)中，中國(guó)企業(yè)有望占據(jù)一席之地。
這一預(yù)測(cè)既基于中國(guó)在芯片制造領(lǐng)域的快速進(jìn)步，也得益于中國(guó)企業(yè)在當(dāng)前“安迪-比爾定律”重構(gòu)中的積極參與。
根據(jù)12月10日中國(guó)海關(guān)總署發(fā)布的最新數(shù)據(jù)，2024年前11個(gè)月，中國(guó)集成電路出口額突破萬(wàn)億元大關(guān)，同比增長(zhǎng)20.3%。這一里程碑式的成就，標(biāo)志著中國(guó)在芯片研發(fā)、生產(chǎn)與制造領(lǐng)域的能力已經(jīng)上升到一個(gè)新的高度。
經(jīng)歷了6年的貿(mào)易戰(zhàn)考驗(yàn)，中國(guó)已于2023年成為全球最大的芯片生產(chǎn)國(guó)，為中國(guó)企業(yè)參與邊緣AI硬件的競(jìng)爭(zhēng)奠定了堅(jiān)實(shí)基礎(chǔ)。
在新一輪“安迪-比爾定律”的演進(jìn)中，中國(guó)企業(yè)正積極布局。一方面，中國(guó)企業(yè)可以充分利用自身在芯片制造領(lǐng)域的優(yōu)勢(shì)，為邊緣AI開(kāi)發(fā)板提供高性價(jià)比的核心組件：另一方面，中國(guó)企業(yè)也在加大研發(fā)投入，致力于打造性能卓越、功能豐富的邊緣AI開(kāi)發(fā)板產(chǎn)品。
邊緣AI是中國(guó)實(shí)現(xiàn)“硬件+服務(wù)”融合之鑰
除了參與邊緣AI開(kāi)發(fā)板的爭(zhēng)奪戰(zhàn)之外，英偉達(dá)新一代邊緣AI開(kāi)發(fā)套件Jetson Orin Nano Super的發(fā)布，為中國(guó)企業(yè)在邊緣AI領(lǐng)域的發(fā)展提供了難得的機(jī)遇。
這款高性價(jià)比的產(chǎn)品，不僅讓更多開(kāi)發(fā)者有機(jī)會(huì)接觸和應(yīng)用AI技術(shù)，也為中國(guó)企業(yè)在硬件制造與AI服務(wù)整合方面開(kāi)辟了新的可能性。
回顧過(guò)去數(shù)十年的國(guó)際分工，中國(guó)在硬件制造領(lǐng)域積累了顯著的比較優(yōu)勢(shì)。然而，這種“硬件強(qiáng)、軟件弱”的非均衡發(fā)展模式，導(dǎo)致內(nèi)需不足、服務(wù)業(yè)滯后等問(wèn)題日益凸顯。而邊緣AI硬件的興起，恰恰為打破這一困局提供了契機(jī)。
邊緣AI硬件的特點(diǎn)在于，它將強(qiáng)大的AI運(yùn)算能力與物理設(shè)備緊密結(jié)合，使得智能化服務(wù)能夠在本地實(shí)時(shí)交付。
這意味著，中國(guó)企業(yè)可以充分發(fā)揮自身在硬件設(shè)計(jì)和制造方面的優(yōu)勢(shì)，同時(shí)通過(guò)邊緣AI實(shí)現(xiàn)服務(wù)能力的跨越式提升，最終實(shí)現(xiàn)制造業(yè)和服務(wù)業(yè)的均衡發(fā)展。
以服務(wù)機(jī)器人為例，它集成了先進(jìn)的AI算法和傳感器技術(shù)，能夠根據(jù)用戶需求和環(huán)境狀況提供個(gè)性化、智能化的交互服務(wù)。毛茸茸的AI機(jī)器寵物、貼心的家庭陪伴機(jī)器人、懂人心的智能眼鏡等，都是邊緣AI服務(wù)設(shè)備的典型應(yīng)用場(chǎng)景。這些創(chuàng)新產(chǎn)品的問(wèn)世，將極大地豐富人們的生活體驗(yàn)。
中國(guó)擁有完善的電子制造業(yè)供應(yīng)鏈和龐大的消費(fèi)市場(chǎng)，這為邊緣AI硬件的規(guī)?；a(chǎn)和應(yīng)用提供了得天獨(dú)厚的條件。
如果中國(guó)企業(yè)能夠抓住這一機(jī)遇，積極布局邊緣AI硬件領(lǐng)域，不斷強(qiáng)化技術(shù)研發(fā)和產(chǎn)品創(chuàng)新能力，就有望在全球邊緣AI市場(chǎng)中占據(jù)一席之地，并帶動(dòng)服務(wù)業(yè)的轉(zhuǎn)型升級(jí)。
不過(guò)，要真正實(shí)現(xiàn)“硬件+服務(wù)”的協(xié)同發(fā)展，中國(guó)企業(yè)還需要在以下幾個(gè)方面進(jìn)行深入探索和實(shí)踐：
1. 加強(qiáng)研發(fā)投入。邊緣AI的競(jìng)爭(zhēng)歸根結(jié)底是技術(shù)的競(jìng)爭(zhēng)。中國(guó)企業(yè)要在算法模型、芯片設(shè)計(jì)、傳感器集成等方面加大研發(fā)力度，突破關(guān)鍵核心技術(shù)，提升產(chǎn)品的智能化水平和性能表現(xiàn)。
2. 深化產(chǎn)業(yè)鏈協(xié)同。邊緣AI硬件的研發(fā)和生產(chǎn)涉及芯片、算法、傳感器、結(jié)構(gòu)件等多個(gè)環(huán)節(jié)，需要產(chǎn)業(yè)鏈上下游企業(yè)的緊密協(xié)作。中國(guó)企業(yè)要充分發(fā)揮產(chǎn)業(yè)集群優(yōu)勢(shì)，建立健全的協(xié)同機(jī)制，提升供應(yīng)鏈的效率和柔性。
3. 創(chuàng)新商業(yè)模式。單純的硬件銷售很難獲得豐厚利潤(rùn)，中國(guó)企業(yè)需要探索“硬件+服務(wù)”的創(chuàng)新商業(yè)模式?？梢钥紤]通過(guò)硬件產(chǎn)品獲取用戶和數(shù)據(jù)，再通過(guò)軟件服務(wù)實(shí)現(xiàn)商業(yè)變現(xiàn)：或者針對(duì)特定行業(yè)提供端到端的整體解決方案，充分挖掘客戶需求。
4. 培育開(kāi)發(fā)者生態(tài)。邊緣AI的應(yīng)用開(kāi)發(fā)離不開(kāi)廣大開(kāi)發(fā)者的積極參與。中國(guó)企業(yè)要通過(guò)開(kāi)放平臺(tái)、開(kāi)發(fā)工具、社區(qū)活動(dòng)等方式，積極培育開(kāi)發(fā)者生態(tài)，激發(fā)開(kāi)發(fā)者的創(chuàng)造力，共同豐富邊緣AI的應(yīng)用場(chǎng)景。
5. 注重隱私保護(hù)。邊緣AI的普及應(yīng)用將產(chǎn)生大量的用戶數(shù)據(jù)，這對(duì)數(shù)據(jù)安全和隱私保護(hù)提出了更高要求。中國(guó)企業(yè)要嚴(yán)格遵守相關(guān)法律法規(guī)，加強(qiáng)數(shù)據(jù)全生命周期管理，增強(qiáng)用戶信任。
6. 積極參與標(biāo)準(zhǔn)制定。邊緣AI尚處于起步階段，相關(guān)標(biāo)準(zhǔn)和規(guī)范亟待建立。中國(guó)企業(yè)要積極參與國(guó)際標(biāo)準(zhǔn)化組織的工作，爭(zhēng)取在關(guān)鍵技術(shù)領(lǐng)域掌握更多話語(yǔ)權(quán)，為邊緣AI產(chǎn)業(yè)的健康發(fā)展貢獻(xiàn)力量。
只有在技術(shù)、產(chǎn)品、服務(wù)、生態(tài)、安全等多個(gè)維度形成差異化優(yōu)勢(shì)，中國(guó)企業(yè)才能在激烈的邊緣AI競(jìng)爭(zhēng)中搶得先機(jī)。
寫在最后
英偉達(dá)最新發(fā)布的邊緣AI開(kāi)發(fā)套件Jetson Orin Nano Super，以其強(qiáng)大的性能和超高的性價(jià)比，重新定義了邊緣AI的可能性。
這一產(chǎn)品的問(wèn)世，不僅掀起了一場(chǎng)全球范圍內(nèi)的邊緣AI開(kāi)發(fā)板大戰(zhàn)，也為中國(guó)企業(yè)在邊緣AI領(lǐng)域的發(fā)展提供了契機(jī)。中國(guó)企業(yè)可以充分利用自身在硬件制造領(lǐng)域的優(yōu)勢(shì)，同時(shí)通過(guò)邊緣AI實(shí)現(xiàn)服務(wù)能力的跨越式提升，最終實(shí)現(xiàn)制造業(yè)和服務(wù)業(yè)的均衡發(fā)展。
參考資料：
1. 開(kāi)發(fā)者如何選擇Edge AI開(kāi)發(fā)方案，作者：Jack OmniXRI，來(lái)源：歐尼克斯實(shí)境互動(dòng)工作室(OmniXRI)
2. The Future is here: NVIDIA’s Pocket-Sized Supercomputer is set to Transform AI，來(lái)源：Edge Middle East
3. Benchmarking Edge Computing - Comparing Google, Intel, and NVIDIA accelerator hardware，作者：Alasdair Allan，來(lái)源：Medium
