大模型進(jìn)終端 邊緣AI風(fēng)口別錯(cuò)過(guò)！

今年以來(lái)，隨著AI PC的陸續(xù)落地，邊緣AI的話題進(jìn)一步發(fā)酵。邊緣AI，是指在數(shù)據(jù)源附近的邊緣設(shè)備上直接部署和執(zhí)行人工智能算法和模型的技術(shù)。這種技術(shù)可以減少對(duì)中心數(shù)據(jù)中心的依賴(lài)，降低延遲，提高數(shù)據(jù)處理速度，增強(qiáng)數(shù)據(jù)隱私保護(hù)，并在一定程度上減輕網(wǎng)絡(luò)帶寬的壓力。

邊緣AI的發(fā)展得益于神經(jīng)網(wǎng)絡(luò)的成熟、計(jì)算基礎(chǔ)架構(gòu)的進(jìn)步，以及物聯(lián)網(wǎng)設(shè)備的廣泛采用。目前，邊緣AI正在智能家居、智能工廠、智慧城市、智能交通、醫(yī)療健康等多個(gè)領(lǐng)域得到應(yīng)用。日前，在芯原AI專(zhuān)題技術(shù)研討會(huì)上，與會(huì)者就邊緣AI的發(fā)展和應(yīng)用進(jìn)行了深度的討論。

大模型推動(dòng)邊緣計(jì)算變革

大模型如何推動(dòng)邊緣計(jì)算的變革？這一過(guò)程將面臨怎樣的機(jī)遇與挑戰(zhàn)？芯原執(zhí)行副總裁、IP事業(yè)部總經(jīng)理戴偉進(jìn)表示，如今大模型已經(jīng)開(kāi)始滲透到邊緣設(shè)備，對(duì)各行各業(yè)產(chǎn)生了深遠(yuǎn)的影響。多模態(tài)大模型的發(fā)展尤為突出，其深層智能水平得到了顯著提升，OpenAI等公司的積極推動(dòng)更是加速了這一趨勢(shì)。

他提到，大模型在邊緣設(shè)備上的應(yīng)用主要體現(xiàn)在手機(jī)、AI-PC和汽車(chē)等領(lǐng)域。這些設(shè)備通過(guò)引入大模型人工智能，實(shí)現(xiàn)了更自然的人機(jī)交互、多模態(tài)能力和通用智能等特性。例如，ChatGPT等應(yīng)用通過(guò)自然語(yǔ)言處理，使用戶(hù)能夠更自然地與機(jī)器對(duì)話，獲取信息。同時(shí)，OpenAI發(fā)布的Sora視頻生成模型和谷歌的Project Astra項(xiàng)目，都展示了大模型在視頻生成和語(yǔ)音交互方面的強(qiáng)大能力。

芯原在AI計(jì)算領(lǐng)域已經(jīng)進(jìn)行了廣泛的布局并取得了一定的成就。戴偉進(jìn)表示，芯原公司憑借其領(lǐng)先的技術(shù)實(shí)力，為全球多個(gè)行業(yè)提供了高性能的神經(jīng)網(wǎng)絡(luò)處理器（NPU）、圖形處理器（GPU）和視頻處理器（VPU）。據(jù)悉，芯原的NPU已在全球累積出貨超過(guò)1億顆，廣泛應(yīng)用于AI視覺(jué)、AI語(yǔ)音、自動(dòng)駕駛、智慧家居等眾多領(lǐng)域。同時(shí)，其GPU也取得了驕人的業(yè)績(jī)，全球累積出貨近20億顆，擁有70項(xiàng)國(guó)內(nèi)外專(zhuān)利，并在嵌入式市場(chǎng)深耕近20年。此外，芯原的VPU技術(shù)在全球范圍內(nèi)也處于領(lǐng)先地位，特別是在AI視頻處理方面展現(xiàn)出了強(qiáng)大的實(shí)力。

然而，大模型推動(dòng)邊緣計(jì)算變革的同時(shí)，也帶來(lái)了一系列挑戰(zhàn)。戴偉進(jìn)強(qiáng)調(diào)，隨著大模型的復(fù)雜度不斷增加，對(duì)邊緣設(shè)備的計(jì)算能力、存儲(chǔ)和能耗都提出了更高的要求。此外，數(shù)據(jù)安全和隱私保護(hù)也是不可忽視的問(wèn)題。

為了應(yīng)對(duì)這些挑戰(zhàn)，芯原正在積極研發(fā)新的技術(shù)和解決方案，推出了AI-Computing處理器和軟件框架，包括Acuity工具、庫(kù)和軟件堆棧等，以?xún)?yōu)化大模型在邊緣設(shè)備上的性能和效率。

芯原的AI-Computing處理器技術(shù)具有可編程、可擴(kuò)展、高性能和低功耗等特點(diǎn)，非常適用于邊緣設(shè)備運(yùn)行大模型，如AIPC、醫(yī)療系統(tǒng)設(shè)備以及計(jì)算機(jī)和工業(yè)應(yīng)用領(lǐng)域等。目前，芯原已經(jīng)推出了一系列AI-Computing IP產(chǎn)品，包括數(shù)據(jù)中心、邊緣服務(wù)器等，以滿(mǎn)足不同場(chǎng)景的需求。

在軟件框架方面，芯原提供了全面的Acuity工具、庫(kù)和軟件堆棧，為開(kāi)發(fā)者提供了便捷的開(kāi)發(fā)環(huán)境。同時(shí)，芯原還積極探索邊緣與云協(xié)同計(jì)算的模式，通過(guò)Project Open Se Cura項(xiàng)目，實(shí)現(xiàn)了大模型和輕量大模型在邊緣設(shè)備上的高效運(yùn)行。值得一提的是，芯原的技術(shù)還被應(yīng)用于谷歌眼鏡等先進(jìn)設(shè)備中，實(shí)現(xiàn)了極低功耗、常開(kāi)和環(huán)境計(jì)算等功能。

此外，隨著大語(yǔ)言模型在云端和移動(dòng)設(shè)備上的廣泛應(yīng)用，芯原的技術(shù)也在這一領(lǐng)域發(fā)揮了重要作用。大語(yǔ)言模型的主要組件可以利用芯原的技術(shù)實(shí)現(xiàn)捕捉、信號(hào)和感知信息的評(píng)估和融合，進(jìn)一步提升了模型的性能和準(zhǔn)確性。

目前，芯原正在與谷歌等合作伙伴共同探索邊緣與云協(xié)同計(jì)算的可能性，以實(shí)現(xiàn)大模型的輕量化和高效運(yùn)行。

從端到云的應(yīng)用及資源

從最初的視覺(jué)、自然語(yǔ)言、圖像到語(yǔ)音處理，芯原已經(jīng)積累了128家客戶(hù)，并在十個(gè)不同場(chǎng)景實(shí)現(xiàn)了技術(shù)落地。芯原NPU IP研發(fā)副總裁查凱南表示，隨著AI技術(shù)的不斷進(jìn)步，芯原NPU的發(fā)展也呈現(xiàn)出三個(gè)主要方向：DEEP AI、嵌入式設(shè)備以及服務(wù)器中心。

在談?wù)搹亩藗?cè)到云端的模型分工時(shí)，查凱南強(qiáng)調(diào)，端側(cè)設(shè)備在保護(hù)用戶(hù)隱私方面扮演著重要角色。大型模型如今能夠整理手機(jī)或筆記本電腦上的私人信息，使用戶(hù)在無(wú)需感知的情況下享受智能服務(wù)，如情景智能。然而，由于算力、容量和帶寬的限制，端側(cè)的大模型通常規(guī)模在2B-13B之間。

除了語(yǔ)言模型，端側(cè)還需要視覺(jué)模型、語(yǔ)音模型等，以滿(mǎn)足圖像生成、PPT改動(dòng)和美圖等多樣化需求。為此，芯原推出了專(zhuān)門(mén)針對(duì)端側(cè)的NPU VIP9X00和AI-GPU IP。

查凱南表示，芯原的NPU架構(gòu)支持32位浮點(diǎn)運(yùn)算，能夠執(zhí)行大量復(fù)雜的通用計(jì)算任務(wù)，從而滿(mǎn)足多樣化的AI應(yīng)用需求。在軟件生態(tài)方面，芯原NPU兼容OpenCL等通用標(biāo)準(zhǔn)，為開(kāi)發(fā)者提供了廣闊的開(kāi)發(fā)環(huán)境和靈活性。

近年來(lái)，Transformer模型在人工智能領(lǐng)域異軍突起，不僅在自然語(yǔ)言處理方面表現(xiàn)出色，更在視覺(jué)、語(yǔ)音等多個(gè)領(lǐng)域展現(xiàn)了卓越的性能。相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，Transformer在效果上有著顯著的提升。芯原在其最新的NPU架構(gòu)中針對(duì)Transformer進(jìn)行了專(zhuān)門(mén)的定制優(yōu)化。這些優(yōu)化措施包括但不限于4比特、8比特以及16×4、16×8等多種量化壓縮方式，旨在將模型權(quán)重進(jìn)行有效壓縮，從而大幅降低帶寬消耗。這對(duì)于邊緣計(jì)算和移動(dòng)設(shè)備來(lái)說(shuō)尤為重要，因?yàn)樗鼈兺ǔＣ媾R著嚴(yán)格的能源和帶寬限制。

此外，芯原還對(duì)通用的矩陣運(yùn)算（如GEMM/GEMV）以及Transformer中所需的大量卷積運(yùn)算進(jìn)行了優(yōu)化。這些優(yōu)化措施直接提升了Transformer相關(guān)網(wǎng)絡(luò)的性能，實(shí)現(xiàn)了高達(dá)10倍的性能提升。具體來(lái)說(shuō)，在一個(gè)具備40-48TOPS算力的AI PC平臺(tái)上，可以實(shí)現(xiàn)每秒處理20個(gè)Token的卓越性能。

轉(zhuǎn)向云端，超級(jí)大模型成為主角，這些模型規(guī)模超過(guò)70B，甚至可能涉及數(shù)萬(wàn)張顯卡的計(jì)算能力。這類(lèi)模型必須支持多任務(wù)處理（Multi Serving）。查凱南認(rèn)為，自然語(yǔ)言的一個(gè)顯著優(yōu)勢(shì)是能夠讓端側(cè)模型和語(yǔ)音端模型通過(guò)自然語(yǔ)言進(jìn)行交互，而非傳統(tǒng)的計(jì)算機(jī)數(shù)據(jù)交互。當(dāng)手機(jī)和云端能夠通過(guò)自然語(yǔ)言交互時(shí)，將徹底改變應(yīng)用場(chǎng)景和智能效果。

為了解決端側(cè)和云端的不同需求，查凱南進(jìn)一步探討了兩者對(duì)NPU的特定要求。端側(cè)更注重低功耗和優(yōu)良的PPA（性能、功耗、面積）平衡。性能固然重要，但功耗和面積對(duì)于端側(cè)IP來(lái)說(shuō)更為關(guān)鍵。端側(cè)NPU主要用于推理任務(wù)，并需要一定的浮點(diǎn)運(yùn)算能力，同時(shí)關(guān)注低比特量化和壓縮技術(shù)。

相比之下，云端NPU則強(qiáng)調(diào)高性能和高TOPS（每秒萬(wàn)億次操作）能力，以支持推理和訓(xùn)練任務(wù)。這不僅涉及單卡推理訓(xùn)練，還包括分布式推理訓(xùn)練和多卡多機(jī)能力。因此，云端NPU更需要通用的GPGPU編程模型、高配比的浮點(diǎn)與定點(diǎn)算力，以及對(duì)高精度的支持。同時(shí)，接入大型生態(tài)系統(tǒng)也是云端NPU的重要需求。

除了硬件資源，軟件生態(tài)也十分重要。查凱南介紹，在應(yīng)用層，芯原的軟件生態(tài)廣泛支持多種框架，如PyTorch和Transformer，這些框架為開(kāi)發(fā)者提供了豐富的工具和資源，使他們能夠輕松地構(gòu)建和訓(xùn)練復(fù)雜的AI模型。特別是對(duì)于大型模型，芯原選擇了支持VLLM（Very Large Language Model）框架，以應(yīng)對(duì)云端大語(yǔ)言模型的需求。

在軟件棧的更深層次，芯原提供了一系列通用的加速庫(kù)，包括算子加速庫(kù)和運(yùn)算圖加速庫(kù)，以及多核間通訊庫(kù)。這些庫(kù)能夠顯著提高AI運(yùn)算的效率和性能。同時(shí)，底層支持標(biāo)準(zhǔn)的OpenCL、OpenVX等接口，確保了與各種硬件和編輯器的兼容性。

在AI工具鏈上，針對(duì)推理任務(wù)，芯原自研了推理Toolkit，該工具鏈可以直接導(dǎo)入所有類(lèi)型的框架模型。它內(nèi)部嵌入了量化功能，能夠直接生成易于部署的二進(jìn)制文件。此外，芯原還研發(fā)了適用于大語(yǔ)言模型的vLLM，并在云端提供了出色的支持。

為了滿(mǎn)足更多開(kāi)發(fā)者的需求，芯原還支持微軟的ONNX Runtime，這是一個(gè)廣泛使用的開(kāi)源跨平臺(tái)機(jī)器學(xué)習(xí)推理庫(kù)。同時(shí)，芯原也支持各種流行的數(shù)據(jù)格式，為開(kāi)發(fā)者提供了極大的便利。

在訓(xùn)練端，特別是對(duì)于云端GPU訓(xùn)練，芯原選擇了接入Torch Dynamo Plugin來(lái)支持PyTorch，以及Transformer XLA Backend來(lái)支持Transformer模型。這些選擇都是為了確保開(kāi)發(fā)者能夠高效地進(jìn)行模型訓(xùn)練。

值得一提的是，芯原還計(jì)劃支持Triton，這是一種編譯器研究工具。Triton的出現(xiàn)為硬件廠商提供了一個(gè)新的介入點(diǎn)，使得不同的硬件可以通過(guò)編譯的方式直接接入Triton。芯原也看到了這一點(diǎn)，并計(jì)劃在2024年10月份完整接入Triton，以期打破某些技術(shù)壁壘，更開(kāi)放地接入不同的高級(jí)語(yǔ)言。

大語(yǔ)言模型的原理與發(fā)展趨勢(shì)?

產(chǎn)業(yè)界一直廣泛關(guān)注人工智能領(lǐng)域中大語(yǔ)言模型的發(fā)展。烏鎮(zhèn)智庫(kù)理事長(zhǎng)張曉東就這一話題進(jìn)行了深入闡述，探討了大語(yǔ)言模型的原理及其未來(lái)趨勢(shì)。

張曉東首先引用了物理學(xué)家費(fèi)曼的名言：“微積分是上帝的語(yǔ)言?！比欢?，他幽默地指出，如今“上帝的語(yǔ)言”似乎已變成了“圖靈機(jī)”。他提到，圖靈作為計(jì)算機(jī)科學(xué)和人工智能的奠基人，其貢獻(xiàn)是不可估量的。整個(gè)計(jì)算機(jī)科學(xué)都建立在“丘奇-圖靈論題”這一核心基石之上，即圖靈機(jī)是最廣義的計(jì)算裝置。

談及人工智能的火爆原因，張曉東提到了圖靈1950年的文章《計(jì)算機(jī)與人工智能》，其中介紹的“模仿游戲”（現(xiàn)稱(chēng)圖靈測(cè)試）為智能的定義提供了新思路。他解釋說(shuō)，當(dāng)一個(gè)機(jī)器在長(zhǎng)時(shí)間的問(wèn)答中讓人無(wú)法區(qū)分其與人類(lèi)時(shí)，這個(gè)機(jī)器便被認(rèn)為是智能的。隨著深度學(xué)習(xí)的發(fā)展，尤其是Hinton2006年《深度學(xué)習(xí)》論文的發(fā)表，人工智能首先在語(yǔ)音領(lǐng)域取得革命性進(jìn)展，隨后又影響了圖像和視頻處理領(lǐng)域。

張曉東進(jìn)一步指出，2022年11月30日ChatGPT的發(fā)布，更是對(duì)“人性”的一大挑戰(zhàn)。他認(rèn)為，語(yǔ)言是人性的核心，而ChatGPT正是在這一領(lǐng)域取得了顯著突破。

在解釋ChatGPT工作原理時(shí)，張曉東提到了1956年達(dá)特茅斯會(huì)議上的一個(gè)關(guān)鍵觀點(diǎn)：學(xué)習(xí)可以看作是圖靈機(jī)的求逆過(guò)程。他解釋說(shuō)，這實(shí)際上就是尋找一個(gè)能夠生成特定輸出的機(jī)器，即我們現(xiàn)在所說(shuō)的生成式AI。此外，他還提到了所羅門(mén)諾夫在1964年的研究，該研究證明了所有學(xué)習(xí)問(wèn)題都等價(jià)于歸納法，且與圖靈機(jī)求逆等價(jià)于下一個(gè)Token預(yù)測(cè)。

一個(gè)有意思的對(duì)比是谷歌和OpenAI在Transformer技術(shù)上的應(yīng)用。張曉東指出，雖然谷歌最早發(fā)明了Transformer，但最終是OpenAI通過(guò)GPT系列模型取得了顯著成功。這背后的原理和對(duì)技術(shù)的深入理解是成功的關(guān)鍵。

回顧人工智能的三大發(fā)展路線：邏輯主義、聯(lián)結(jié)派以及從細(xì)胞自動(dòng)機(jī)到強(qiáng)化學(xué)習(xí)的演進(jìn)，張曉東特別指出，強(qiáng)化學(xué)習(xí)可以用所羅門(mén)歸納來(lái)解釋?zhuān)@一領(lǐng)域的突破已經(jīng)催生了如AlphaGo這樣的杰出成果。隨著技術(shù)的迅猛發(fā)展，大語(yǔ)言模型的進(jìn)化速度已經(jīng)達(dá)到了“周”級(jí)別，每隔幾周就會(huì)有新的技術(shù)突破問(wèn)世。

在談到深度學(xué)習(xí)的理論基礎(chǔ)時(shí)，張曉東引用了Kolmogorov-Arnold疊加定理，該定理證明了三層以上的神經(jīng)網(wǎng)絡(luò)可以逼近任意連續(xù)函數(shù)。這意味著從理論上講，深度學(xué)習(xí)能夠無(wú)限精度地逼近人類(lèi)所能完成的任何任務(wù)。然而，他也提到，在神經(jīng)網(wǎng)絡(luò)的優(yōu)化和壓縮方面，學(xué)術(shù)界和工業(yè)界仍存在不少爭(zhēng)議和探討。

張曉東還分享了關(guān)于神經(jīng)網(wǎng)絡(luò)計(jì)算的新思路，即將計(jì)算從“點(diǎn)”上轉(zhuǎn)移到“邊”上，盡管這一想法仍面臨諸多挑戰(zhàn)，但它為未來(lái)的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)提供了新的視角。

在探討大語(yǔ)言模型的發(fā)展趨勢(shì)時(shí)，張曉東提到了當(dāng)前科技界的一些熱議話題，包括OpenAI團(tuán)隊(duì)的變動(dòng)以及訓(xùn)練大型模型所需的巨大成本。他特別強(qiáng)調(diào)了能耗問(wèn)題，指出隨著模型規(guī)模的擴(kuò)大，訓(xùn)練所需的能耗也在急劇增加。然而，他也表示，根據(jù)Koomey定律，隨著技術(shù)的進(jìn)步，同等算力所需的能耗將會(huì)逐年下降，這為未來(lái)的大型模型訓(xùn)練提供了一線希望。

沒(méi)有人懷疑，1956年達(dá)特茅斯會(huì)議提出的問(wèn)題至今仍然有著深刻的啟示，人工智能領(lǐng)域的發(fā)展將在未來(lái)見(jiàn)證更多激動(dòng)人心的技術(shù)突破。

AI-ISP的關(guān)鍵技術(shù)與應(yīng)用實(shí)踐

在人工智能與圖像處理交融的今天，AI-ISP（人工智能圖像信號(hào)處理器）技術(shù)正成為推動(dòng)成像質(zhì)量提升的關(guān)鍵力量。

傳統(tǒng)成像過(guò)程僅針對(duì)特定譜段進(jìn)行感知，隨后需要大量計(jì)算來(lái)修正和處理這些感知到的能量信號(hào)。這主要是因?yàn)槌上裣到y(tǒng)面臨多重挑戰(zhàn)，包括成像光學(xué)系統(tǒng)的局限性、器件物理特性的限制，以及人眼視覺(jué)感知的非線性等。傳統(tǒng)ISP系統(tǒng)采用“分治法”來(lái)處理這些問(wèn)題，即將各種圖像畸變分類(lèi)，然后逐一設(shè)計(jì)算法進(jìn)行校正，最后組合起來(lái)解決問(wèn)題。

電子科技大學(xué)教授顧舒航指出，隨著計(jì)算資源的日益豐富，工程界或許可以尋求更加數(shù)據(jù)驅(qū)動(dòng)的方法。在過(guò)去，當(dāng)計(jì)算資源有限時(shí)，人工智能算法可能并不如傳統(tǒng)的手工設(shè)計(jì)方法有效。但現(xiàn)在，隨著計(jì)算能力的提升，機(jī)器學(xué)習(xí)的方法有可能達(dá)到甚至超越傳統(tǒng)方法的效果。因此，在計(jì)算資源更加充裕的今天，可以考慮采用新的策略來(lái)優(yōu)化ISP系統(tǒng)。這一觀點(diǎn)為AI-ISP技術(shù)的發(fā)展提供了新的思路。

AI-ISP的實(shí)現(xiàn)涉及5個(gè)關(guān)鍵技術(shù)：

l領(lǐng)域特定架構(gòu)（DSA）：在構(gòu)建AI-ISP的硬件架構(gòu)時(shí)，既可以考慮與傳統(tǒng)ISP架構(gòu)的一致性，以?xún)?yōu)化內(nèi)存使用和處理效率；同時(shí)，也可以借鑒傳統(tǒng)方法的豐富經(jīng)驗(yàn)，特別是那些反映物理事實(shí)的經(jīng)驗(yàn)，來(lái)完善AI-ISP的設(shè)計(jì)；

l硬件感知算法設(shè)計(jì)：這一技術(shù)旨在確保算法與硬件的緊密集成，從而實(shí)現(xiàn)更高效的圖像處理；

l數(shù)據(jù)工程與無(wú)監(jiān)督訓(xùn)練：利用數(shù)據(jù)工程方法來(lái)處理大規(guī)模圖像數(shù)據(jù)，并結(jié)合無(wú)監(jiān)督訓(xùn)練技術(shù)，使網(wǎng)絡(luò)能夠自我學(xué)習(xí)和優(yōu)化；

l神經(jīng)網(wǎng)絡(luò)優(yōu)化與量化技術(shù)：通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)的優(yōu)化和量化，可以在保持性能的同時(shí)降低計(jì)算復(fù)雜性和資源消耗；

l可控神經(jīng)網(wǎng)絡(luò)：這種網(wǎng)絡(luò)能夠?qū)崟r(shí)反映成像環(huán)境的變化，并根據(jù)用戶(hù)的影像需求進(jìn)行調(diào)整，從而實(shí)現(xiàn)更加個(gè)性化和靈活的圖像處理。

顧舒航表示，他和他的團(tuán)隊(duì)負(fù)責(zé)了哲庫(kù)第一代SoC ISP系統(tǒng)的算法部分，成功完成了整個(gè)開(kāi)發(fā)流程，并送出了流片。此外，在顯示系統(tǒng)中，他們實(shí)現(xiàn)了功耗更低的AI算法，使其可以“常開(kāi)”?；氐诫娮涌萍即髮W(xué)后，該團(tuán)隊(duì)與芯原公司合作，針對(duì)安防場(chǎng)景開(kāi)發(fā)了一種AI暗光去噪技術(shù)，該技術(shù)已成功商業(yè)化落地。

盡管取得了不錯(cuò)的進(jìn)展，但AI-ISP還有需要不斷優(yōu)化和升級(jí)。顧舒航表示，他的團(tuán)隊(duì)正在幾個(gè)方向深化研究：

底層技術(shù)優(yōu)化：盡管Transformer架構(gòu)帶來(lái)了一些收益，但它對(duì)應(yīng)用并不十分友好。因此要超越其“切塊”處理的局限，實(shí)現(xiàn)全圖自相關(guān)性的計(jì)算，同時(shí)保持對(duì)硬件的友好性；

生成式模型：他們正在研究生成式模型的快速推理，以生成多維度的細(xì)節(jié)。這對(duì)于消費(fèi)電子等領(lǐng)域具有巨大價(jià)值。該團(tuán)隊(duì)的初步成果已經(jīng)顯示出比傳統(tǒng)方法更大的優(yōu)勢(shì)；

激進(jìn)的量化策略：他們正探索以最小的介入實(shí)現(xiàn)更好的數(shù)據(jù)質(zhì)量，從而提升整體性能。如果其ISP得以成功實(shí)施，它可以與各種上游任務(wù)相結(jié)合，為壓縮、傳輸和存儲(chǔ)帶來(lái)革新。

顧舒航認(rèn)為，在自動(dòng)駕駛等場(chǎng)景中，生成式模型的應(yīng)用將更具潛力。例如，道路兩側(cè)的建筑物數(shù)據(jù)可以完全通過(guò)生成式模型來(lái)填補(bǔ)，從而大幅降低數(shù)據(jù)流通路的需求，為下游處理減少存儲(chǔ)壓力，進(jìn)而降低成本。

AI-ISP技術(shù)已經(jīng)在圖像處理領(lǐng)域展現(xiàn)出巨大的潛力和應(yīng)用價(jià)值。通過(guò)不斷優(yōu)化關(guān)鍵技術(shù)和探索新的應(yīng)用場(chǎng)景，AI-ISP將在未來(lái)發(fā)揮更加重要的作用。

具身智能的機(jī)會(huì)與挑戰(zhàn)

“具身智能”與傳統(tǒng)智能有著本質(zhì)的不同。它特指那些能夠自主移動(dòng)的智能終端，這些終端必須具備空間計(jì)算能力，以感知和適應(yīng)物理世界。然而，過(guò)去的具身智能產(chǎn)品往往在智能程度上有所欠缺，在泛化性和普適性方面仍有待提高。神頂科技（南京）有限公司董事長(zhǎng)、CEO袁帝文認(rèn)為，大模型與3D空間計(jì)算技術(shù)的結(jié)合為具身智能的發(fā)展注入了新的動(dòng)力。

袁帝文表示，空間計(jì)算技術(shù)的核心在于對(duì)環(huán)境的感知。物理世界是三維的、充滿(mǎn)多模態(tài)信息，因此需要多模態(tài)算法的支持。同時(shí)，與物理世界的交互也必須是3D的。這種交互不僅僅局限于人與機(jī)器之間，更包括機(jī)器協(xié)助我們完成各種實(shí)際任務(wù)，如抓取雞蛋、收拾碗盤(pán)或折疊衣物。在這里，3D技術(shù)顯得尤為重要，而空間計(jì)算技術(shù)也需要與大模型AI技術(shù)緊密結(jié)合，二者協(xié)同作用，共同推動(dòng)具身智能的進(jìn)步。

具身智能終端的應(yīng)用場(chǎng)景廣泛，包括工業(yè)機(jī)器人、人形機(jī)器人、自動(dòng)駕駛、低空飛行以及智能家居等。神頂科技已經(jīng)成功商業(yè)化落地了一系列消費(fèi)級(jí)機(jī)器人產(chǎn)品，如擦窗機(jī)器人、四足機(jī)器人等。袁帝文表示，這些機(jī)器人在實(shí)際應(yīng)用中面臨著各種挑戰(zhàn)，如水下機(jī)器人的方向辨識(shí)和視覺(jué)挑戰(zhàn)，以及泳池機(jī)器人在清洗過(guò)程中可能遇到的污泥困住或被排水口吸入等問(wèn)題。這些都對(duì)物理環(huán)境的感知提出了極高的要求。同時(shí)，機(jī)器人在做決策和判斷時(shí)，也需要AI的輔助。大模型的應(yīng)用使得機(jī)器人的普適性得到了顯著提升。

袁帝文指出，大模型的發(fā)展不僅推動(dòng)了PC和手機(jī)行業(yè)的進(jìn)步，更為機(jī)器人技術(shù)帶來(lái)了革新。機(jī)器人作為一個(gè)綜合性的終端，不僅需要具備PC和手機(jī)的基本功能，還要能夠感知和適應(yīng)物理世界。這就要求機(jī)器人必須具備多模態(tài)大模型的支撐，以應(yīng)對(duì)不同場(chǎng)景的適應(yīng)性需求。

在機(jī)器人的AI算法部署方面，人機(jī)交互、環(huán)境理解和感知、決策和規(guī)劃以及運(yùn)動(dòng)控制等環(huán)節(jié)都離不開(kāi)大模型的支持。特別是隨著三維重建和物理環(huán)境感知技術(shù)的日益重要，端到端和全端到端的技術(shù)發(fā)展趨勢(shì)也備受關(guān)注。

然而，大模型在機(jī)器人領(lǐng)域的應(yīng)用并非易事。袁帝文強(qiáng)調(diào)，3D空間計(jì)算技術(shù)與大模型技術(shù)需要相互耦合、相互協(xié)作。多模態(tài)大模型與空間計(jì)算的分工與協(xié)作，是當(dāng)前產(chǎn)業(yè)面臨的一個(gè)重要課題。此外，機(jī)器人對(duì)大模型的需求還體現(xiàn)在對(duì)傳感器的支持上，包括視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等多種傳感器，這對(duì)多模態(tài)大模型提出了更高的要求。

在面對(duì)這些挑戰(zhàn)時(shí)，端側(cè)芯片的設(shè)計(jì)顯得尤為重要。袁帝文提出了兩個(gè)關(guān)鍵技術(shù)方向：一是高實(shí)時(shí)性NPU，通過(guò)提升算力、優(yōu)化Transformer運(yùn)算、低比特量化和權(quán)重壓縮等手段，提高實(shí)時(shí)處理能力和多任務(wù)處理效率；二是3D空間計(jì)算處理能力，通過(guò)深度計(jì)算引擎和感知融合引擎，實(shí)現(xiàn)更高質(zhì)量的三維世界感知和多傳感器融合。

神頂科技是亞洲第一家量產(chǎn)的具身智能3D空間計(jì)算芯片提供商，據(jù)袁帝文介紹，該公司研發(fā)的3D空間計(jì)算芯片能夠支持不同的應(yīng)用場(chǎng)景，并根據(jù)實(shí)際需求靈活采用不同的傳感器組合，確保機(jī)器人在各種環(huán)境下都能保持出色的感知能力。該芯片還支持低成本傳感器，有效減少對(duì)高性能傳感器的依賴(lài)，從而大幅降低系統(tǒng)成本，為更廣泛的機(jī)器人應(yīng)用鋪平了道路。

值得一提的是，該芯片還支持異構(gòu)傳感器融合，能夠輕松解決raw data的融合問(wèn)題。這一功能使得機(jī)器人能夠更準(zhǔn)確地感知和理解周?chē)h(huán)境，為后續(xù)的決策和行動(dòng)提供堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。

除了上述特性，神頂科技的3D空間計(jì)算芯片還提供了豐富的功能，包括三維重建、深度估計(jì)以及感知融合等。這些功能不僅支持不同的3D感知技術(shù)和空間定位技術(shù)，還是多傳感器融合這一3D空間計(jì)算基石得以實(shí)現(xiàn)的關(guān)鍵。

機(jī)器人正逐漸從數(shù)字世界走向物理世界，而這一過(guò)程離不開(kāi)高效、精準(zhǔn)的感知和計(jì)算能力。最近，業(yè)內(nèi)頻頻提及“物理AI”的概念。袁帝文強(qiáng)調(diào)，在當(dāng)今這個(gè)物理AI逐漸嶄露頭角的時(shí)代，神頂科技的3D空間計(jì)算芯片與NPU的緊密協(xié)作顯得尤為重要。神頂科技正積極與合作伙伴如芯原等攜手合作，共同迎接物理AI帶來(lái)的挑戰(zhàn)。

面向AIGC布局平臺(tái)和方案

隨著大模型和AIGC的興起，算力需求不斷攀升，不僅在云端，邊緣和終端也迫切需要AI算力的加持。芯原高級(jí)副總裁、定制芯片平臺(tái)事業(yè)部總經(jīng)理汪志偉表示，面向AIGC，芯原已經(jīng)布局了一系列芯片設(shè)計(jì)平臺(tái)和軟件解決方案。

汪志偉強(qiáng)調(diào)，云端、邊緣和終端在AI應(yīng)用中各有側(cè)重。云端注重高性能計(jì)算、大數(shù)據(jù)分析和海量數(shù)據(jù)存儲(chǔ)；邊緣則更偏向推理、實(shí)時(shí)決策和部分?jǐn)?shù)據(jù)訓(xùn)練；而終端則聚焦于數(shù)據(jù)采集和智能數(shù)據(jù)處理。為滿(mǎn)足這一系列需求，相應(yīng)的硬件和芯片支持顯得尤為重要。

芯原擁有從IP到芯片設(shè)計(jì)的一站式服務(wù)能力，其IP授權(quán)業(yè)務(wù)目前全球排名第五。芯原有六大類(lèi)處理器IP，包括神經(jīng)網(wǎng)絡(luò)NPU、圖形GPU、視頻VPU、音頻/語(yǔ)音DSP、圖象信號(hào)ISP以及顯示處理IP，這些都在AIGC相關(guān)芯片設(shè)計(jì)中發(fā)揮著關(guān)鍵作用。

目前，芯原的視頻處理器市占率位居全球第一，已被全球前二十大云平臺(tái)解決方案提供商中的12家采用。同時(shí)，其N(xiāo)PU全球累積出貨量超過(guò)1億顆，GPGPU搭載芯原IP的芯片出貨量也接近20億。此外，在數(shù)?；旌戏矫?，芯原支持從250nm到5nm的不同芯片工藝節(jié)點(diǎn)，并在各個(gè)方向都有深度合作。

在定制芯片服務(wù)方面，芯原每年協(xié)助客戶(hù)設(shè)計(jì)超過(guò)30款芯片，早在2018年便成功實(shí)現(xiàn)了全球首批7nm EUV芯片的一次流片成功，并且已有多款5nm芯片順利量產(chǎn)和流片。從28nm到5nm，芯原在各種先進(jìn)工藝節(jié)點(diǎn)上積累了豐富的流片與量產(chǎn)經(jīng)驗(yàn)。

談及芯原的系統(tǒng)芯片設(shè)計(jì)平臺(tái)如何助力AIGC芯片設(shè)計(jì)，汪志偉強(qiáng)調(diào)了SiPaaS系統(tǒng)級(jí)芯片設(shè)計(jì)平臺(tái)的持續(xù)迭代與演進(jìn)。他表示，該平臺(tái)已經(jīng)過(guò)多年的打磨和完善，支撐了眾多芯片的設(shè)計(jì)與流片，積累了豐富的技術(shù)資源，能夠適配不同的處理器架構(gòu)、總線和存儲(chǔ)器。這一深厚的技術(shù)積淀，使得芯原的一次流片成功率高達(dá)90%以上。更值得一提的是，芯原的服務(wù)已經(jīng)從前端設(shè)計(jì)延伸至軟件設(shè)計(jì)，為客戶(hù)提供包括軟件SDK在內(nèi)的全方位解決方案。

在AIGC芯片設(shè)計(jì)方面，芯原為云端設(shè)計(jì)的所有芯片均與AI、AIGC緊密相關(guān)。其為客戶(hù)設(shè)計(jì)的用于數(shù)據(jù)中心的高算力AIGC芯片，支持多核高性能CPU和GPGPU，并采用HBM3技術(shù)以滿(mǎn)足大數(shù)據(jù)處理對(duì)帶寬的苛刻需求。

面對(duì)數(shù)據(jù)中心對(duì)算力的不斷增長(zhǎng)需求，芯原提出了創(chuàng)新的Chiplet互聯(lián)方案。通過(guò)設(shè)計(jì)支持4-6路接口的芯片，能夠?qū)?顆以上的芯片拼接在一起，從而大幅提升算力。同時(shí)，針對(duì)大面積芯片的設(shè)計(jì)挑戰(zhàn)，芯原已經(jīng)接近了掩膜極限的解決方案，通過(guò)Chiplet技術(shù)突破物理限制。

汪志偉強(qiáng)調(diào)，僅有硬件芯片還遠(yuǎn)遠(yuǎn)不夠，充分挖掘硬件性能的軟件同樣至關(guān)重要。因此，芯原還為客戶(hù)提供與硬件緊密結(jié)合的完整軟件協(xié)議棧，從底層到中間層全面覆蓋，以滿(mǎn)足推理、訓(xùn)練等多樣化需求，并解決芯片間、甚至板卡間的互聯(lián)通信問(wèn)題。

汪志偉特別介紹了芯原在汽車(chē)和手機(jī)兩個(gè)領(lǐng)域的最新方案。在汽車(chē)端，該公司車(chē)規(guī)級(jí)芯片設(shè)計(jì)方面已通過(guò)車(chē)規(guī)安全認(rèn)證，并設(shè)計(jì)出可支持300-500 TOPs算力的自動(dòng)駕駛芯片，提前集成基礎(chǔ)軟件以縮短整車(chē)開(kāi)發(fā)時(shí)間。同時(shí)，芯原也解決了大算力芯片良率問(wèn)題，通過(guò)Chiplet技術(shù)擴(kuò)展算力，提供從芯片到IP的一攬子解決方案；在手機(jī)端，芯原設(shè)計(jì)了用于手機(jī)的AI ISP芯片和與谷歌合作的低功耗安全智能傳感芯片。