ExecuTorch 測試版上線，加速 Arm 平臺邊緣側(cè)生成式 AI 發(fā)展

Arm 正在與 Meta 公司的 PyTorch 團(tuán)隊攜手合作，共同推進(jìn)新的 ExecuTorch 測試版 (Beta) 上線，旨在為全球數(shù)十億邊緣側(cè)設(shè)備和數(shù)百萬開發(fā)者提供人工智能 (AI) 和機(jī)器學(xué)習(xí) (ML) 功能，進(jìn)而確保 AI 真正的潛力能被最廣泛的設(shè)備和開發(fā)者所使用。

借助 ExecuTorch 和新的 Llama 量化模型，Arm 計算平臺優(yōu)化生成式 AI 性能

Arm 計算平臺無處不在，為全球眾多邊緣側(cè)設(shè)備提供支持，而 ExecuTorch 則是專為移動和邊緣側(cè)設(shè)備部署 AI 模型而設(shè)計的 PyTorch 原生部署框架。兩者的緊密合作，使開發(fā)者能夠賦能更小、更優(yōu)化的模型，包括新的 Llama 3.2 1B 和 3B 量化模型。這些新模型可以減少內(nèi)存占用、提高準(zhǔn)確性、增強(qiáng)性能和提供可移植性，成為小型設(shè)備上的生成式 AI 應(yīng)用的理想選擇，如虛擬聊天機(jī)器人、文本摘要和 AI 助手。

開發(fā)者無需額外的修改或優(yōu)化，便可將新的量化模型無縫集成到應(yīng)用中，從而節(jié)省時間和資源。如此一來，他們能夠迅速在廣泛的 Arm 設(shè)備上大規(guī)模開發(fā)和部署更多的智能 AI 應(yīng)用。

隨著 Llama 3.2 大語言模型 (LLM) 新版本的發(fā)布，Arm 正在通過 ExecuTorch 框架優(yōu)化 AI 性能，使得在 Arm 計算平臺邊緣設(shè)備運(yùn)行的真實生成式 AI 工作負(fù)載能更為快速。在 ExecuTorch 測試版發(fā)布的首日起，開發(fā)者便能享有這些性能的提升。

集成 KleidiAI，加速端側(cè)生成式 AI 的實現(xiàn)

在移動領(lǐng)域，Arm 與 ExecuTorch 的合作意味著眾多生成式 AI 應(yīng)用，如虛擬聊天機(jī)器人、文本生成和摘要、實時語音和虛擬助手等，完全能夠在搭載 Arm CPU 的設(shè)備上以更高的性能運(yùn)行。這一成果得益于 KleidiAI，它引入了針對 4 位量化優(yōu)化的微內(nèi)核，并通過 XNNPACK 集成到了 ExecuTorch 中，因此，在 Arm 計算平臺上運(yùn)行 4 位量化的 LLM 時，無縫加速 AI 工作負(fù)載的執(zhí)行。例如，通過 KleidiAI 的集成，Llama 3.2 1B 量化模型預(yù)填充階段的執(zhí)行速度可以提高 20%，使得一些基于 Arm 架構(gòu)的移動設(shè)備上的文本生成速度超過了每秒 400 個詞元 (token)。這意味著，終端用戶將從他們移動設(shè)備上獲得更快速、響應(yīng)更靈敏的 AI 體驗。

為物聯(lián)網(wǎng)的邊緣側(cè) AI 應(yīng)用加速實時處理能力

在物聯(lián)網(wǎng)領(lǐng)域，ExecuTorch 將提高邊緣側(cè) AI 應(yīng)用的實時處理能力，包括智能家電、可穿戴設(shè)備以及自動零售系統(tǒng)等。這意味著物聯(lián)網(wǎng)設(shè)備和應(yīng)用能夠以毫秒級的速度響應(yīng)環(huán)境變化，這對保障安全性和功能可用性至關(guān)重要。

ExecuTorch 可在 Arm? Cortex?-A CPU 和 Ethos?-U NPU 上運(yùn)行，以加速邊緣側(cè) AI 應(yīng)用的開發(fā)和部署。事實上，通過將 ExecuTorch 與 Arm Corstone?-320 參考平臺（也可作為仿真固定虛擬平臺 (FVP) 使用）、Arm Ethos-U85 NPU 驅(qū)動程序和編譯器支持集成到一個軟件包中，開發(fā)者可在平臺上市前幾個月就著手開發(fā)邊緣側(cè) AI 應(yīng)用。

更易獲取、更快捷的邊緣側(cè) AI 開發(fā)體驗

ExecuTorch 有潛力成為全球最受歡迎的高效 AI 和 ML 開發(fā)框架之一。通過將應(yīng)用最廣泛的 Arm 計算平臺與 ExecuTorch 相結(jié)合，Arm 正在通過新的量化模型加速 AI 的普及，讓開發(fā)者能夠更快地在更多設(shè)備上部署應(yīng)用，并將更多生成式 AI 體驗引入邊緣側(cè)。