自從物聯(lián)網(wǎng)(IoT)出現(xiàn)以來,邊緣智能是一項頗具顛覆性的創(chuàng)新。物聯(lián)網(wǎng)帶來了數(shù)十億智能互聯(lián)設(shè)備,這些設(shè)備傳輸TB級海量傳感器數(shù)據(jù),用于執(zhí)行基于人工智能的云計算,除此之外,另一項革命正在進行,那就是邊緣設(shè)備上的機器學(xué)習(xí)(ML)。隨著越來越多的智能化計算遷移到網(wǎng)絡(luò)邊緣,恩智浦緊跟趨勢,提供成本、性能和功率優(yōu)化的處理解決方案,以便跨多個市場和應(yīng)用推動機器學(xué)習(xí)技術(shù),讓最終用戶享受到邊緣計算增強安全性、提高隱私性和減少延遲的優(yōu)勢。
以前,機器學(xué)習(xí)、深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)應(yīng)用一直是數(shù)據(jù)科學(xué)家和人工智能專家的開發(fā)領(lǐng)域。但是,隨著越來越多的機器學(xué)習(xí)工具和技術(shù)可用來消除機器學(xué)習(xí)應(yīng)用開發(fā)方面的一些復(fù)雜性,這種情況正在逐漸改變。恩智浦的eIQ(“edge intelligence”)機器學(xué)習(xí)開發(fā)環(huán)境就此應(yīng)運而生。eIQ提供一組綜合工作流程工具、推理引擎、神經(jīng)網(wǎng)絡(luò)(NN)編譯器、經(jīng)過優(yōu)化的庫和技術(shù),幫助簡化并加快機器學(xué)習(xí)開發(fā)。eIQ適合各種技能水平的用戶,從第一次接觸深度學(xué)習(xí)項目的嵌入式開發(fā)人員,到重點研究高級目標(biāo)識別、分類、異常檢測或語音識別解決方案的專家,eIQ都可以助力開發(fā)。
eIQ機器學(xué)習(xí)軟件于2018年推出,經(jīng)過不斷發(fā)展,可支持系統(tǒng)級應(yīng)用和機器學(xué)習(xí)算法實現(xiàn),適用于恩智浦i.MX系列,包括低功耗i.MX RT跨界微控制器(MCU),以及基于Arm® Cortex®-M和Cortex®-A內(nèi)核的多核i.MX 8和i.MX 8M應(yīng)用處理器。
重大升級
為幫助機器學(xué)習(xí)開發(fā)人員更熟練地基于恩智浦i.MX平臺進行機器學(xué)習(xí)開發(fā),并提高工作效率,我們大力擴展eIQ軟件環(huán)境,在其中添加了全新的eIQ Toolkit工作流程工具、基于圖形界面(GUI)的eIQ portal開發(fā)環(huán)境以及針對i.MX和i.MX RT設(shè)備進行優(yōu)化的DeepViewRT™推理引擎。
圖1.簡要展示eIQ Toolkit和eIQ portal特性與工作流程。
下面詳細介紹eIQ軟件環(huán)境中新增的這些強大的工具如何幫助簡化機器學(xué)習(xí)開發(fā),提高工作效率并為開發(fā)人員提供更多選項和更大的靈活性。
eIQ Toolkit:實現(xiàn)“機器學(xué)習(xí)人人可用”
考慮到機器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)應(yīng)用的潛在復(fù)雜性以及機器學(xué)習(xí)開發(fā)人員的不同需求,簡單的“萬能”工具并不適合。更好的方法是提供靈活的綜合工具套件,該套件應(yīng)該能夠擴展,以滿足不同技能水平和經(jīng)驗水平的機器學(xué)習(xí)開發(fā)人員。為此,我們在eIQ機器學(xué)習(xí)開發(fā)環(huán)境中添加了強大但易用的eIQ Toolkit,使開發(fā)人員能夠?qū)霐?shù)據(jù)集和模型,基于恩智浦i.MX 8M應(yīng)用處理器系列和i.MX RT跨界MCU系列訓(xùn)練、量化、驗證和部署神經(jīng)網(wǎng)絡(luò)模型與機器學(xué)習(xí)相關(guān)的計算。無論您是剛剛接觸機器學(xué)習(xí)項目的嵌入式開發(fā)人員,還是熟練的數(shù)據(jù)科學(xué)家,抑或是人工智能專家,都能在eIQ Toolkit中找到合適功能,以匹配您的技能水平并簡化機器學(xué)習(xí)項目的開發(fā)。
圖2. eIQ portal提供數(shù)據(jù)集管理工具,幫助您注釋并整理所有訓(xùn)練數(shù)據(jù)。
eIQ Toolkit提供簡單的工作流程和機器學(xué)習(xí)應(yīng)用示例。此外,eIQ Toolkit包括eIQportal,提供基于GUI的直觀開發(fā)選項,您也可以根據(jù)自己的喜好選擇使用命令行工具。如果您想要利用現(xiàn)成的開發(fā)解決方案,或者需要恩智浦或我們值得信賴的合作伙伴提供的專業(yè)服務(wù)與支持,您可以在eIQ Toolkit中輕松訪問Au-Zone Technologies等公司提供的不同選擇,eIQ也會不斷更新豐富相關(guān)的支持。
圖3. eIQ portal提供便捷的模型驗證和精度測量方法。
通過使用eIQ portal,您可以輕松創(chuàng)建、優(yōu)化、調(diào)試、轉(zhuǎn)換并導(dǎo)出機器學(xué)習(xí)模型,也可以從TensorFlow、ONNX和PyTorch機器學(xué)習(xí)框架中導(dǎo)入數(shù)據(jù)集和模型。您可以通過“自帶數(shù)據(jù)”(BYOD)流程,使用自己的數(shù)據(jù)訓(xùn)練模型,從由預(yù)先訓(xùn)練的模型組成的數(shù)據(jù)庫中選擇,或者通過“自帶模型”(BYOM)流程導(dǎo)入預(yù)先訓(xùn)練的模型,比如來自Au-Zone Technologies的高級檢測模型。通過遵循簡單的BYOM流程,您可以使用基于云的公共或私有工具構(gòu)建經(jīng)過訓(xùn)練的模型,然后將模型傳輸?shù)絜IQ Toolkit中,以便在針對芯片優(yōu)化后的推理引擎上運行。
圖4. eIQ portal提供靈活的BYOM和BYOD工作模式
針對目標(biāo)的圖形級別分析功能讓開發(fā)人員能夠在運行時深入了解運行情況,以便微調(diào)和優(yōu)化系統(tǒng)參數(shù)、運行時性能、內(nèi)存使用和在i.MX設(shè)備上執(zhí)行的神經(jīng)網(wǎng)絡(luò)架構(gòu)。
恩智浦全新eIQ推理引擎
推理引擎是機器學(xué)習(xí)開發(fā)項目的核心,這是機器學(xué)習(xí)應(yīng)用的運行時組件。eIQ機器學(xué)習(xí)軟件開發(fā)環(huán)境支持使用針對Glow、ONNX和TensorFlow Lite等針對i.MX和MCU進行優(yōu)化的各種基于社區(qū)的開源推理引擎進行推理,除此之外,我們又新添加了DeepViewRT推理引擎。
DeepViewRT是與合作伙伴Au-Zone Technologies聯(lián)合開發(fā)的專有推理引擎,提供由供應(yīng)商維護的更長期穩(wěn)定的解決方案,作為對于現(xiàn)有開源推理引擎的補充。
圖5.DeepViewRT為機器學(xué)習(xí)應(yīng)用提供穩(wěn)定靈活的量產(chǎn)化推理引擎。
在DeepViewRT推理引擎在MCUXpresso SDK中作為中間件集成,對于使用Linux操作系統(tǒng)的產(chǎn)品開發(fā),DeepViewRT推理引擎可以通過Yocto BSP獲得。