加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
    • 從傳統(tǒng)感知到機(jī)器人具身智能傳感
    • 端側(cè)AI賦能下的機(jī)器人感知
    • 具身智能端側(cè)AI傳感,不止于感知
    • 寫在最后
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請入駐 產(chǎn)業(yè)圖譜

機(jī)器人也有“五感”?端側(cè)AI加速融合機(jī)器人傳感,具身智能仍然感知先行

3小時前
90
閱讀需 13 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

作者:李寧遠(yuǎn)物聯(lián)網(wǎng)智庫 原創(chuàng)

如果說去年機(jī)器人行業(yè)上半年發(fā)展的關(guān)鍵詞是“機(jī)器人+”概念,那么去年下半年到今年年末機(jī)器人行業(yè)發(fā)展的關(guān)鍵詞毫無疑問無疑只有一個,就是“具身智能”。

雖然應(yīng)用側(cè)落地的痛點(diǎn)一直困擾著產(chǎn)業(yè)鏈,但具身智能概念的出現(xiàn)讓機(jī)器人,尤其是人形機(jī)器人的量產(chǎn)及產(chǎn)業(yè)化落地正在超出預(yù)期地加速發(fā)展。在今年的北京2024世界機(jī)器人大會上,眾多人形機(jī)器人紛紛亮相,數(shù)量創(chuàng)下歷屆大會之最。

同時,今年也是端側(cè)AI蓬勃發(fā)展的一年,從芯片制造、操作系統(tǒng)開發(fā)到終端設(shè)備開發(fā)、應(yīng)用開發(fā)等各個環(huán)節(jié)都在不遺余力地進(jìn)行端側(cè)AI技術(shù)的融合,AI得以持續(xù)向端側(cè)應(yīng)用發(fā)力,各類AI智能終端產(chǎn)品在市場上涌現(xiàn)并迅速占領(lǐng)份額。

端側(cè)AI在消費(fèi)電子領(lǐng)域的火熱進(jìn)展自是不必多說,機(jī)器人也開始越來越多地與端側(cè)AI技術(shù)結(jié)合,向更高階的智能化升級。黃仁勛曾表示,AI下一個浪潮將是“具身智能”,即能夠理解、推理并與物理世界互動的智能。體現(xiàn)在終端設(shè)備上,智能機(jī)器人是最通用的具身智能終端形態(tài),甚至人形機(jī)器人可能成為真正意義上的自主智能終端,而這一愿景離不開背后機(jī)器人與AI技術(shù)的深度融合。

作為集前沿科學(xué)技術(shù)于一身的產(chǎn)品,機(jī)器人的感知層、決策層、執(zhí)行層等等每一類技術(shù)框架里都有著大量可智能化的空間。我們把切入點(diǎn)縮小一些,著重從感知層面來看傳感與人工智能的結(jié)合到最后實(shí)現(xiàn)具身智能感知。

從傳統(tǒng)感知到機(jī)器人具身智能傳感

機(jī)器人任務(wù)流程的正確執(zhí)行,其源頭都是機(jī)器人對其自身狀態(tài)、操作對象以及作業(yè)環(huán)境有正確的認(rèn)知。這依賴于機(jī)器人搭載的傳感系統(tǒng)能搜集足夠的內(nèi)外部信息以便決策層進(jìn)行運(yùn)動規(guī)劃。這一點(diǎn)和我們?nèi)祟愂窍嗤ǖ?,機(jī)器人的傳感系統(tǒng)就是人類的感官,一方面收集周圍環(huán)境信息,一方面進(jìn)行自身狀態(tài)的感知。通常在一個機(jī)器人端側(cè)系統(tǒng)中,會用到傳感器、主控以及必要的通信連接功能,傳感器負(fù)責(zé)采集真實(shí)物理世界的信號,然后將數(shù)據(jù)傳遞到主控中進(jìn)行處理。

對于像工業(yè)機(jī)器人這樣的傳統(tǒng)機(jī)器人而言,感知部分是較為單一的,有位置傳感器用于運(yùn)控即可,發(fā)展到后來部分工業(yè)機(jī)器人也僅需要少數(shù)的感知單元來完成一些額外的功能。而且傳統(tǒng)的機(jī)器人傳感器定位僅僅是一個單純用于感知器件,屬于完全的被動方,只以旁觀者的視角對目標(biāo)量進(jìn)行記錄,功能點(diǎn)明確且單一。

隨著機(jī)器人整體軟硬件技術(shù)的完善與發(fā)展,越來越多功能得以實(shí)現(xiàn),機(jī)器人本身也成為傳感器高度集成的端側(cè)設(shè)備,小到電流傳感器溫度傳感器,大到IMU、編碼器、視覺、激光雷達(dá)等等一系列傳感器從各個維度豐富著機(jī)器人對環(huán)境對世界的感知。

更重要的是,傳感器不再只是被動地去記錄目標(biāo)參數(shù),而是變得更主動、更智能,能夠基于收集到的數(shù)據(jù)主動去做融合、分類和預(yù)測等等一系列此前無法實(shí)現(xiàn)的功能。

這些改變都得益于AI相關(guān)技術(shù)的引入,如果說此前這些升級與革新只是錦上添花的話,到了現(xiàn)在人形機(jī)器人具身智能時代,端側(cè)設(shè)備上傳感器與AI的結(jié)合絕對已經(jīng)成為必不可少的技術(shù)棧。

因?yàn)榫呱碇悄芘c傳統(tǒng)智能差別在于具身智能是具有主動性的第一人稱智能,能夠在與環(huán)境的交互感知中將數(shù)據(jù)的采集、模型的學(xué)習(xí)、任務(wù)的執(zhí)行融為一體實(shí)現(xiàn)自主學(xué)習(xí),感知層不與AI深度結(jié)合難以實(shí)現(xiàn)這種主動智能。

從具身智能整個實(shí)現(xiàn)的技術(shù)框架來看,仍舊是感知、決策、執(zhí)行三個核心技術(shù)環(huán)節(jié)以及配套的通信與交互技術(shù)。具身感知是后續(xù)環(huán)節(jié)的支撐,包括對世界模型的全感知及與環(huán)境的實(shí)時交互感知,可以結(jié)合真實(shí)交互反饋數(shù)據(jù)不斷自主修正預(yù)先構(gòu)建的數(shù)據(jù)庫,獲得更精確的世界理解與模型建立。而后通過構(gòu)建仿真引擎,對具身任務(wù)進(jìn)行模擬,結(jié)合感知數(shù)據(jù)進(jìn)行想象操作,為機(jī)器人具身執(zhí)行提供支撐。

可以說,具身傳感是具身智能機(jī)器人的基礎(chǔ),只有一套完整的具身傳感系統(tǒng)才能讓機(jī)器人實(shí)現(xiàn)真正具身智能,通過感知的傳遞完成對運(yùn)動控制的指導(dǎo)。具身智能機(jī)器人需要多種傳感器,感知帶動運(yùn)動控制的范式變化。例如在抓取物品的時候,會先利用傳感器組合判斷方位,再識別物品的大小,調(diào)整伸手距離等,再通過力/觸覺傳感器調(diào)整抓握力,進(jìn)而完成一系列動作。其中每一個環(huán)節(jié),都有著AI能夠助力的空間。

端側(cè)AI賦能下的機(jī)器人感知

端側(cè)的AI與傳感器融合是機(jī)器人發(fā)展較為迅速的一個領(lǐng)域,不少感知方向的傳感都已經(jīng)有了明顯的智能化提升。各個不同維度的傳感方向,都有相關(guān)技術(shù)力量在推動。

1. 機(jī)器視覺

AI+3D視覺主導(dǎo)的機(jī)器人視覺傳感已經(jīng)在行業(yè)內(nèi)發(fā)展了很多年,是AI與傳感器結(jié)合得較為成熟的賽道。以往更多的是在實(shí)時收集真實(shí)數(shù)據(jù)后不斷在云端優(yōu)化視覺算法。端側(cè)AI的興起,開始直接在端側(cè)進(jìn)行數(shù)據(jù)處理,降低了可能因傳輸數(shù)據(jù)造成的延遲與可靠性問題。

同時基于獲取到的點(diǎn)云/圖像信息,端側(cè)能夠直接進(jìn)行一定計(jì)算量AI功能實(shí)現(xiàn),如進(jìn)行姿態(tài)識別、手勢識別、人臉識別等等。此外,機(jī)器人向具身智能的發(fā)展更強(qiáng)調(diào)傳感器對3D空間和動態(tài)環(huán)境有更深入的理解。端側(cè)的視覺信息收集只是第一步,后續(xù)要進(jìn)行視覺感知和推理,理解場景中的3D關(guān)系,并基于視覺信息預(yù)測和執(zhí)行復(fù)雜任務(wù),最終形成主動的視覺感知,結(jié)合真實(shí)交互反饋數(shù)據(jù)不斷自主修正完成從仿真到現(xiàn)實(shí)的跨越。

根據(jù)Yole的調(diào)研數(shù)據(jù),3D視覺傳感市場在2022年的收入已達(dá)到82億美元,并預(yù)計(jì)到2028年將翻倍增長至172億美元。同時,MarketsandMarkets的預(yù)測顯示,到2028年全球AI傳感器市場規(guī)模將達(dá)到221億美元,相比2022年的30億美元,年復(fù)合增長率高達(dá)41.6%

2. 語義識別處理

端側(cè)AI在自然語言處理NLP領(lǐng)域上的優(yōu)勢也正在被機(jī)器人應(yīng)用起來。借助端側(cè)的大模型進(jìn)行自然語言識別來做語音交互、語音喚醒、聊天問答等等功能只是最基礎(chǔ)的一部分,也只是第一步。

被下達(dá)任務(wù)指令的機(jī)器人,大語言模型識別完成后自動拆解出涉及的機(jī)器人技能與子技能,根據(jù)給定的最終目標(biāo)任務(wù)進(jìn)行自主地從Language到Action模型構(gòu)建,在端側(cè)AI使能下自主編排復(fù)雜任務(wù)才是具身智能機(jī)器人更前瞻的方向。

國內(nèi)NLP市場規(guī)模于2021年達(dá)到181.3億元,在AI技術(shù)不斷融合與迭代升級的背景下,國內(nèi)NLP市場將于2026年達(dá)到836.6億元。隨著人工智能技術(shù)的不斷融合與提升以及高度智能化機(jī)器人發(fā)展,NLP技術(shù)的應(yīng)用邊界仍在不斷拓展。

3. 機(jī)器觸覺與多模態(tài)感知

嗅覺和味覺較少在機(jī)器人中提及,而觸覺作為人類感知世界的重要手段,在機(jī)器人中相比于視覺與聽覺的進(jìn)展則慢得很多。即便到現(xiàn)在,對觸覺的感知也很難稱得上完備。

觸覺本身就是多模態(tài)的,對力的感知的確占據(jù)了很大一部分,但并不是全部,材質(zhì)、溫度、滑動、回彈等等物體觸覺信息都囊括在其中。想要完整對觸覺進(jìn)行定量的標(biāo)注,需要對傳感器收集到的大量數(shù)據(jù)進(jìn)行處理。一些傳感器廠商會將原始信號的復(fù)雜解析函數(shù)映射到一維線性空間完成力學(xué)信號的快速求解,這樣能降低算力需求,但其他維度的數(shù)據(jù)仍舊需要后期處理。

借助端側(cè)AI硬件,多模態(tài)觸覺感知會變得更加簡單,以數(shù)據(jù)為驅(qū)動算力的加持能快速分類各維度信號,解析出完備的多模態(tài)參數(shù)。前端更快的反應(yīng)速度也讓機(jī)器人的觸感反應(yīng)速度能媲美人類。據(jù)知名國外咨詢機(jī)構(gòu)VMR預(yù)測,2028年觸覺傳感器市場將達(dá)到260.8億美元。

這些外部信息感知都已經(jīng)開始與端側(cè)AI結(jié)合,機(jī)器人內(nèi)部感知同樣不例外。例外意法半導(dǎo)體早在2019年就推出了集成ML內(nèi)核的傳感器,能夠運(yùn)行一些簡單的AI模型。后續(xù)又在機(jī)器人核心的IMU器件上更新了加持DSPISPU(Intelligent Sensor Processing Unit),能在端側(cè)自動分析處理機(jī)器人位置數(shù)據(jù)。

傳感器上的AI算力的增強(qiáng)實(shí)現(xiàn)了海量數(shù)據(jù)處理的分區(qū),根據(jù)算法難度調(diào)配算力資源,大幅提升整個端側(cè)系統(tǒng)的能效,讓整個感知更加智能。

具身智能端側(cè)AI傳感,不止于感知

智能決策感知先行,具身智能概念推動著機(jī)器人向更自主更智能的未來發(fā)展,為打好具身智能感知基礎(chǔ),傳感器技術(shù)與端側(cè)AI技術(shù)結(jié)合得越來越緊密。日后,機(jī)器人會通過視覺/觸覺等感知方式識別建立并不斷修正具身多模態(tài)基礎(chǔ)模型,通過聽覺理解指令,并理解自身的狀態(tài),以實(shí)現(xiàn)復(fù)雜的交互和操作。

同樣,具身智能下的機(jī)器人傳感,始于感知但又不只是感知。傳感器也將不再只是用于感知的硬件,而是在實(shí)時精準(zhǔn)多維感知的基礎(chǔ)上,拓展更多和AI相關(guān)的功能,借力端側(cè)AI提供更多數(shù)據(jù)處理、分類、融合的價值,最終通過融合的多模態(tài)傳感數(shù)據(jù)來增強(qiáng)智能體的理解和決策。

當(dāng)然,現(xiàn)階段端還面臨著如何更好地融合傳感器與端側(cè)SoC兼顧性能與成本的難題。雖然機(jī)器人并不像其他端側(cè)設(shè)備對成本很敏感,但對于想要落地的機(jī)器人來說,這一問題遲早也會面對。雖然多位科技行業(yè)巨頭都表示未來人形機(jī)器人會像汽車一樣普及,但機(jī)器人的商業(yè)落地仍舊要考慮這些實(shí)際問題。

寫在最后

從傳統(tǒng)感知到機(jī)器人具身智能傳感,機(jī)器人傳感器延展出了更多地和AI相關(guān)的計(jì)算、融合的功能。在端側(cè)AI時代,傳感器將提供更多的數(shù)據(jù)處理的價值,通過交互感知、自主挖掘?yàn)闄C(jī)器人構(gòu)建起不斷優(yōu)化的真實(shí)世界模型,推動具身智能目標(biāo)的實(shí)現(xiàn)。

相關(guān)推薦

電子產(chǎn)業(yè)圖譜