沒(méi)有手機(jī)，華為卻發(fā)布了這項(xiàng)獨(dú)創(chuàng)傳感交互技術(shù)，1000+項(xiàng)傳感器專利，布局這么深了！

9月25日，華為一年一度的秋季全場(chǎng)景新品發(fā)布會(huì)舉行，這可能是華為歷史上最為特殊、關(guān)注度最高的一場(chǎng)產(chǎn)品發(fā)布會(huì)，被許多媒體認(rèn)為是華為強(qiáng)勢(shì)回歸的“儀式”。

最近一個(gè)月來(lái)，是獨(dú)屬于華為的高光時(shí)刻，從8月底華為Mate 60 pro手機(jī)“未發(fā)先售”，麒麟9000s芯片實(shí)現(xiàn)華為手機(jī)媲美5G上網(wǎng)速度，“遙遙領(lǐng)先”全網(wǎng)熱議，任正非和孟晚舟先后發(fā)表“第四次工業(yè)革命”、“全面智能化時(shí)代”等講話，華為正在全面回歸。

當(dāng)然，在這場(chǎng)發(fā)布會(huì)上行，大家更期待的是，聽(tīng)到更多華為手機(jī)的聲音。然而，并沒(méi)有，華為 Mate 60 RS Ultimate Design手機(jī)在劉德華的宣傳視頻中淺淺地漏了一面，此外就是余承東提了一下華為Matepad用的芯片與手機(jī)一樣——也即是麒麟9000s芯片——這看起來(lái)麒麟9000s芯片的產(chǎn)能似乎還比較充足。

但是，最近華為發(fā)布一大批發(fā)明專利信息情況，其中包含了多款傳感器發(fā)明專利，涉及光纖傳感器、激光雷達(dá)、MEMS等多種傳感器技術(shù)，據(jù)查詢，華為迄今已經(jīng)公布了1000+項(xiàng)傳感器技術(shù)專利。

在這次發(fā)布會(huì)上，我們也發(fā)現(xiàn)華為發(fā)布的多款產(chǎn)品使用了這些傳感器專利，創(chuàng)造了多個(gè)突破性人機(jī)交互應(yīng)用。華為，在傳感器技術(shù)領(lǐng)域布局這么深了！詳情見(jiàn)下文。

11999起！華為Mate 60手機(jī)缺席，發(fā)布全新獨(dú)創(chuàng)人機(jī)交互技術(shù)，發(fā)布會(huì)背后，1000+項(xiàng)傳感器專利技術(shù)公開(kāi)！

9月25日下午的華為秋季新品發(fā)布會(huì)上，余承東一登場(chǎng)，就先介紹了此前“先鋒計(jì)劃”計(jì)劃的火爆——也即是華為Mate 60系列“未發(fā)先售”，對(duì)于當(dāng)下的缺貨情況，余承東也說(shuō)到，他們正在“加班加點(diǎn)緊急生產(chǎn)”。

在發(fā)布會(huì)上，我們看到了華為平板產(chǎn)品MatePadPro 13.2英寸、非凡大師智能手表、華為智慧屏V5 Pro、FreeBuds Pro 3旗艦耳機(jī)、華為智能眼鏡 2、華為Watch GT4、華為路由BE3 Pro等系列新產(chǎn)品。

此外，余承東還預(yù)告了首款轎車智界S7，預(yù)計(jì)11月下旬與大家見(jiàn)面；大家期待已久的問(wèn)界M9，12月如期而至。

關(guān)于本次華為華為發(fā)布會(huì)新品信息如下：?

1、“全球最輕薄”的大屏平板，手機(jī)同款旗艦芯片，首次支持星閃技術(shù)，配套手寫筆寫畫(huà)體驗(yàn)媲美專業(yè)的數(shù)位板。

7、華為智選車業(yè)務(wù)首款轎車智界S7正式亮相，搭載HarmonyOS 4智能座艙、華為高階智能駕駛，定位超越特斯拉Model S，將在今年11月下旬正式發(fā)布。

關(guān)于華為Mate 60 系列手機(jī)產(chǎn)品，發(fā)布會(huì)中較少提及，華為 Mate 60 RS | Ultimate Design，在發(fā)布會(huì)中只在劉德華的宣傳視頻中，露了一臉而在發(fā)布會(huì)后，華為官方公眾號(hào)發(fā)布了一條“HUAWEI Mate 60 RS 非凡大師”的消息，向大家介紹這款新機(jī)型的信息和價(jià)格——起售價(jià)11999起。

值得一提的是， 本次發(fā)布會(huì)中，華為帶來(lái)了全球首創(chuàng)的人機(jī)交互方式——華為靈犀指向遙控，該創(chuàng)新的交互技術(shù)與華為智慧屏 V5 Pro 一同亮相，該交互方式基于華為多項(xiàng)傳感器技術(shù)的創(chuàng)新。

靈犀指向遙控交互應(yīng)用于電視領(lǐng)域，主要是解決巨幕時(shí)代下，大屏電視的操控難題，這也是首次有廠商開(kāi)辟這一新操控方式，號(hào)稱開(kāi)創(chuàng)“巨幕手機(jī)”新時(shí)代。

其中，靈犀指向遙控技術(shù)信息，就在這些公開(kāi)的發(fā)明專利里，在一項(xiàng)今年剛剛公開(kāi)的名為“遙控方法、遙控設(shè)備和被控制設(shè)備”的專利中，我們能夠知道華為怎么進(jìn)行指向遙控——這基于多傳感器的感知及算法融合技術(shù)。

該專利申請(qǐng)?zhí)枮椋?02210248607 .6，在2022年3月份申請(qǐng)， 根據(jù)專利信息摘要介紹：

本發(fā)明實(shí)施例提供了一種遙控方法、遙控設(shè) 備和被控制設(shè)備。本發(fā)明實(shí)施例提供的技術(shù)方案中，所述被控制設(shè)備包括屏幕，所述方法包括：接收遙控設(shè)備的第一信息；根據(jù)所述第一信息確定所述遙控設(shè)備正對(duì)所述屏幕的目標(biāo)位置；根據(jù)所述目標(biāo)位置在屏幕上執(zhí)行第一操作。本發(fā)明實(shí)施例能夠使得用戶在不需要對(duì)五向?qū)Ш芥I進(jìn)行機(jī)械頻繁操作的前提下，實(shí)現(xiàn)對(duì)被控制設(shè)備的遠(yuǎn)程 操作，提升用戶在使用過(guò)程中的體驗(yàn)感。

此外，發(fā)明專利說(shuō)明書(shū)中，提到了：

目前被控制設(shè)備的遙控方法需要用戶對(duì)五向?qū)Ш芥I進(jìn)行機(jī)械頻繁的操作來(lái)實(shí)現(xiàn)對(duì)大屏的遠(yuǎn)程操作，導(dǎo)致使用過(guò)程中體驗(yàn)感較差。有鑒于此，本發(fā)明實(shí)施例提供了一種遙控方法、遙控設(shè)備和被控制設(shè)備，能夠使得用戶在不需要對(duì)五向?qū)Ш芥I進(jìn)行機(jī)械頻繁操作的前提下，實(shí)現(xiàn)對(duì)被控制設(shè)備的遠(yuǎn)程操作，提升用戶在使用過(guò)程中的體驗(yàn)感。

因此不難看出，該專利也即是本次發(fā)布會(huì)中，華為靈犀指向遙控所采用的技術(shù)。那么，怎么實(shí)現(xiàn)呢?

專利原文介紹較詳細(xì)，這里簡(jiǎn)單翻譯下，專利主要使用雙目攝像頭（即雙目視覺(jué)傳感器），拍攝電視圖像輪廓，然后將圖像數(shù)據(jù)傳送到算法模塊進(jìn)行解析，算法解析出坐標(biāo)發(fā)送給屏幕，屏幕顯示對(duì)應(yīng)的坐標(biāo)圖像并進(jìn)行相應(yīng)的操作。

這個(gè)過(guò)程看起來(lái)，是不是很像我們用人眼觀看屏幕然后用手指操控觸摸屏？

其中的算法模塊可以放置于遙控設(shè)備或者被控制設(shè)備（屏幕）中，而無(wú)線傳輸也有藍(lán)牙、紅外、移動(dòng)網(wǎng)絡(luò)或者WLAN傳輸等多種方式，因此該發(fā)明專利包含多個(gè)實(shí)施方案可供選擇。

▲來(lái)源：華為專利公開(kāi)信息

原理看起來(lái)并不復(fù)雜，但做起來(lái)卻一點(diǎn)都不簡(jiǎn)單。要不然憑什么是華為首先發(fā)布這項(xiàng)全新的交互技術(shù)，此前沒(méi)有廠商公布呢？

首先，是在自由空間下，傳感器的標(biāo)定。標(biāo)定傳感器是傳感器感知的必要環(huán)節(jié)，是后續(xù)傳感器融合的必要步驟和先決條件，其目的是將兩個(gè)或者多個(gè)傳感器變換到統(tǒng)一的時(shí)空坐標(biāo)系，使得傳感器融合具有意義。

這里面包括左目攝像頭標(biāo)定、右目攝像頭標(biāo)定、確定攝像頭之間的平移旋轉(zhuǎn)關(guān)系，以及焦距、圖像中心、畸變系數(shù)等。

此外，還要進(jìn)行雙目深度估計(jì)，具體地計(jì)算兩個(gè)圖像之間像素的相對(duì)匹配關(guān)系，包括匹配誤差計(jì)算、誤差集成、視差圖計(jì)算、視差圖優(yōu)化和視差圖矯正5個(gè)步驟。

具體有多復(fù)雜，可看下方部分專利原文對(duì)操控過(guò)程的描述（可上下滑動(dòng)查看）：

[0106] 需要說(shuō)明的是，如圖3所示，遙控設(shè)備100正對(duì)屏幕時(shí)，遙控設(shè)備100的中心點(diǎn)與屏幕上目標(biāo)位置之間的連線與遙控設(shè)備100較長(zhǎng)的兩個(gè)側(cè)邊平行。

[0107] 其中，如圖5所示，算法模塊具體用于：在離線狀態(tài)下對(duì)雙目攝像頭進(jìn)行標(biāo)定；通過(guò)對(duì)屏幕的兩個(gè)圖像進(jìn)行矯正，以去除雙目攝像頭帶來(lái)的畸變；通過(guò)雙目匹配計(jì)算矯正后的兩個(gè)圖像之間的匹配點(diǎn)，得到視差圖；根據(jù)視差圖，通過(guò)3D坐標(biāo)計(jì)算得到遙控設(shè)備100正對(duì)屏幕的位置坐標(biāo)。

[0108] 其中，在離線狀態(tài)下對(duì)雙目攝像頭進(jìn)行標(biāo)定的目的是通過(guò)獲取兩個(gè)攝像頭的內(nèi)參和外參對(duì)齊兩個(gè)攝像頭。首先對(duì)左目攝像頭標(biāo)定，獲取左目攝像頭的內(nèi)參和外參；其次，對(duì)右目攝像頭標(biāo)定，獲取右目攝像頭的內(nèi)參和外參；最后，對(duì)雙目攝像頭標(biāo)定，獲取左目攝像頭和右目攝像頭之間的平移旋轉(zhuǎn)關(guān)系。其中，內(nèi)參包括焦距、圖像中心、畸變系數(shù)等；外參包括旋轉(zhuǎn)矩陣、平移矩陣。

[0109] 其中，通過(guò)對(duì)屏幕的兩個(gè)圖像進(jìn)行矯正可得到兩個(gè)圖像在X方向上的差異，能夠提高視差計(jì)算的準(zhǔn)確性。具體的，對(duì)屏幕的兩個(gè)圖像進(jìn)行矯正包括畸變矯正和轉(zhuǎn)化為標(biāo)準(zhǔn)形式。

[0110] 其中，雙目匹配是雙目深度估計(jì)的核心部分，主要目的是計(jì)算兩個(gè)圖像之間像素的相對(duì)匹配關(guān)系。具體的，雙目匹配包括匹配誤差計(jì)算、誤差集成、視差圖計(jì)算、視差圖優(yōu)化和視差圖矯正5個(gè)步驟。

[0111] 其中，根據(jù)視差圖中的匹配信息以及三角測(cè)量原理重建圖片中屏幕的三維信息，通過(guò)3D坐標(biāo)計(jì)算得到遙控設(shè)備100正對(duì)屏幕的位置坐標(biāo)。

[0112] 其中，第一操作，包括：在目標(biāo)位置顯示指針；或者，將與目標(biāo)位置對(duì)應(yīng)的控件高亮顯示或者陰影顯示。

[0113] 需要說(shuō)明的是，當(dāng)用戶移動(dòng)遙控設(shè)備100時(shí)，遙控設(shè)備100采集到的包含屏幕輪廓的圖像會(huì)發(fā)生變化，需要重新計(jì)算遙控設(shè)備100正對(duì)屏幕的位置坐標(biāo)，被控制設(shè)備200根據(jù)新的位置坐標(biāo)刷新指針位置，指針根據(jù)遙控設(shè)備的指向移動(dòng)；或者，被控制設(shè)備200根據(jù)新的位置坐標(biāo)刷新高亮顯示或者陰影顯示的控件。

雙目攝像頭也叫雙目景深攝像頭，即使用兩個(gè)圖像傳感器，像人類的雙眼，通過(guò)兩幅圖像的視差計(jì)算來(lái)確定距離，雙目攝像頭不需要知道障礙物是什么，只要通過(guò)計(jì)算就可以測(cè)距。

而在華為的這個(gè)專利中，雙目視覺(jué)傳感器感知到的圖像數(shù)據(jù)，除了進(jìn)行測(cè)距外，還用來(lái)進(jìn)行復(fù)雜的3D坐標(biāo)計(jì)算。

因此，這個(gè)專利除了傳感器外，更涉及到復(fù)雜的算法計(jì)算和處理能力，以及對(duì)專用算法的芯片級(jí)開(kāi)發(fā)，以做到在移動(dòng)設(shè)備下的高效率和低能耗。

這也是未來(lái)智能傳感器的重大方向，試想一下，當(dāng)前，機(jī)器學(xué)習(xí)已經(jīng)無(wú)處不在。如果算法不僅僅放在機(jī)器設(shè)備里，而是也可以放在最小的感知單元——傳感器中，那么嵌入式人工智能，就會(huì)大力推動(dòng)智能時(shí)代的發(fā)展。

具體來(lái)看，智能傳感器集傳感就是芯片、通信芯片、微處理器、驅(qū)動(dòng)程序、軟件算法等于一體，其核心優(yōu)勢(shì)就在于高復(fù)雜度的信息處理能力，以及高集成度的信息傳輸能力。

除了關(guān)鍵的雙目攝像頭外，該專利中還包含了傳感器模塊，可以添加包括壓力傳感器、陀螺儀傳感器、氣壓傳感器、磁傳感器……等等眾多傳感器，實(shí)現(xiàn)遙控設(shè)備的更多功能。

目前，華為傳感器技術(shù)領(lǐng)域的專利中，以傳感器為主要關(guān)鍵字的有約923件，此外，在激光雷達(dá)/雷達(dá)、MEMS等領(lǐng)域還有超過(guò)250+件專利數(shù)。其中，這些專利大部分以發(fā)明專利為主。

應(yīng)用這些專利技術(shù)，華為已經(jīng)推出了首款光纖傳感產(chǎn)品OptiXsense EF3000、首款車規(guī)級(jí)高性能96線中長(zhǎng)距激光雷達(dá)、首款毫米波AI超感傳感器、首款S-TAG運(yùn)動(dòng)傳感器等產(chǎn)品。

來(lái)源：天眼查

此外，華為還大力投資了多家傳感器上下游企業(yè)，包括了激光器、CMOS圖像傳感器、TOF傳感器、MEMS陀螺儀、旋變傳感器等多條賽道。

發(fā)布加速行業(yè)智能化白皮書(shū)，華為的全面智能化時(shí)代，以傳感器為感知底座，創(chuàng)造數(shù)以億計(jì)的需求

在5天前的華為全聯(lián)接大會(huì)上，CFO孟晚舟發(fā)布了華為未來(lái)10年的重要戰(zhàn)略規(guī)劃——全面智能化（All Intelligence）戰(zhàn)略，這個(gè)戰(zhàn)略將是未來(lái)10年華為發(fā)展的重點(diǎn)方向，也預(yù)示著華為研判的未來(lái)科技產(chǎn)業(yè)發(fā)展的趨勢(shì)。（相關(guān)信息參看《華為發(fā)布未來(lái)10年重要戰(zhàn)略》）

全面智能化戰(zhàn)略提到“所有對(duì)象可聯(lián)接”、“讓所有應(yīng)用可模型”、“讓所有決策可計(jì)算”。

會(huì)后，華為發(fā)布了《加速行業(yè)智能化白皮書(shū)》，其中，“智能感知”將是全面智能化的重要底座之一，包含了雷達(dá)、機(jī)器視覺(jué)、傳感器、計(jì)量表等眾多傳感器領(lǐng)域應(yīng)用。

華為的全面智能化戰(zhàn)略，在推動(dòng)傳統(tǒng)行業(yè)向智能化轉(zhuǎn)型過(guò)程中，也必然將創(chuàng)造數(shù)以億計(jì)的海量傳感器需求。

結(jié)語(yǔ)

本次發(fā)布會(huì)上，華為發(fā)布了靈犀遙控等多個(gè)創(chuàng)新的人機(jī)交互操作，而這些操作則基于華為多年來(lái)深厚的傳感器專利技術(shù)基礎(chǔ)。

未來(lái)，隨著全面智能化時(shí)代的到來(lái)，除了傳感器數(shù)量上的巨大需求外，對(duì)傳感器的智能化也提出了更高的要求，傳感器+算法的各種智能傳感器將創(chuàng)造新的產(chǎn)品定義，創(chuàng)造新的市場(chǎng)需求。

中國(guó)正是因?yàn)橛腥A為這些鏈主級(jí)別的科技企業(yè)，不斷推動(dòng)進(jìn)行技術(shù)創(chuàng)新，推出新的產(chǎn)品，才能拉動(dòng)芯片、傳感器等上下游技術(shù)的不斷進(jìn)步！

中國(guó)科技，且看未來(lái)！并且，這個(gè)未來(lái)不遠(yuǎn)了！