工程師說 | AI加持的觸控和手勢識別

隨著電容式觸控界面的廣泛采用，傳統(tǒng)機(jī)械按鍵正在退出歷史舞臺。用戶設(shè)計非常好的控制面板現(xiàn)在已經(jīng)可以支持觸摸和手勢識別。電容式觸控技術(shù)能支持設(shè)備接受手指和手勢的高級操作。通過手指和手勢的動作來操作機(jī)器已經(jīng)成為現(xiàn)實，畢竟手勢是人類交流最自然的方式之一。在與智能終端產(chǎn)品交互時，也是如此。這都?xì)w功于嵌入式計算設(shè)備如微控制器和微處理器的巨大發(fā)展，使得通過智能傳感器實現(xiàn)手勢識別成為可能。

觸控屏的使用現(xiàn)在已不僅限于智能手機(jī)，它已經(jīng)擴(kuò)展到對穩(wěn)定性和對安全要求更高的工業(yè)領(lǐng)域。要想實現(xiàn)這樣一個通過感應(yīng)手指觸摸就知道你想要什么的智能界面，已經(jīng)非常容易了。AutoML還有其他嵌入式AI/ML工具都已經(jīng)支持基于觸控的拖放分析了。

手勢識別可以進(jìn)一步改善人機(jī)交互的體驗并且可以運(yùn)用到多個場景，例如觸控屏、相機(jī)或外圍設(shè)備。手勢識別是無觸摸用戶界面（TUI）的基礎(chǔ)，即在無觸摸的情況下控制設(shè)備，無需觸摸屏幕、開關(guān)或操作按鈕。在人機(jī)交互方面，使用手勢是最直觀、最自然的?；谝曈X的手勢識別技術(shù)采用攝像頭和運(yùn)動傳感器來跟蹤用戶的運(yùn)動。設(shè)備中的運(yùn)動傳感器可以跟蹤和識別手勢，將其作為主要的輸入源。隨著用于捕捉手勢的傳感器的發(fā)展，一個值得關(guān)注的應(yīng)用是AI虛擬鼠標(biāo)，它可以通過設(shè)備內(nèi)置的攝像頭跟蹤手指移動、識別手勢、執(zhí)行鼠標(biāo)操作：操作滾輪、移動光標(biāo)。除此之外，使用手勢還有助于管理和監(jiān)控需要安全操作但人手又難以觸及的設(shè)備，還可以應(yīng)用于AR和VR環(huán)境、手語識別、游戲等多種場景。

嵌入式手勢識別是一種無接觸的人機(jī)交互方式（HMI）。它們旨在搭配觸控屏、攝像頭等設(shè)備來一起加強(qiáng)人機(jī)交互的體驗。目前，手勢識別和觸控，都被用于人機(jī)交互（HCI）或物聯(lián)網(wǎng)（IoT）情況下的人機(jī)交互。

人工智能（AI）和機(jī)器學(xué)習(xí)為通過實時分析來執(zhí)行更智能任務(wù)奠定了基礎(chǔ)，在人機(jī)互動應(yīng)用中也呈現(xiàn)了很好的效果。同時，物聯(lián)網(wǎng)給這些任務(wù)的運(yùn)行提供了基礎(chǔ)的支撐。人工智能通過機(jī)器學(xué)習(xí)提供決策能力，物聯(lián)網(wǎng)提供設(shè)備連接和數(shù)據(jù)共享能力，二者的結(jié)合還能進(jìn)一步擴(kuò)展能力圈，比如基于用戶交互、網(wǎng)絡(luò)服務(wù)和其他相關(guān)設(shè)備的自主學(xué)習(xí)。

人工智能（AI）可以進(jìn)一步優(yōu)化手勢識別和觸控的用戶體驗，幫助預(yù)測用戶的屏幕操作來加快互動響應(yīng)。其它案例研究進(jìn)一步表明，人工智能還能提高IoT設(shè)備對手勢識別的準(zhǔn)確性。

在構(gòu)建支持手勢識別和觸控交互的方案時，為有效解決電氣和射頻噪聲問題，選擇合適的設(shè)備來做整體硬件設(shè)計是非常關(guān)鍵的，因為準(zhǔn)確度是方案的核心。高級相機(jī)、智能手表、可穿戴設(shè)備或數(shù)據(jù)傳輸手套都是這類手勢和觸控技術(shù)可以運(yùn)用的設(shè)備，以及相關(guān)AI算法的最佳用武之地。在各種應(yīng)用場景下，瑞薩都能提供豐富的硬件支持。

隨著電容式觸控和手勢操作場景的擴(kuò)展，面板的靈敏度和抗噪性，也已成為實現(xiàn)精確控制和復(fù)雜操作的關(guān)鍵要求。還有對防水、防塵和對環(huán)境溫度變化耐受性的要求。在此之上，開發(fā)時間和成本也是需要面對的挑戰(zhàn)。

瑞薩電子的第二代電容觸控解決方案可以幫助用戶設(shè)計出更先進(jìn)的控制裝置。并且我們提供用戶友好的開發(fā)環(huán)境，降低開發(fā)門檻，幫助用戶加快對電容式觸控和3D手勢識別方案的開發(fā)。

e-AI×3D手勢識別：瑞薩方案助力各種應(yīng)用

Renesas QE工具支持“3D手勢識別”幫助客戶開發(fā)基于嵌入式人工智能（AI）的手勢應(yīng)用。開發(fā)AI應(yīng)用往往需要許多復(fù)雜的知識背景，Renesas QE工具可以幫助嵌入式工程師無需專門的AI知識背景也能順利和便捷地開發(fā)AI應(yīng)用。

使能“3D手勢識別”

在開發(fā)智能手勢識別應(yīng)用的過程中，有三個關(guān)鍵環(huán)節(jié)。

1、記錄（訓(xùn)練）

在電容式傳感器上大量做出你希望系統(tǒng)識別的手勢，得到用于注冊的數(shù)據(jù)，把它們顯示在列表中。從列表中刪除錯誤的識別數(shù)據(jù)；對應(yīng)的，列表也要支持新數(shù)據(jù)的導(dǎo)入。

2、AI生成

創(chuàng)建AI的過程（數(shù)據(jù)預(yù)處理、深度學(xué)習(xí)，把訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型轉(zhuǎn)換為C代碼），Renesas QE工具對手勢識別做了優(yōu)化和自動處理。雖然人工智能的自動創(chuàng)建很難很復(fù)雜，但Renesas QE已經(jīng)可以實現(xiàn)手勢識別這個細(xì)分應(yīng)用的全過程自動化。

3、監(jiān)控和調(diào)整

用戶可以在真實設(shè)備上檢查和調(diào)整AI模型的準(zhǔn)確度。如果手勢沒有被正確識別，可通過工具的“添加數(shù)據(jù)”按鈕，立即導(dǎo)入新的訓(xùn)練數(shù)據(jù)，來讓AI算法做自動優(yōu)化調(diào)整。

技術(shù)的發(fā)展在不斷解決手勢識別準(zhǔn)確性方面的各種挑戰(zhàn)。比如用戶接觸不善導(dǎo)致的傳感器感知數(shù)據(jù)質(zhì)量不好，物體遮擋造成的視覺采集不完整，以及照明不足的影響。進(jìn)一步的挑戰(zhàn)來源于視覺和感官數(shù)據(jù)混在一起導(dǎo)致數(shù)據(jù)集合的錯誤匹配。因此需要分開處理后再合并，這也導(dǎo)致了響應(yīng)速度變慢。

未來的前景還是很令人振奮的，因為對增強(qiáng)型智能觸控和手勢識別的需求正在擴(kuò)大，在消費(fèi)者市場和工業(yè)領(lǐng)域都有了突破性應(yīng)用。