【RT-Thread作品秀】手語識別翻譯發(fā)生裝置

作者：歲月觸礁如夢

概述（說明應用產(chǎn)生的背景、實現(xiàn)功能）

手語是聾人使用的語言,是由手形動作輔之以表情姿勢由符號構成的比較穩(wěn)定的表達系統(tǒng),是一種靠動作/視覺交際的語言.手語識別的研究目標是讓機器弄懂聾人的語言.因此我們選擇基于 STM32 為主控，對手語識別進行識別和處理，再利用顯示系統(tǒng)或者語音模塊，從而實現(xiàn)利用 MCU 對手語翻譯從而幫助發(fā)音障礙人士之間的交流。

開發(fā)環(huán)境（所采用的軟、硬件方案）

硬件：ART-PI+MPU6050

RT-Thread版本：

開發(fā)工具及版本：RT-Thread Studio

RT-Thread使用情況概述（簡要總結下應用中RT-Thread使用情況：內核部分、組件部分、軟件包部分、內核、其他）

使用rt-thread的i2c驅動部分驅動多個MPU6050，然后通過uart驅動發(fā)送出去

ART-PI

硬件框架（概述應用所采用的硬件方案框圖，并對核心部分做介紹）

STM32H750 采集來自 MPU6050 的數(shù)據(jù)，打包后通過uart模塊發(fā)送到電 腦上進行數(shù)據(jù)處理

軟件框架說明（介紹應用所采用的軟件方案框圖、流程圖等，并加以解說）

軟件模塊說明（介紹應用軟件關鍵部分的邏輯、采用的實現(xiàn)方式等）

使用 tensorflow 搭建模型判斷手勢，使識別成功率大大提高。模型包含一個輸入層，兩層全連接層，和一個輸出的softmax層，最后比較輸出結果，如果結果大于0.8則發(fā)出對應手勢的聲音

演示效果（演示效果請采用3張高清圖片，并錄制一段不少于1min視頻解說應用所實現(xiàn)的效果，視頻上傳至B站或者騰訊視頻或其他視頻平臺，給出鏈接即可）

比賽感悟（可以圍繞這次比賽學到了什么，克服了哪些困難，有哪些收獲，不低于200字）

這次比賽讓我深入了解了rt-thread，對RT-Thread 軟件包的使用有了豐富的經(jīng)驗。它是運行于 RT-Thread 物聯(lián)網(wǎng)操作系統(tǒng)平臺上，面向不同應用領域的通用軟件組件，由描述信息、源代碼或庫文件組成。RT-Thread 提供了開放的軟件包平臺，這里存放了官方提供或開發(fā)者提供的軟件包，該平臺為開發(fā)者提供了眾多可重用軟件包的選擇，這也是 RT-Thread 生態(tài)的重要組成部分。軟件包生態(tài)對于一個操作系統(tǒng)的選擇至關重要，因為這些軟件包具有很強的可重用性，模塊化程度很高，極大的方便應用開發(fā)者在最短時間內，打造出自己想要的系統(tǒng)。RT-Thread 已經(jīng)支持的軟件包數(shù)量已經(jīng)達到60+，如下舉例：。通過此次參賽，學習到了許多機器學習相關的知識，現(xiàn)在還處在入門階段，對于過多數(shù)據(jù)的處理方法沒有選對，使得手套動作的識別準確率不高，但后期一定會做更多的研究，做出一個完整的作品來