基于opencv與mediapipe的民族舞舞蹈動(dòng)作識(shí)別

需要項(xiàng)目的請(qǐng)關(guān)注、私信

1、原理介紹

1.1 Opencv

Opencv（Open Source Computer Vision Library）是一個(gè)基于開(kāi)源發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺(jué)庫(kù)，它實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺(jué)方面的很多通用算法，已成為計(jì)算機(jī)視覺(jué)領(lǐng)域最有力的研究工具。在這里我們要區(qū)分兩個(gè)概念：圖像處理和計(jì)算機(jī)視覺(jué)的區(qū)別：圖像處理側(cè)重于“處理”圖像–如增強(qiáng)，還原，去噪，分割等等；而計(jì)算機(jī)視覺(jué)重點(diǎn)在于使用計(jì)算機(jī)來(lái)模擬人的視覺(jué)，因此模擬才是計(jì)算機(jī)視覺(jué)領(lǐng)域的最終目標(biāo)。Opencv主要用來(lái)讀取視頻，以及展示視頻。

1.2 Mediapipe

Mediapipe是google的一個(gè)開(kāi)源項(xiàng)目，可以提供開(kāi)源的、跨平臺(tái)的常用機(jī)器學(xué)習(xí)(machine learning)方案。Mediapipe實(shí)際上是一個(gè)集成的機(jī)器學(xué)習(xí)視覺(jué)算法的工具庫(kù)，包含了人臉檢測(cè)、人臉關(guān)鍵點(diǎn)、手勢(shì)識(shí)別、頭像分割和姿態(tài)識(shí)別等各種模型?？梢垣@取人體33個(gè)關(guān)鍵點(diǎn)的坐標(biāo)。本文將利用人體的相關(guān)特征坐標(biāo)進(jìn)行姿態(tài)的識(shí)別。

2、實(shí)驗(yàn)步驟

本次實(shí)驗(yàn)主要分為兩個(gè)部分，分別為人體姿態(tài)檢測(cè)以及界面設(shè)計(jì)。

2.1 導(dǎo)入工具包

如圖所示，分別為進(jìn)行頁(yè)面設(shè)計(jì)的PyQt5工具包，包括QTWidgets、QtCore、QtGui。QtGui包含多種基本圖形功能的類(lèi)，包括但不限于：窗口集、事件處理、2D圖形、基本的圖像和界面、字體和文本類(lèi)。QtCore包含核心的非GUI功能，此模塊用于處理程序中涉及到的時(shí)間、文件、目錄、數(shù)據(jù)類(lèi)型、流、網(wǎng)址、MIME類(lèi)型、進(jìn)程或線程等對(duì)象。QtWidgets包含了一整套UI元素組件，用于建立符合系統(tǒng)風(fēng)格的用戶界面。還有用于進(jìn)行姿態(tài)識(shí)別的opencv與Mediapipe。

2.2 中文輸入

通過(guò)PIL工具構(gòu)建可以在圖片上進(jìn)行中文打印的函數(shù)。

2.4 建立姿態(tài)位置信息庫(kù)

創(chuàng)建繪圖工具與工具自帶的位置信息庫(kù)。

讀取視頻，按幀讀取，對(duì)每幀圖像變換通道，并利用自帶的位置信息庫(kù)在圖中進(jìn)行特征點(diǎn)位置信息檢測(cè)。

2.5 位置信息獲取

獲取位置特征信息位置坐標(biāo)信息，包括左右肩、左右跨、左右膝蓋、左右眼、左右手踝、左右胳膊肘以及左右腳踝等。
獲取角度信息。

2.6 姿態(tài)識(shí)別

通過(guò)不同的角度信息以及各個(gè)位置點(diǎn)的特征信息進(jìn)行不同動(dòng)作的判斷。并對(duì)實(shí)時(shí)狀態(tài)進(jìn)行繪制。

3 實(shí)驗(yàn)結(jié)果與評(píng)價(jià)

本次實(shí)驗(yàn)主要選取一支單人民族舞視頻，對(duì)視頻動(dòng)作進(jìn)行分解，識(shí)別其中的動(dòng)作屬于哪一種，由于視頻中涉及多個(gè)動(dòng)作，在實(shí)驗(yàn)中只選擇10個(gè)典型的動(dòng)作進(jìn)行識(shí)別，具體的動(dòng)作分類(lèi)為下表所示。

其中每個(gè)動(dòng)作的示例如圖所示：


這里就舉兩個(gè)例子。
具體的基于界面的操作流程加展示界面如下所示：
首先運(yùn)行class_win.py文件點(diǎn)擊運(yùn)行生成檢測(cè)界面如圖所示：

界面右上角兩個(gè)按鈕分別代表選擇視頻文件與運(yùn)行檢測(cè)，首先點(diǎn)擊選擇視頻文件，打開(kāi)文件夾選擇合適的視頻，點(diǎn)擊確定，再點(diǎn)擊運(yùn)行，結(jié)果如圖所示：

畫(huà)面從左往右分別為原始視頻畫(huà)面，實(shí)時(shí)檢測(cè)結(jié)果畫(huà)面，以及信息統(tǒng)計(jì)畫(huà)面。
實(shí)際的檢測(cè)結(jié)果，以動(dòng)作一和動(dòng)作2為例，如圖所示：

博客主頁(yè)：https://blog.csdn.net/weixin_51141489，需要源碼或相關(guān)資料實(shí)物的友友請(qǐng)關(guān)注、點(diǎn)贊，私信吧！