Hi~ 又見面了
這期繼續(xù)雷達人體感知方面的思考。
在THINK BOLD | 泛跟蹤與人體全析感知一文中, 我們探討了人體運動在雷達感知下的幾種形式,包括宏運動(Macro Motion),微運動(Micro Motion),體征運動(Vital Motion),以及人體泛跟蹤的一些思考。這期是其姊妹篇。
“動”的層次
目前雷達的應(yīng)用面相當寬,從車載,交通,安防,乃至健康管理,醫(yī)療康養(yǎng)等等。為什么雷達的應(yīng)用領(lǐng)域可以如此之寬廣,我覺得本質(zhì)還是在于雷達對多普勒敏感。
▲ 雷達應(yīng)用面
多普勒敏感在于,通過一定的雷達配置,雷達可感知的多普勒動態(tài)范圍相當大或者檢測精度相當高,感知微如心臟跳動,強如飛馳而過的高鐵,都不在話下。我們費盡心思設(shè)計不同的雷達體制(波形),設(shè)計各種天線布局,花里胡哨的測角算法,哪怕是能夠提高一點距離精度或者角度性能都興奮無比。但是對于速度維(多普勒維),一切都是那么自然,你看CW, FMCW,SFCW,UWB,PMCW等等,大家在多普勒維處理從未如此意見一致,仿佛多普勒維一直是個好學(xué)生,大家都蠻省心的,不用花太多心思。
多普勒維沒什么可挖了嗎,當然不,在THINK BOLD | 泛跟蹤與人體全析感知一文中, 我們探討了人體運動在雷達感知下的幾種形式,包括
- 宏運動(Macro Motion)微運動(Micro Motion)體征運動(Vital Motion)
這些都是多普勒感知下人體運動的幾種分類。
也就是說,多普勒維度的魅力在于多普勒的層次,也就是“動”的層次,這一點是距離維,角度維觸不可及的。
如何品味這些層次,或者我們?nèi)绾翁幚砝煤眠@些層次是相當有意思的,我曾經(jīng)在4D雷達之微多普勒 一文中淺析過一些內(nèi)容,那這次再從另一個角度品一品多普勒。
▲?“動”的層次
“動”的多維感知
首先講講宏運動和微運動。
我在(加餐)從車載雷達認識傅里葉變換 從分析過距離維,速度維,角度維本質(zhì)對應(yīng)復(fù)正弦信號,形如,
其中即距離,速度以及角度所對應(yīng)的頻率。那么RSP經(jīng)典處理流程下,我們通過FFT及取模累加處理獲得range-doppler map.
▲ 經(jīng)典雷達信號處理流程
高分辨雷達下人體運動的range-doppler map信息豐富(如下圖),以多普勒信息為例,其在map下的多普勒維度呈現(xiàn)峰值以及擴展,這里包含了表征人體軀干運動的高能量峰值以及手臂擺動的多普勒擴展,如何利用這些信息在4D雷達之微多普勒?一文中有過分析,不再贅述。
想強調(diào)的是,針對宏運動和微運動,range-doppler heatmap是有力分析工具。
▲ range-doppler map
當然我們還可以獲得doppler-time map, 本質(zhì)不變,不再贅述。
針對體征運動,我們還是雷達回波模型[4],具體的,我們觀察上式,對于傳統(tǒng)車載雷達回波建模,其中v為目標宏觀運動速度;而對于人體雷達回波,不僅包含人體宏觀運動,此時含有,同樣也包含微觀運動信息及生命體征信息(vital motion)。
注意公式中的,??是幀的計數(shù),由于一個chirp或者一個frame持續(xù)時間短,體征運動在chirp內(nèi)乃至一個frame內(nèi)的變化幾乎可以忽略不計,但是諸如人體呼吸等生命體征活動在幀間會呈現(xiàn)出明顯的規(guī)律性(也就是?regularity),所以可以通過進行多幀間處理提取體征運動。
▲ 多幀累計,體征運動感知
比如,針對對于一個平躺的人體,高精度雷達能夠采集從頭到腳多個體位點,我們可以選取若干個體位點(如下圖),對多幀累積得到的相位進行處理,可以看到,多個體位點呈現(xiàn)出周期振動特性,這顯然是人體呼吸(胸式呼吸或腹式呼吸)的結(jié)果,我們完全可以通過這個體征運動矩陣獲得關(guān)于這個人體的體征信息。
▲ 平躺人體體征層析
當然,不僅僅是呼吸信息,比擬ECG的心率信息(多普勒心動圖,DCG)在高精度相位處理下也能夠被精準重建。關(guān)于DCG有興趣可以閱讀文獻[3]。
▲ 雷達心動圖[3]
需要注意的是,前文中利用range-doppler map 處理微運動,事實上,相位的擾動也可以分析微運動(如下圖),這種由微運動導(dǎo)致的相位擾動雖然嚴重破壞了體征運動信息,但卻能夠反應(yīng)出體動信息,同樣非常有用(比如分析這個人睡得踏不踏實)。也就是說,相位分析(phase analysis)同樣是微運動的有理處理手段。
▲ 微運動下的相位擾動
一個例子
通過上述分析,我們對3類運動以及如何處理利用它們又有了一些認識,下面講一個基于毫米波雷達做DMS(Driver Monitoring System)的例子,DMS一般用攝像頭做,因為攝像頭的語義信息比較豐富,基于AI容易做一些駕駛員疲勞檢測的應(yīng)用。但是基于前述內(nèi)容,用毫米波雷達實現(xiàn)DMS具有可行性。
人在開車的時候,尤其是高速長途,如果打哈欠,不覺的點頭和開閉眼,那么大概率是疲勞瞌睡了。這里,點頭是一種微運動,打哈欠和開閉眼是一種更弱的微運動,這里我覺得在特征上與體征運動等價。如前所述,微運動可以用range-Doppler map表述,對于高精度雷達實時監(jiān)測頭部位置,點頭動作伴隨doppler bin的變化(doppler bin variation, 由于點頭動作較快,確切的說是doppler bin 突變/跳變)。當然也可以利用range-time map中range bin的變化表述(如下圖)。
▲?Micro Motion[1]
同樣的,體征運動可以用phase?表述,對于高精度雷達實時監(jiān)測頭部位置,眨眼,打哈欠伴隨相位變化(phase variation)。
基于AI算法學(xué)習(xí)這些range bin 以及 phase 的變化特征,是能夠大概率判斷駕駛員是否處于疲勞瞌睡狀態(tài)的。
▲?Vital Motion[1]
▲?Vital?Motion[1]
小結(jié)
通過上述分析,我們發(fā)現(xiàn)不管是宏運動(Macro Motion),微運動(Micro Motion),還是體征運動(Vital Motion),本質(zhì)都是對雷達回波相位的不同調(diào)制。
其中,
-
- Macro MotionMicro Motion 通常使用range-doppler map(range-time map, doppler time map)分析。Vital Motion 在相位不模糊條件下多直接用phase分析工具,包括phase unwrap以及一系列filter處理。
作者:葉融茶歸
*參考文獻:[1] https://dl.acm.org/doi/abs/10.1145/3614437.[2] Millimeter-wave radar object classification using knowledge-assisted neuralnetwork.https://www.frontiersin.org/articles/10.3389/fnins.2022.1075538?.[3]?S. Dong, Y. Li, J. Lu, Z. Zhang, C. Gu and J. Mao, "Accurate Detection of Doppler Cardiograms With a Parameterized Respiratory Filter Technique Using a K-Band Radar Sensor," in IEEE Transactions on Microwave Theory and Techniques, vol. 71, no. 1, pp. 71-82, Jan. 2023, doi: 10.1109/TMTT.2022.3184019.
[4] Patole S M ,? Torlak M ,? Dan W , et al. Automotive Radars: A review of signal processing techniques[J]. IEEE Signal Processing Magazine, 2017, 34(2):22-35.[5]?Heart rate measurement method based on wavelet transform noise reduction for low power millimeter wave radar platform