加入星計劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
    • 1、引言
    • 2、計算機(jī)視覺領(lǐng)域的關(guān)鍵技術(shù)
    • 3、通信工程中典型應(yīng)用與效果
    • 4、結(jié)束語
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請入駐 產(chǎn)業(yè)圖譜

計算機(jī)視覺關(guān)鍵技術(shù)及其在通信工程中的應(yīng)用

2020/12/02
172
閱讀需 16 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

本文首先總結(jié)了計算機(jī)視覺領(lǐng)域的重要關(guān)鍵技術(shù)以及典型算法模型,隨后介紹了這些技術(shù)在通信工程領(lǐng)域內(nèi)設(shè)備安裝、施工驗收、三維測量以及天面核查等四種典型場景下的應(yīng)用方案及實施效果,上述應(yīng)用實踐將為在通信工程行業(yè)構(gòu)建數(shù)字孿生網(wǎng)絡(luò)提供有益探索。

1、引言

計算機(jī)視覺(Computer Vision, CV)是指用計算機(jī)來模擬人的視覺系統(tǒng),實現(xiàn)人的視覺功能,以適應(yīng)、理解外界環(huán)境和控制自身的運(yùn)動。數(shù)據(jù)、算力和模型是計算機(jī)視覺行業(yè)發(fā)展的三大基石。2000 年之后,數(shù)據(jù)量的上漲、運(yùn)算力的提升和深度學(xué)習(xí)算法的出現(xiàn)促進(jìn)了計算機(jī)視覺行業(yè)的迅猛發(fā)展。

隨著高性能智能終端的普及以及影像采集設(shè)備成本的下降,通信行業(yè)逐漸在勘察、施工、優(yōu)化和運(yùn)維等領(lǐng)域累積了大量非結(jié)構(gòu)化的圖像數(shù)據(jù);同時,圖像處理器(Graphics Processing Unit,GPU)的便利應(yīng)用也為開展高強(qiáng)度并行計算提供了算力基礎(chǔ)。

本文首先總結(jié)了計算機(jī)視覺領(lǐng)域的重要關(guān)鍵技術(shù)以及典型算法模型,隨后介紹了這些技術(shù)在通信工程領(lǐng)域內(nèi)設(shè)備安裝、施工驗收、三維測量以及天面核查等幾種典型場景下的技術(shù)方案,并提供了所屬應(yīng)用的實施效果。

2、計算機(jī)視覺領(lǐng)域的關(guān)鍵技術(shù)

2.1 重要關(guān)鍵技術(shù)

計算機(jī)視覺領(lǐng)域一般包括如下五類關(guān)鍵技術(shù)。

(1)圖像分類

圖像分類主要研究內(nèi)容是對圖像進(jìn)行特征描述。通常,圖像分類算法通過手工特征或者特征學(xué)習(xí)方法對整個圖像進(jìn)行全局描述,并依據(jù)圖像特征圖的不同語義信息進(jìn)行分類,該技術(shù)廣泛應(yīng)用于人臉識別、手寫文件或印刷識別、車輛識別等場景。常用的圖像分類模型包括:AlexNet[1]、VGG[2]、ResNet[3]、InceptionV4、MobileNetV3[4]、ShuffleNet 等。

(2)目標(biāo)檢測

作為計算機(jī)視覺的一個重要分支,目標(biāo)檢測的任務(wù)是在一幅圖像或視頻中找到目標(biāo)類別以及目標(biāo)位置。與圖像分類不同,目標(biāo)檢測側(cè)重于物體搜索,被檢測目標(biāo)必須有固定的形狀和輪廓;而圖像分類可以是任意目標(biāo)包括物體、屬性和場景等。目標(biāo)檢測已在人臉識別和自動駕駛領(lǐng)域取得了非常顯著的效果,經(jīng)典的檢測模型有 YOLOV3、SSD[t5]和 Faster RCNN[6]。

(3)圖像分割

圖像分割指的是將數(shù)字圖像細(xì)分為多個圖像子區(qū)域(像素的集合,也被稱作超像素)的過程。圖像分割的目的是簡化或改變圖像的表示形式,使得圖像更容易理解和分析。圖像語義分割是一個像素級別的物體識別,即每個像素點都要判斷它的類別。Mask R-CNN[7]就是一種經(jīng)典的實力分割網(wǎng)絡(luò)。

(4)場景文字識別

場景文字識別分為兩部分,首先通過目標(biāo)檢測檢測出目標(biāo)區(qū)域,然后通過 CRNN-CTC 模型將網(wǎng)絡(luò)特征轉(zhuǎn)為文字序列。場景文字識別廣泛應(yīng)用于路牌識別、車牌檢測等領(lǐng)域。

(5)圖像生成

圖像生成是指使用對抗網(wǎng)絡(luò)(GAN)根據(jù)輸入的隨機(jī)噪聲或向量生成目標(biāo)圖像。生成器、識別器是對抗網(wǎng)絡(luò)(GAN)的重要組成部分。

2.2 典型算法模型

近年來,計算機(jī)視覺領(lǐng)域的優(yōu)秀算法層出不窮,以下?lián)褚喗橄挛难芯渴褂玫囊恍┠P汀?/p>

(1)VGG

2014 年,牛津大學(xué)計算機(jī)視覺組和谷歌公司的研究員聯(lián)合研發(fā)出一種新的深度卷積神經(jīng)網(wǎng)絡(luò),即 VGGNet,并獲得當(dāng)年 ILSVRC 分類比賽的亞軍。VGGNet 分為 VGG16 和 VGG19:VGG16 通過 13 層 3×3 的卷積網(wǎng)絡(luò)和 3 層全連接網(wǎng)絡(luò)構(gòu)建,VGG19 則通過 16 層 3×3 的卷積網(wǎng)絡(luò)和 3 層全連接網(wǎng)絡(luò)構(gòu)建。VGG19 被廣泛應(yīng)用于不同行業(yè)的圖像特征提取領(lǐng)域。

(2)Resnet

深度殘差網(wǎng)絡(luò)(Residual Network, ResNet)是過去幾年中計算機(jī)視覺領(lǐng)域頗具開創(chuàng)性的工作。因其強(qiáng)大的表征能力,除圖像分類以外,包括目標(biāo)檢測和人臉識別在內(nèi)的許多計算機(jī)視覺應(yīng)用都得到了性能提升。ResNet101 是其中的一種網(wǎng)絡(luò)堆疊方式,101 層網(wǎng)絡(luò)指齊總的卷積或全連接層數(shù)目。

(3)SIFT

尺度不變特征轉(zhuǎn)換(Scale-invariant feature transform,SIFT)是一種用來偵測與描述影像局部性特征的重要算法,由 David Lowe 在 1999 年所發(fā)表,并于 2004 年總結(jié)完善。SIFT 算法主要用于處理兩幅圖像之間發(fā)生平移、旋轉(zhuǎn)、仿射變換情況下的匹配問題。

(4)Mask R-CNN

Mask R-CNN 是華人學(xué)者何愷明提出的一種簡潔、靈活的圖像實例分割框架,用于判斷圖像中不同目標(biāo)的類別和位置,并可做出像素級預(yù)測。該算法不僅能夠有效地檢測圖像中的目標(biāo),而且還能為每個實例生成一個高質(zhì)量的分割掩碼。

3、通信工程中典型應(yīng)用與效果

3.1 設(shè)備安裝方式檢測

蓄電池是通信機(jī)房內(nèi)的重要基礎(chǔ)設(shè)施,按照設(shè)備屬性、機(jī)房空間等因素,蓄電池的安裝方式可分臥式和立式兩種(圖 1)。在局房設(shè)計時,需要因地制宜地制定安裝方式;在施工驗收時,需要關(guān)注是否按圖施工。通常,安裝方式的信息采集和現(xiàn)場核驗都是人工判斷并填注到相應(yīng)信息系統(tǒng)中,填報錯誤時有發(fā)生。

圖 1 通信機(jī)房內(nèi)蓄電池安裝方式(左:臥式;右:立式)

引入 VGG19 模型中的采用 VGG19 模型中的二分類法,基于一般清晰度的現(xiàn)場圖像,本文設(shè)計出圖 2 所示算法,可高效識別這兩種安裝方式,在 100 張標(biāo)注樣本數(shù)據(jù)時,置信度可以即可以達(dá)到 0.95 以上;同時,還可以借助移動互聯(lián)網(wǎng)手段,在圖像信息采集終端中實現(xiàn)即時識別(圖 3),從而提升現(xiàn)場查勘人員信息填寫效率并降低人工填報錯誤率。

圖 2 基于 VGG19 模型的蓄電池安裝方式檢測

圖 3 即拍即傳至后臺自動填寫采集終端的屬性字段

3.2 施工工藝圖像質(zhì)檢

家庭市場是中國移動“四輪驅(qū)動”戰(zhàn)略的重要組成部分,業(yè)務(wù)發(fā)展已經(jīng)進(jìn)入快車道,并由“高速度”向“高質(zhì)量”轉(zhuǎn)型。當(dāng)前家寬裝維主要存在以下問題:人工抽檢覆蓋率低、成本高;人工質(zhì)檢依靠經(jīng)驗,存在漏檢、錯檢的情況,結(jié)果不可靠。

通過計算機(jī)視覺技術(shù)可構(gòu)建家客智能化質(zhì)檢手段(圖 4),對家寬裝維質(zhì)量進(jìn)行跟蹤監(jiān)管,自動識別安裝結(jié)果是否合格,提升質(zhì)檢效率,減少人工成本,改善安裝質(zhì)量,提升家客業(yè)務(wù)支撐水平,最終達(dá)到降本、增效、提質(zhì)的愿景目標(biāo)。

圖 4 家寬裝維圖像質(zhì)檢智能作業(yè)流程

以實際應(yīng)用中效果較好的尾纖安裝質(zhì)檢為例,傳統(tǒng)的人工圖像質(zhì)檢存在檢測準(zhǔn)確率低且人力成本高的問題,本文采用基于深度學(xué)習(xí)的圖像識別技術(shù),基于 VGG19 模型構(gòu)建了相應(yīng)的檢測算法模塊(圖 5)。

圖 5 基于 VGG19 的尾纖質(zhì)檢基本算法

基于樣本圖像(66 張尾纖布放照片,典型照片如圖 6),開展二分類標(biāo)注:規(guī)范與整潔,訓(xùn)練圖 5 所示的 VGG19 模型;同時,預(yù)留了 10 張照片用于測試驗證,圖 6 右是隨機(jī)挑選的驗證圖片,置信度為 0.954528,方法有效。

圖 6 尾纖施工工藝對比(左:標(biāo)準(zhǔn);中:凌亂;右:驗證)

3.3 全景圖像三維測量

三維全景是基于全景圖像的真實場景虛擬現(xiàn)實技術(shù),將相機(jī)環(huán)一周度拍攝的一組或多組照片拼接成一個全景圖像,也可通過一次拍攝實現(xiàn)成像。通過拼接,經(jīng)過一系列數(shù)學(xué)計算可以得到其球形全景的立方體投影圖,最后通過計算機(jī)技術(shù)實現(xiàn)全方位互動式觀看的真實場景還原展示(圖 7)。

圖 7 基于便攜式全景設(shè)備的三維展示與測量系統(tǒng)

本文設(shè)計并實現(xiàn)了一種基于 SIFT 算法的三維全景圖像測量方案(圖 8),基于該方案可以開展機(jī)房內(nèi)設(shè)施、天面設(shè)施等場景的三維空間距離測量(圖 9),三種試驗場景下的驗證誤差均在 5%以內(nèi)(測量結(jié)果見圖 9 右上)。

圖 8 基于 SIFT 算法和全景照片的三維距離測量方案

圖 9 基于 SIFT 算法和全景圖像的三維測量(左:機(jī)柜高度;中:地磚尺寸;右:抱桿高度)

3.4 天線數(shù)量目標(biāo)檢測

天面是 5G 網(wǎng)絡(luò)建設(shè)的重要資源,也制約到 5G 工程建設(shè)進(jìn)展。在日??睖y、優(yōu)化及維護(hù)工作中,往往積累了大量的天面歷史影響資料;通過引入圖像檢測算法,可以探索天面資源的自動核查方法。

本文應(yīng)用 Mask R-CNN 算法設(shè)計了基于天面照片的天線數(shù)量檢測算法:首先,圖像經(jīng)過殘差網(wǎng)絡(luò)(ResNet101)和特征金字塔網(wǎng)絡(luò)(FPN)結(jié)構(gòu),提取多層特征圖,然后經(jīng)過區(qū)域選取網(wǎng)絡(luò)(RPN)微調(diào)特征圖對應(yīng)錨框(Anchor)的偏移量并且將錨框劃分為前景還是背景,之后將生成的感興趣區(qū)域(ROI)經(jīng)過排序,輸出相同大小的感興趣區(qū)域。在訓(xùn)練階段(圖 8),分類和掩膜兩個分支同時進(jìn)行,其中分類包括類別、置信度、邊界框回歸,掩膜分支則用于分割目標(biāo);在測試階段(圖 9),則是先經(jīng)過分類分支,再經(jīng)過掩膜分支。

圖 10 天線數(shù)量檢測訓(xùn)練模型

圖 11 天線數(shù)量檢測測試模型

本方案使用在所有的交并比(Intersection over Union,IOU)閾值的平均精度(AP)來評價在數(shù)據(jù)集中的表現(xiàn)(表 1)。驗證結(jié)果表明:Mask R-CNN 算法有著較強(qiáng)的魯棒性,可以有效解決天線數(shù)量檢測任務(wù)(圖 12)。

表 1 天線目標(biāo)的檢測結(jié)果

圖 12 天線數(shù)量目標(biāo)結(jié)果示例

4、結(jié)束語

計算機(jī)視覺是通信與信息系統(tǒng)領(lǐng)域一個方興未艾的重要發(fā)展方向。本文系統(tǒng)總結(jié)了在通信工程領(lǐng)域開展的初步探索,介紹了所使用的關(guān)鍵技術(shù)、方案要點以及實踐效果,未來將進(jìn)一步推動相應(yīng)研究成果在 5G 網(wǎng)絡(luò)規(guī)劃優(yōu)化信息化系統(tǒng)中的固化與規(guī)模化應(yīng)用,迎接 6G 數(shù)字孿生時代的加速到來。

參考文獻(xiàn)

[1] Krizhevsky A , Sutskever I , Hinton G . ImageNet Classification with Deep Convolutional Neural Networks[C]// NIPS. Curran Associates Inc. 2012.

[2] Simonyan K , Zisserman A . Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Computer Science, 2014.

[3] He K , Zhang X , Ren S , et al. Deep Residual Learning for Image Recognition[J]. 2015.

[4] Chu X , Zhang B , Xu R . MoGA: Searching Beyond MobileNetV3[J]. 2019.

[5] Wei Liu, Dragomir Anguelov, Dumitru Erhan,等 . SSD: Single Shot MultiBox Detector[C]// European Conference on Computer Vision. Springer International Publishing, 2016.

[6] Ren, Shaoqing, He, Kaiming, Girshick, Ross,等 . Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 39(6):1137-1149.

[7] He Kaiming, Gkioxari Georgia, Dollar Piotr,等 . Mask R-CNN[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence:1-1.

陸南昌:工程師,碩士畢業(yè)于中山大學(xué),現(xiàn)任職于中國移動通信集團(tuán)廣東有限公司無線優(yōu)化中心,擔(dān)任網(wǎng)優(yōu)技術(shù)室主任,從事網(wǎng)絡(luò)優(yōu)化、新技術(shù)研究等工作,主要研究方向為 5G 應(yīng)用、集中優(yōu)化策略研究等。

劉吉寧:工程師,碩士畢業(yè)于暨南大學(xué),現(xiàn)任職于中國移動通信集團(tuán)廣東有限公司無線優(yōu)化中心,長期從事無線網(wǎng)規(guī)劃管理、新技術(shù)研究等工作,主要研究方向為 4/5G 規(guī)劃、優(yōu)化策略研究等。

黃海暉:高級工程師,碩士畢業(yè)于西安交通大學(xué),現(xiàn)任職于中國移動通信集團(tuán)廣東有限公司無線優(yōu)化中心,擔(dān)任網(wǎng)優(yōu)副總經(jīng)理。長期從事無線網(wǎng)絡(luò)優(yōu)化管理、新技術(shù)研究管理等工作。

相關(guān)推薦

電子產(chǎn)業(yè)圖譜

移動Labs是中國移動的社交化新媒體平臺,是面向外部行業(yè)及產(chǎn)業(yè)鏈合作伙伴的信息發(fā)布、業(yè)務(wù)發(fā)展和產(chǎn)業(yè)推進(jìn)門戶。