機(jī)器視覺(jué)：從1D到3D，如何提升它的“視力”？

機(jī)器視覺(jué)

從科學(xué)上講，人眼可以感知390到770nm的電磁波長(zhǎng)范圍。機(jī)器視覺(jué)是將圖像轉(zhuǎn)換成數(shù)字信號(hào)進(jìn)行分析處理的技術(shù)，并讓機(jī)器擁有了人眼無(wú)法企及的視覺(jué)功能，非常適用于那些不適合人工作的危險(xiǎn)任務(wù)或是人眼難以滿足要求的場(chǎng)合。

什么是機(jī)器視覺(jué)？

理解機(jī)器視覺(jué)系統(tǒng)最簡(jiǎn)單的方法之一是把它看作機(jī)器的眼睛。從專(zhuān)業(yè)角度看，機(jī)器視覺(jué)是一種通過(guò)圖像處理實(shí)現(xiàn)自動(dòng)檢測(cè)和分析應(yīng)用的技術(shù)?？梢哉f(shuō)，機(jī)器視覺(jué)是一種技術(shù)能力，它以新的方式與現(xiàn)有技術(shù)集成，并將其應(yīng)用于解決現(xiàn)實(shí)問(wèn)題。

機(jī)器視覺(jué)是一門(mén)系統(tǒng)工程學(xué)科，有時(shí)也會(huì)被人拿來(lái)與計(jì)算機(jī)視覺(jué)進(jìn)行比較。其實(shí)，計(jì)算機(jī)視覺(jué)和機(jī)器視覺(jué)是相互重疊的技術(shù)。機(jī)器視覺(jué)系統(tǒng)需要計(jì)算機(jī)和特定的軟硬件才能工作，而計(jì)算機(jī)視覺(jué)不需要借助有形的硬件來(lái)完成，比如連接到機(jī)器人上的視覺(jué)箱或攝像機(jī)等，這是二者最顯著的區(qū)別。機(jī)器視覺(jué)可以看作是計(jì)算機(jī)視覺(jué)的一個(gè)子類(lèi)，計(jì)算機(jī)視覺(jué)是其大腦，沒(méi)有計(jì)算機(jī)視覺(jué)，機(jī)器視覺(jué)就無(wú)法工作。

具體來(lái)看，計(jì)算機(jī)視覺(jué)可以在線分析圖像或視頻，以及來(lái)自運(yùn)動(dòng)探測(cè)器、紅外傳感器或其他來(lái)源的圖像。隨著邊緣AI的發(fā)展，計(jì)算機(jī)視覺(jué)開(kāi)始從云端移到邊緣，更加靠近收集數(shù)據(jù)的傳感器。

機(jī)器視覺(jué)系統(tǒng)始于20世紀(jì)50年代。從1980年到1990年，這項(xiàng)技術(shù)才真正開(kāi)始起步并日益普及。值得注意的是，隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，機(jī)器視覺(jué)潛在應(yīng)用的可能性也相應(yīng)增加，并從主要的應(yīng)用領(lǐng)域——工業(yè)自動(dòng)化環(huán)境——向著安全、自動(dòng)駕駛車(chē)輛、食品生產(chǎn)、包裝和物流，甚至包括機(jī)器人和無(wú)人機(jī)等行業(yè)擴(kuò)展?，F(xiàn)在，機(jī)器視覺(jué)系統(tǒng)可以檢查和分類(lèi)各個(gè)行業(yè)的各種物體和物品，包括汽車(chē)、電子和半導(dǎo)體、食品和飲料、道路和車(chē)輛交通或智能運(yùn)輸系統(tǒng)（ITS）、醫(yī)療成像、包裝、標(biāo)簽和印刷、制藥等。

圖1：機(jī)器視覺(jué)市場(chǎng)增長(zhǎng)情況（圖源：MarketsandMarkets）

Markets and Markets報(bào)告稱(chēng)，機(jī)器視覺(jué)的市場(chǎng)規(guī)模預(yù)計(jì)將從2020年的107億美元增長(zhǎng)到2025年的147億美元，復(fù)合年增長(zhǎng)率為6.5%。對(duì)質(zhì)量檢測(cè)和自動(dòng)化的需求不斷增長(zhǎng)、非傳統(tǒng)和新興應(yīng)用對(duì)機(jī)器視覺(jué)系統(tǒng)需求的不斷增長(zhǎng)，以及對(duì)視覺(jué)引導(dǎo)機(jī)器人需求的不斷增長(zhǎng)，這些都是推動(dòng)機(jī)器視覺(jué)市場(chǎng)增長(zhǎng)的關(guān)鍵因素。

哪些行業(yè)從中受益？

機(jī)器視覺(jué)應(yīng)用的優(yōu)勢(shì)主要體現(xiàn)在五個(gè)方面：

一是在檢驗(yàn)、測(cè)量、計(jì)量和裝配驗(yàn)證方面具有更高性能和質(zhì)量。

二是能提高重復(fù)性任務(wù)的生產(chǎn)率，還能有效減少機(jī)器停機(jī)時(shí)間并縮短安裝時(shí)間。

三是在測(cè)量和計(jì)量上有較大的靈活性，還可保證更嚴(yán)格的過(guò)程控制。

四是能降低生產(chǎn)成本，及早發(fā)現(xiàn)缺陷，降低廢品率。

五是占地面積小，降低了生產(chǎn)成本。

當(dāng)前，工業(yè)領(lǐng)域中的機(jī)器視覺(jué)應(yīng)用比重很大，同時(shí)這一領(lǐng)域也從中收益頗多。通過(guò)與深度學(xué)習(xí)和機(jī)器學(xué)習(xí)等技術(shù)的深度結(jié)合，機(jī)器視覺(jué)能幫助使用該技術(shù)的企業(yè)更好地理解數(shù)據(jù)，并優(yōu)化業(yè)務(wù)以獲得更高的效率，例如寶馬就將該技術(shù)與人工智能和機(jī)器學(xué)習(xí)結(jié)合使用以提高效率。隨著各類(lèi)技術(shù)的不斷完善，機(jī)器視覺(jué)應(yīng)用領(lǐng)域也不斷拓寬，應(yīng)用范圍包括對(duì)象辨識(shí)、產(chǎn)品檢測(cè)、外觀尺寸、甚至3D建模存貨清點(diǎn)。在實(shí)際中，機(jī)器視覺(jué)系統(tǒng)還能夠以定制的方式設(shè)計(jì)和實(shí)現(xiàn)到系統(tǒng)中，來(lái)滿足更多應(yīng)用需求。

根據(jù)最終用途劃分，機(jī)器視覺(jué)市場(chǎng)分為汽車(chē)、醫(yī)藥和化學(xué)品、電子和半導(dǎo)體、紙漿和紙張、印刷和標(biāo)簽、食品和飲料（包裝和裝瓶）、玻璃和金屬、郵政和物流等。目前，汽車(chē)行業(yè)是重要的機(jī)器視覺(jué)系統(tǒng)采用者。2020年，汽車(chē)行業(yè)的占比達(dá)到19.38%，預(yù)計(jì)從2021年到2028年將有可觀的增長(zhǎng)。在汽車(chē)工業(yè)中，機(jī)器視覺(jué)被廣泛用于檢查目的，包括有無(wú)檢查、防錯(cuò)、裝配驗(yàn)證和最終檢查。此外，機(jī)器視覺(jué)系統(tǒng)用于尺寸測(cè)量、機(jī)器人引導(dǎo)和測(cè)試自動(dòng)化，屬于測(cè)量和引導(dǎo)應(yīng)用。因此，整個(gè)汽車(chē)行業(yè)對(duì)機(jī)械化成像的需求很大，預(yù)計(jì)未來(lái)幾年將繼續(xù)穩(wěn)步增長(zhǎng)。

機(jī)器視覺(jué)的“眼睛”

所有機(jī)器視覺(jué)方法都受到人類(lèi)視覺(jué)系統(tǒng)的啟發(fā)，從二維圖像中提取概念信息——它們有基于2D圖像的捕獲系統(tǒng)和模擬人類(lèi)視覺(jué)感知的計(jì)算機(jī)視覺(jué)算法。人類(lèi)通過(guò)3D感知周?chē)氖澜?。在機(jī)器視覺(jué)系統(tǒng)的三個(gè)分類(lèi)中，1D視覺(jué)系統(tǒng)不是一次查看整張圖片，而是一次分析一行信號(hào)。它們通常檢測(cè)并分類(lèi)連續(xù)過(guò)程中制造的產(chǎn)品的缺陷，如金屬、塑料、紙張、無(wú)紡布薄板或卷制品。

在標(biāo)準(zhǔn)照明條件下，機(jī)器視覺(jué)系統(tǒng)通常使用常規(guī)2D成像。有時(shí)物體需要特定照明來(lái)記錄缺陷——例如，機(jī)器視覺(jué)系統(tǒng)可以使用多光譜成像、高光譜成像、紅外波段、線掃描成像、3D成像和X射線成像。與更復(fù)雜的照明相比，通常的2D可見(jiàn)光照明圖像是單色的，而更復(fù)雜的照明考慮了顏色、幀速率、分辨率等因素，以及成像過(guò)程是否在整個(gè)圖像上同步，從而使其適用于需要技術(shù)跟蹤特定移動(dòng)項(xiàng)目的系統(tǒng)。

目前，尚沒(méi)有典型的機(jī)器視覺(jué)系統(tǒng)可以作為其他設(shè)計(jì)的參考，因?yàn)闄C(jī)器視覺(jué)是一種能力，而不是一種產(chǎn)品或特定類(lèi)型的設(shè)計(jì)。在實(shí)際應(yīng)用中，它們是將不同的組件集成在一起來(lái)實(shí)現(xiàn)。機(jī)器視覺(jué)系統(tǒng)的主要組成部分包括照明系統(tǒng)、鏡頭、圖像傳感器、視覺(jué)處理和通信系統(tǒng)。燈光照亮要檢查的零件，使其特征突出，以便攝像頭可以看到它們。鏡頭捕捉圖像，以光的形式呈現(xiàn)給傳感器。傳感器將該光線轉(zhuǎn)換為數(shù)字圖像，發(fā)送至視頻處理器進(jìn)行分析。視覺(jué)處理包括檢查圖像和提取必要檢查和決策所需信息的算法。

如果說(shuō)機(jī)器視覺(jué)讓機(jī)器增加了一雙眼睛，按字面和實(shí)際意義來(lái)理解，圖像傳感器就是機(jī)器視覺(jué)系統(tǒng)的那個(gè)“視”，相當(dāng)于系統(tǒng)的“眼睛”，它的優(yōu)劣直接關(guān)系到整個(gè)系統(tǒng)的“視力”能達(dá)到何種水平。隨著機(jī)器視覺(jué)的應(yīng)用日益廣泛，圖像傳感器也迎來(lái)了發(fā)展的良機(jī)。根據(jù)安森美公司提供的數(shù)據(jù)，2018年至2022年期間，機(jī)器視覺(jué)傳感器市場(chǎng)將以14% CAGR的速度增長(zhǎng)。

圖2：機(jī)器視覺(jué)傳感器的市場(chǎng)規(guī)模，單位：百萬(wàn)美元（圖源：廣發(fā)證券）

CMOS圖像傳感器是機(jī)器視覺(jué)中應(yīng)用最普遍的一種傳感器。與CCD傳感器一樣，它可以是單色的，也可以是彩色的。安森美MT9P031I12STC-DR1是用于高分辨率機(jī)器視覺(jué)應(yīng)用的彩色CMOS傳感器，它屬于CMOS數(shù)字圖像傳感器MT9P031家族。該產(chǎn)品系列具有2592 H x 1944 V的有源成像像素陣列，為可編程的、高集成度產(chǎn)品，具有低功耗特性，既有CCD的圖像質(zhì)量，同時(shí)還保持了CMOS圖像傳感器在尺寸和成本上的優(yōu)勢(shì)。MT9P031傳感器既能在默認(rèn)模式下工作，也可以由用戶針對(duì)幀大小、曝光、增益設(shè)置和其他參數(shù)進(jìn)行編程。默認(rèn)模式是以每秒14幀（fps）的速度輸出全分辨率圖像。

圖3 ：MT9P031傳感器方框圖（圖源：貿(mào)澤官網(wǎng)）

當(dāng)然，一些機(jī)器視覺(jué)應(yīng)用也有特定的分辨率需求。與傳統(tǒng)的由顯示標(biāo)準(zhǔn)（16:9或4:3）驅(qū)動(dòng)的RGB觀看應(yīng)用程序不同，許多機(jī)器人和機(jī)器視覺(jué)方案可通過(guò)使用不同的分辨率進(jìn)行優(yōu)化。如安森美的200萬(wàn)像素AR0234在X方向給出了更優(yōu)的條形碼方案的額外像素。在XGS系列圖像傳感器中，800萬(wàn)像素、900萬(wàn)像素、1200萬(wàn)像素產(chǎn)品分別提供了2:1、1:1、4:3的圖像比例，XGS的3000萬(wàn)像素、32000萬(wàn)像素產(chǎn)品分別提供了1:1和4:3的圖像比例——1:1可用在半導(dǎo)體檢測(cè)，而4:3可用在屏檢。

3D機(jī)器視覺(jué)解決方案

3D機(jī)器視覺(jué)的圖像檢測(cè)更接近于人類(lèi)的眼睛。借助數(shù)字化3D掃描數(shù)據(jù)，可以提取一個(gè)物體的尺寸，包括表面積、體積和形體尺寸。3D視覺(jué)傳感技術(shù)是一種深度傳感技術(shù)，它增強(qiáng)了攝像機(jī)進(jìn)行面部和目標(biāo)識(shí)別的能力。目前市場(chǎng)上主流的3D光學(xué)視覺(jué)方案有三種，即：雙目立體視覺(jué)法（Stereo Vision）、結(jié)構(gòu)光法（Structured Light）以及飛行時(shí)間法（Time of Flight, ToF）。在這些方法中，結(jié)構(gòu)光技術(shù)最成熟，已經(jīng)在工業(yè)3D機(jī)器視覺(jué)中大規(guī)模應(yīng)用。在結(jié)構(gòu)光方法中，一系列圖形被投射到一個(gè)物體上，然后攝像頭或傳感器檢測(cè)這些圖形的扭曲與變形。接下來(lái)，圖像處理和三角剖分算法將這些扭曲與變形轉(zhuǎn)換為3D點(diǎn)云數(shù)據(jù)，這些點(diǎn)云數(shù)據(jù)可直接用來(lái)進(jìn)行分析或?qū)С鰹槎喾NCAD建模格式。比如，Texas Instruments (TI)  DLP系統(tǒng)可以實(shí)時(shí)產(chǎn)生非接觸、高精度的3D數(shù)據(jù)，使3D機(jī)器視覺(jué)更加容易實(shí)現(xiàn)。在這個(gè)方案中，DLP芯片組可提供不同的DMD（數(shù)字微鏡器件）尺寸、像素間距、分辨率以及波長(zhǎng)范圍。

表1：針對(duì)3D機(jī)器視覺(jué)的DLP芯片組（圖源：TI官網(wǎng)）

隨著技術(shù)的發(fā)展，采用飛行時(shí)間技術(shù)重建3D信息已成為機(jī)器視覺(jué)最重要的方法。飛行時(shí)間技術(shù)使用激光掃描儀根據(jù)光線到達(dá)目標(biāo)并返回所需的時(shí)間來(lái)估計(jì)光源和目標(biāo)之間的距離。Analog Devices (ADI) 的ADSD3100是一款基于CMOS 3D飛行時(shí)間的3D深度和2D可視光成像器，可集成到3D傳感器系統(tǒng)中。其所需的功能模塊包括模數(shù)轉(zhuǎn)換器（ADC）、像素偏置電路和傳感器控制邏輯，這些都內(nèi)置在芯片中以便在系統(tǒng)中實(shí)現(xiàn)簡(jiǎn)單、經(jīng)濟(jì)高效的方案。ADSD3100通過(guò)MIPI、攝像頭串行接口2（CSI-2）接口與主機(jī)系統(tǒng)進(jìn)行電氣接口。

圖4：CMOS 3D ToF傳感器ADSD3100框圖（圖源：ADI官網(wǎng)）

結(jié)語(yǔ) 

與自動(dòng)化、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)等其他能力一樣，機(jī)器視覺(jué)也是一種能力，而不是一個(gè)行業(yè)。它是一種可以集成到其他技術(shù)和流程中的能力，可以使行業(yè)受益并提高業(yè)務(wù)效率。邊緣智能或邊緣人工智能是機(jī)器視覺(jué)技術(shù)發(fā)展的下一個(gè)大趨勢(shì)，它們將機(jī)器學(xué)習(xí)從云端移到物理設(shè)備的邊緣。這一切與機(jī)器視覺(jué)的未來(lái)密切相關(guān)，邊緣計(jì)算的進(jìn)步使得在傳統(tǒng)機(jī)器視覺(jué)任務(wù)中應(yīng)用深度學(xué)習(xí)能力成為可能。

從研究機(jī)構(gòu)的預(yù)測(cè)中可以看出，機(jī)器視覺(jué)市場(chǎng)正在快速增長(zhǎng)，企業(yè)越來(lái)越希望通過(guò)引入機(jī)器視覺(jué)和機(jī)器人等自動(dòng)化功能來(lái)實(shí)現(xiàn)業(yè)務(wù)流程的自動(dòng)化，這個(gè)趨勢(shì)不會(huì)很快放緩。