【虹科】了解實(shí)時(shí)成像系統(tǒng)中的時(shí)延

成像系統(tǒng)設(shè)計(jì)人員根據(jù)時(shí)延性能數(shù)據(jù)來(lái)幫助確定系統(tǒng)可以多快地處理、分析及在某些應(yīng)用中顯示圖像。低時(shí)延能夠?qū)崿F(xiàn)更高速的質(zhì)量檢測(cè)，對(duì)于在最終用戶需要實(shí)時(shí)成像數(shù)據(jù)進(jìn)行決策的領(lǐng)域的應(yīng)用，如圖像引導(dǎo)手術(shù)和軍用車載電子系統(tǒng)，至關(guān)重要。

當(dāng)成像系統(tǒng)最初被認(rèn)為是一種網(wǎng)絡(luò)技術(shù)時(shí)，以秒計(jì)的時(shí)延被認(rèn)為可以接受。例如，在閉路電視監(jiān)控系統(tǒng)（CCTV）安全應(yīng)用中，因?yàn)樾枰獣r(shí)間來(lái)壓縮視頻，所以2-3秒的時(shí)延很常見。隨著以太網(wǎng)已經(jīng)遷移到實(shí)時(shí)成像應(yīng)用中，時(shí)延或不準(zhǔn)確的傳輸問(wèn)題不能被容忍。

對(duì)實(shí)時(shí)未壓縮視頻的需求給網(wǎng)絡(luò)帶來(lái)了巨大的負(fù)擔(dān)。在工業(yè)視覺系統(tǒng)中，端到端時(shí)延閾值約為130毫秒 (ms) 或更少。對(duì)于圖像引導(dǎo)手術(shù)或軍用封閉艙驅(qū)動(dòng)應(yīng)用，設(shè)計(jì)人員的目標(biāo)是端到端時(shí)延為85毫秒或更少。

本文概述了時(shí)延的組成要素，并提供了通過(guò)GigE Vision鏈路進(jìn)行圖像傳輸?shù)臅r(shí)延測(cè)試結(jié)果。

系統(tǒng)時(shí)延

在視覺應(yīng)用中，有幾個(gè)因素影響時(shí)延，包括網(wǎng)絡(luò)和協(xié)議架構(gòu)、主計(jì)算機(jī)、資源共享和I/O機(jī)制。當(dāng)系統(tǒng)有一個(gè)從觸發(fā)事件到輸出信號(hào)的整體活動(dòng)時(shí)，系統(tǒng)本身由許多通常串行的內(nèi)部事件組成。在端到端的應(yīng)用中，時(shí)延不僅受到曝光和讀出時(shí)間的影響，而且受到顯示器刷新時(shí)間、將顏色空間從捕捉到的轉(zhuǎn)換為可在PC監(jiān)視器上顯示的所需的處理時(shí)間，甚至桌面主題的影響。

高性能GigE Vision的實(shí)現(xiàn)通過(guò)優(yōu)化鏈路發(fā)送和接收端的數(shù)據(jù)包處理過(guò)程來(lái)彌補(bǔ)以太網(wǎng)固有的時(shí)延和抖動(dòng)。在成像源和計(jì)算端口之間具有專用連接的點(diǎn)對(duì)點(diǎn)應(yīng)用應(yīng)該專門配置為具有相對(duì)較低的時(shí)延和抖動(dòng)。相比之下，依賴交換機(jī)來(lái)互連多個(gè)成像源和端點(diǎn)的復(fù)雜視覺應(yīng)用引入了各種延遲機(jī)會(huì)。

當(dāng)一個(gè)設(shè)備使用公共資源（例如一根以太網(wǎng)電纜）時(shí)，其它設(shè)備必須等待資源釋放。了解此時(shí)延鏈非常重要，因?yàn)榇说却龝r(shí)間會(huì)增加事件完成所需時(shí)延的抖動(dòng)量。這種增加是以太網(wǎng)架構(gòu)的直接反映，并與成像網(wǎng)絡(luò)上存在的設(shè)備數(shù)量成正比。

協(xié)議架構(gòu)也影響時(shí)延。通過(guò)標(biāo)準(zhǔn)的互聯(lián)網(wǎng)流量，TCP確保數(shù)據(jù)在傳輸過(guò)程中不會(huì)錯(cuò)誤排序或丟失。由于數(shù)據(jù)經(jīng)常在核心互聯(lián)網(wǎng)路由器上丟失，因此TCP規(guī)定接收者必須正面確認(rèn)數(shù)據(jù)的每個(gè)片段。 這造成了完成數(shù)據(jù)傳輸事件所需的時(shí)間顯著增加。

相比之下，GigE Vision是在UDP協(xié)議之上實(shí)現(xiàn)的，只有異常情況（數(shù)據(jù)丟失）被接收者所注意。這種輕量級(jí)的數(shù)據(jù)傳輸方法可減少時(shí)延和抖動(dòng)，并允許對(duì)短的最大保證響應(yīng)時(shí)間有更好的確定性。主計(jì)算機(jī)和資源共享對(duì)視覺系統(tǒng)時(shí)延的影響最大。

主計(jì)算機(jī)上的進(jìn)程共享多種資源，包括總線、內(nèi)存、CPU、操作系統(tǒng)，以及核心成像和圖形庫(kù)。在考慮系統(tǒng)時(shí)延時(shí)，軟件任務(wù)所需的CPU使用量常常被忽略。從聯(lián)網(wǎng)成像設(shè)備接收?qǐng)D像的主計(jì)算平臺(tái)必須在該P(yáng)C上的所有服務(wù)之間共享處理時(shí)間。在CPU上進(jìn)行高處理量的設(shè)備和軟件可以很容易地引入時(shí)延。

端到端時(shí)延的測(cè)量在人們根據(jù)他們?cè)陲@示器上所看到的內(nèi)容而采取行動(dòng)的任何應(yīng)用中都是至關(guān)重要的。這包括圖像引導(dǎo)手術(shù)和軍用局部態(tài)勢(shì)感知應(yīng)用。這個(gè)值與沒有顯示的圖像處理無(wú)關(guān)，因?yàn)轱@示管道是端到端時(shí)延的重要因素。

時(shí)延測(cè)試系統(tǒng)概述

虹科的內(nèi)部時(shí)延測(cè)試系統(tǒng)由一臺(tái)專用工作站PC、一臺(tái)示波器、一個(gè)由嵌入式處理器驅(qū)動(dòng)的LED燈，以及一個(gè)光電二極管組成。

為了測(cè)量端到端時(shí)延，示波器捕捉到打開攝像機(jī)前面的LED燈與光電二極管在PC監(jiān)視器上檢測(cè)到此光之間的時(shí)間延遲。除了時(shí)延之外，該捕捉重復(fù)數(shù)百個(gè)周期以了解系統(tǒng)抖動(dòng)。

“引入時(shí)延”描述所選視頻接口的時(shí)延測(cè)量 — 在本測(cè)試中，該接口為千兆以太網(wǎng)上的GigE Vision。假設(shè)通過(guò)LVDS（例如Camera Link等）和PCIe將圖像傳輸?shù)絇C內(nèi)存所需的時(shí)間接近零時(shí)延，則這些結(jié)果突出顯示了GigE Vision接口的引入時(shí)延。

Fig.1 GigE Vision成像系統(tǒng)中潛在端到端時(shí)延元素

引入時(shí)延”描述所選視頻接口的時(shí)延測(cè)量 — 在本測(cè)試中，該接口為千兆以太網(wǎng)上的GigE Vision。假設(shè)通過(guò)LVDS（例如Camera Link等）和PCIe將圖像傳輸?shù)絇C內(nèi)存所需的時(shí)間接近零時(shí)延，則這些結(jié)果突出顯示了GigE Vision接口的引入時(shí)延。

為了測(cè)量這種時(shí)延，我們只評(píng)估至少部分在Pleora產(chǎn)品控制范圍內(nèi)并且不與其它時(shí)延元素重疊的元素。考慮到時(shí)延元素（圖1），這意味著時(shí)延“時(shí)鐘”在傳感器讀數(shù)結(jié)束時(shí)開始，并在圖像可供用戶的應(yīng)用程序分析或顯示時(shí)結(jié)束。

引入時(shí)延測(cè)量包括GigE Vision接收器解封GVSP（GigE Vision流協(xié)議）有效載荷數(shù)據(jù)、將數(shù)據(jù)插入在圖像中適當(dāng)坐標(biāo)位置的內(nèi)存中，以及將完整圖像的內(nèi)存復(fù)制到用戶應(yīng)用程序所需的時(shí)間。

“引入時(shí)延”測(cè)量提供了使用LVDS傳輸技術(shù)和GigE Vision的系統(tǒng)之間有價(jià)值的比較。

場(chǎng)景一

在本測(cè)試中，我們?cè)u(píng)估了HK iPORT CL-GigE外置式采集卡的引入時(shí)延。CL-GigE將來(lái)自Camera Link相機(jī)的視頻數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)包并通過(guò)GigE鏈路傳輸。GigE支持使用標(biāo)準(zhǔn)的CAT5e/ 6線纜布線距離長(zhǎng)達(dá)100米。使用現(xiàn)成的以太網(wǎng)交換機(jī)，距離可以不受限制。

Camera Link Base相機(jī)

• 15.897毫秒曝光時(shí)間
• 1920 x 1080, mono8
• 40 MHz 像素時(shí)鐘

CL-GigE

• 巨型幀（每個(gè)以太網(wǎng)幀8k字節(jié)）
• 通過(guò)千兆以太網(wǎng)直接連接到PC

PC

• Windows 7 Professional，64位
• HP Z230塔式工作站（雙核英特爾酷睿?i5-4590 CPU @ 3.3 GHz，8 GB RAM）
• 60 Hz刷新頻率的1080p監(jiān)視器在約15分鐘內(nèi)的500個(gè)數(shù)據(jù)采樣

端到端時(shí)延

• 平均（包括曝光時(shí)間）= 69.604毫秒
• 最小 = 60.400 毫秒
• 最大 = 78.800 毫秒
• 標(biāo)準(zhǔn)差 = 4.910 毫秒

引入時(shí)延

• 平均 = 336 微秒
• 標(biāo)準(zhǔn)差 = 38 微秒

場(chǎng)景二

在本測(cè)試中，我們用HK vDisplay外外置式采集卡取代了用于上述場(chǎng)景1中測(cè)試的PC；這是一款基于FPGA的GigE Vision接收器。

Camera Link Base相機(jī)

• 15.897毫秒曝光時(shí)間
• 1920 x 1080, mono8
• 40 MHz 像素時(shí)鐘 — 51 毫秒傳感器讀出時(shí)間

CL-GigE

• 巨型幀（每個(gè)以太網(wǎng)幀8k字節(jié)）
• 通過(guò)千兆以太網(wǎng)直接連接到PC

vDisplay外部圖像采集卡

• 單緩存模式

在約15分鐘內(nèi)的500個(gè)數(shù)據(jù)采樣

端到端時(shí)延

• 平均（包括曝光時(shí)間）= 59.92 毫秒
• 最小 = 50.4 毫秒
• 最大 = 69.6 毫秒
• 標(biāo)準(zhǔn)差 = 4.746 毫秒

虹科產(chǎn)品：

外置式圖像采集卡HK-CL-GigE

關(guān)鍵特點(diǎn)：

• 通過(guò)低延時(shí)可預(yù)測(cè)的GigE傳輸Camera Link Base模式像機(jī)的數(shù)據(jù)
• 較寬的操作溫度范圍（40°C至+60°C）
• 無(wú)需PCI圖像采集卡即可插入各種計(jì)算平臺(tái)
• 結(jié)構(gòu)緊湊和功耗低
• 行掃描和面掃描模式
• 板載內(nèi)存120MB，可適應(yīng)數(shù)百萬(wàn)像素傳感器尺寸
• 支持錄像和重放功能
• 支持IEEE 1588，允許用戶準(zhǔn)確地控制、觸發(fā)和同步外部設(shè)備和多臺(tái)像機(jī)，系統(tǒng)的GPIO則將電子噪聲的影響降到最低
• PoE、PoCL和外部供電可選
• 可編程邏輯控制器(PLC)允許用戶準(zhǔn)確地測(cè)量、同步、觸發(fā)和控制其他視覺系統(tǒng)部件
• 由Pleora功能齊全的eBUS? SDK支持
• GenICam集成開發(fā)包（包含iPORT AutoGen XML生成工具和固件參考設(shè)計(jì)組成）提供一個(gè)高效簡(jiǎn)潔的GenICam交互界面