浪潮信息獲CVPR2024自動駕駛挑戰(zhàn)賽"Occupancy& Flow"冠軍

北京2024年6月25日 /美通社/ -- 近日，在全球權(quán)威的CVPR 2024自動駕駛國際挑戰(zhàn)賽(Autonomous Grand Challenge)中，浪潮信息AI團隊所提交的"F-OCC"算法模型以48.9%的出色成績斬獲占據(jù)柵格和運動估計(Occupancy & Flow)賽道第一名。繼22、23年在純視覺和多模態(tài)等自動駕駛感知方向，多次登頂nuSences 3D目標檢測榜單后，該AI團隊面向Occupancy技術(shù)再一次實現(xiàn)突破，實現(xiàn)了對高度動態(tài)及不規(guī)則的駕駛場景更精準的3D感知及運動預測。

圖1-浪潮信息AI團隊斬獲占據(jù)柵格和運動估計賽道第一名

CVPR 2024自動駕駛國際挑戰(zhàn)賽是國際計算機視覺與模式識別會議(IEEE/CVF Conference on Computer Vision and Pattern Recognition)的一個重要組成部分，專注于自動駕駛領(lǐng)域的技術(shù)創(chuàng)新和應(yīng)用研究。2024年CVPR自動駕駛國際挑戰(zhàn)賽，包含感知、預測、規(guī)劃三大方向七個賽道，旨在深入探索自動駕駛領(lǐng)域的前沿課題。

三維感知和預測是自動駕駛領(lǐng)域的新興任務(wù)，要求對車輛行駛場景進行細粒度建模，對于提升自動駕駛的環(huán)境感知能力有著重要意義。此次浪潮信息AI團隊所登頂?shù)恼紦?jù)柵格和運動估計(Occupancy & Flow)賽道，是CVPR 2024自動駕駛國際挑戰(zhàn)賽最受關(guān)注的賽道，聚焦感知任務(wù)，吸引了全球17個國家和地區(qū)，90余支頂尖AI團隊參與挑戰(zhàn)。比賽提供了基于 nuScenes 數(shù)據(jù)集的大規(guī)模占用柵格數(shù)據(jù)與評測標準，要求參賽隊伍利用相機圖像信息對柵格化三維空間的占據(jù)情況(Occupancy)和運動(Flow)進行預測，以此來評估感知系統(tǒng)對高度動態(tài)及不規(guī)則駕駛場景的表示能力。

占據(jù)柵格 Occupancy：挑戰(zhàn)更精細的環(huán)境感知與預測

道路布局的復雜性、交通工具的多樣性以及行人流量的密集性，是當前城市道路交通的現(xiàn)狀，也是自動駕駛領(lǐng)域面臨的現(xiàn)實挑戰(zhàn)。為了應(yīng)對這一挑戰(zhàn)，有效的障礙物識別和避障策略，以及對三維環(huán)境的感知和理解就變得至關(guān)重要。傳統(tǒng)的三維物體檢測方法通常使用邊界框來表示物體的位置和大小，但對于幾何形狀復雜的物體，這種方法往往無法準確描述其形狀特征，同時也會忽略對背景元素的感知。因此，基于三維邊界框的傳統(tǒng)感知方法已經(jīng)無法滿足復雜道路環(huán)境下的精準感知和預測需求。

圖2 - 針對挖車中的力臂，3D目標檢測算法只能給出挖車整體的輪廓框(左)，但占據(jù)柵格網(wǎng)絡(luò)卻可以更精準地描述挖車具體的幾何形狀這類細節(jié)信息(右)

Occupancy Networks(占據(jù)柵格網(wǎng)絡(luò)) 作為一種全新的自動駕駛感知算法，通過獲取立體的柵格占據(jù)信息，使系統(tǒng)能夠在三維空間中確定物體的位置和形狀，進而有效識別和處理那些未被明確標注或形狀復雜的障礙物，如異形車、路上的石頭、散落的紙箱等。這種占據(jù)柵格網(wǎng)絡(luò)使得自動駕駛系統(tǒng)能夠更準確地理解周圍的環(huán)境，不僅能識別物體，還能區(qū)分靜態(tài)和動態(tài)物體。并以較高的分辨率和精度表示三維環(huán)境，對提升自動駕駛系統(tǒng)在復雜場景下的安全性、精度和可靠性至關(guān)重要。

全面提升!48.9%的絕佳性能表現(xiàn)，創(chuàng)本賽道最高成績

在占據(jù)柵格和運動估計(Occupancy & Flow)賽道中，該AI團隊所提交的"F-OCC"算法模型，憑借先進的模型結(jié)構(gòu)設(shè)計、數(shù)據(jù)處理能力和算子優(yōu)化能力，實現(xiàn)了該賽道最強模型性能，在RayIoU(基于投射光線的方式評估柵格的占用情況)及mAVE(平均速度誤差)兩個評測指標中均獲得最高成績。

■ 更簡潔高效的模型架構(gòu)，實現(xiàn)運算效率與檢測性能雙突破

首先，模型整體選擇基于前向投影的感知架構(gòu)，并采用高效且性能良好的FlashInternImage模型。同時，通過對整體流程進行超參調(diào)優(yōu)、算子加速等優(yōu)化，在占據(jù)柵格(Occupancy)和運動估計(Flow)均獲得最高分的同時，提升了模型的運算效率，加快了模型迭代與推理速度。在實際應(yīng)用場景中，這種改進使得模型能夠更快速、高效地處理大規(guī)模3D體素數(shù)據(jù)，使得自動駕駛車輛能更好地理解環(huán)境，進而提升決策的準確度和實時性。

圖3 - F-OCC算法模型架構(gòu)圖

■ 更強大完善的數(shù)據(jù)處理，全面提升模型檢測能力

在數(shù)據(jù)處理方面，比賽提供的體素(Voxel)標簽包含了大量在圖像中無法觀測到的點，例如被物體遮擋的體素和物體內(nèi)部不可見的體素，這些標簽在訓練過程中會對基于圖像數(shù)據(jù)的預測網(wǎng)絡(luò)訓練產(chǎn)生干擾。在訓練數(shù)據(jù)中，該AI團隊通過模擬LiDAR光束的方法，生成可視化掩碼，提升了模型的預測精度;另一方面，通過引入感知范圍邊緣的體素點參與訓練，有效解決出現(xiàn)在感知邊緣區(qū)域的誤檢問題，將模型的整體檢測性能提升11%。

■ 更精細的3D體素編碼，模型占據(jù)預測能力提升超5%

在3D體素特征編碼模塊中，該算法團隊將具有較大感知范圍和編碼能力的可形變卷積操作應(yīng)用于3D體素數(shù)據(jù)，以提升3D特征的表示能力。通過使用CUDA對可形變3D卷積(DCN3D)進行實現(xiàn)與優(yōu)化，大幅提升了模型的運算速度，并有效降低了顯存消耗。通過DCN3D替代傳統(tǒng)3D卷積，模型整體占據(jù)預測能力提升超5%。

基于OCC 3D空間感知算法的創(chuàng)新， "F-OCC"算法模型成功登頂占據(jù)柵格和運動估計任務(wù)(Occupancy & Flow)榜單，以48.9%的出色成績創(chuàng)造了本賽道的最高成績，為探索更高級別的自動駕駛技術(shù)提供了有力的支撐與經(jīng)驗。未來，浪潮信息AI團隊將踐行多角度切入，發(fā)揮算法、算力融合的AI全棧優(yōu)化能力，推動自動駕駛領(lǐng)域的技術(shù)創(chuàng)新發(fā)展。

* 備注：文內(nèi)所涉術(shù)語解釋如下

Occupancy：在自動駕駛領(lǐng)域，通常稱為“占據(jù)柵格”或“占用柵格”，其是一種3D語義占用感知方法，通過生成車輛周圍環(huán)境的三維占用網(wǎng)格，為自動駕駛車輛提供障礙物檢測、路徑規(guī)劃和車輛控制等關(guān)鍵功能;

RayIoU：是指通過光線投射的方式評估占據(jù)網(wǎng)格的占用情況(Ray-based Intersection over Union)，RayIoU可以用來衡量預測的占據(jù)網(wǎng)格與實際占據(jù)網(wǎng)格之間的重疊程度。RayIoU越高意味著預測準確度越高，模型性能越好;

mAVE: 是指平均速度誤差(Mean Absolute Velocity Error)，其用于評估預測速度與真實速度之間的平均誤差。mAVE值越低意味著預測結(jié)果與真值越接近;

體素(Voxel)：體積元素(Volume Pixel)的簡稱體積元素(Volume Pixel)的簡稱，其類似于二維圖像中的像素，是構(gòu)成三維圖像的基本單元。