如果您希望從數(shù)百萬小時的駕駛數(shù)據(jù)中查找特定的相關(guān)駕駛事件和未遂事故,以確保您的所需功能正確運(yùn)行,最好的方法就是創(chuàng)建一個系統(tǒng)性能的概覽分析,實(shí)現(xiàn)在數(shù)據(jù)日志中快速檢索關(guān)注點(diǎn)。為此,康謀在本文將為您詳細(xì)介紹IVEX的智能概覽功能,助力AD/ADAS的開發(fā)與驗證!
一、AD/ADAS性能概覽的重要性
為了開發(fā)、演進(jìn)、測試和驗證自動駕駛(AD)功能或自動駕駛輔助系統(tǒng)(ADAS),各大企業(yè)都在生成數(shù)千小時的包含仿真或真實(shí)世界的駕駛數(shù)據(jù)日志。那么,如何才能知道自身的AD/ADAS系統(tǒng)是否始終按要求運(yùn)行?是否朝著更好的表現(xiàn)發(fā)展?
對“脫離”AD/ADAS模式的情況進(jìn)行分析是一種常見的方法。這有助于了解系統(tǒng)失敗的“原因”,而后可對表現(xiàn)不佳的地方進(jìn)行分組,提供一個概覽以確定糾正這些失敗的優(yōu)先順序。然而,“脫離”分析僅涵蓋“已知”的不當(dāng)行為,對于邊緣/極端情況該如何處理?更重要的是,對于險些發(fā)生的事故如何處理?
例如,由于一個錯誤檢測或者說“幽靈檢測”,白色的自車認(rèn)為它將與車輛1發(fā)生碰撞,因此決定執(zhí)行變道操作,如圖1所示。幸運(yùn)的是,由于自車的左車道是空的,該操作是可行的,否則就可能會由于自車的急剎車而導(dǎo)致與車輛4發(fā)生追尾事故。
圖1 追尾未遂
這種更深入、更有成效的分析也與ISO 21448(SOTIF)所提出的過程相匹配,以識別在某些不利觸發(fā)條件下系統(tǒng)可能會表現(xiàn)出的局限性、弱點(diǎn)與干擾,而這些都可能導(dǎo)致事故或相關(guān)意外事件的發(fā)生。
如果能夠提供AD/ADAS系統(tǒng)性能的概覽,工程師就可以迅速在結(jié)構(gòu)化分析中定位所有相關(guān)的事件或條件,例如:
(1)數(shù)據(jù)日志中出現(xiàn)了哪些未遂事故?
(2)系統(tǒng)在哪一個操作域(OD)表現(xiàn)不佳,原因是什么?
(3)開發(fā)是否正朝著更好的表現(xiàn)方向發(fā)展?
(4)是否應(yīng)該修改功能需求,以便流暢且充分地與現(xiàn)實(shí)世界交互?
(5)功能是否滿足了指定的需求?
因此,為了開發(fā)和驗證AD/ADAS系統(tǒng),需要有效地識別、分析并了解所有可能的未遂事故、性能不足或觸發(fā)條件,這些都對AD/ADAS系統(tǒng)構(gòu)成了挑戰(zhàn)。然而,當(dāng)前高度依賴人工的技術(shù)手段如同“海底撈針”,在數(shù)百萬小時的駕駛數(shù)據(jù)中幾乎難以發(fā)現(xiàn)目標(biāo)。
二、康謀IVEX智能概覽?
為了整理駕駛數(shù)據(jù)并找到那些重要的“針”,康謀IVEX通過使用特定的安全和關(guān)鍵績效指標(biāo)(SPIs,KPIs),即根據(jù)采集/模擬駕駛數(shù)據(jù)匯總的“指標(biāo)(metrics)”,以創(chuàng)建系統(tǒng)性能的最佳概覽。
1、利用指標(biāo)整理駕駛數(shù)據(jù)
由于采集數(shù)據(jù)的非結(jié)構(gòu)化特性和不斷變化的動態(tài)交通環(huán)境,整理駕駛數(shù)據(jù)存在巨大挑戰(zhàn)。我們設(shè)定了3個主要指標(biāo)類型來整理數(shù)據(jù):傳感器與感知指標(biāo)、行為指標(biāo)、舒適度指標(biāo)。
第一層是傳感器與感知指標(biāo)。它們是自動駕駛汽車與環(huán)境的初始接觸點(diǎn),表示系統(tǒng)對周圍環(huán)境的感知程度,有助于在開發(fā)的早期階段突出性能不佳的情況,例如誤報對象檢測、車道線提取失敗等。
第二層指標(biāo)關(guān)注AD/ADAS系統(tǒng)采取的控制和行為動作。例如,對于自動緊急制動(AEB)系統(tǒng),需要檢查制動信號是否在正確的時間觸發(fā),進(jìn)而產(chǎn)生更好的減速。
第三層指標(biāo)是指乘客可能體驗到的舒適度。例如,為了驗證自動車道保持輔助系統(tǒng)(ALKS),可以測量車輛產(chǎn)生的任何會給乘客帶來不適的擺動行為。
根據(jù)待測的AD/ADAS功能確定了哪些指標(biāo)是感興趣的之后,就可以有效地開始整理數(shù)據(jù)。除了前面的例子,指標(biāo)還可以是跟蹤感知物體尺寸、檢查檢測到的車輛邊界框是否分裂或合并、監(jiān)測與其他交通元素的前后距離和橫向距離、預(yù)測潛在碰撞以及評估檢測到的車道標(biāo)識質(zhì)量。IVEX軟件也允許工程師通過簡單的編程API包含他們自己的定制指標(biāo)。
2、創(chuàng)建合理且可觀的概覽
當(dāng)使用選定的指標(biāo)整理好記錄的駕駛數(shù)據(jù)后,如何在所有的數(shù)據(jù)中找到所需的“針”?在IVEX中,我們創(chuàng)建了一個優(yōu)化的流程來高效處理所有駕駛數(shù)據(jù)日志。
我們匯總了所有的測量結(jié)果,提供了一個基于指標(biāo)的清晰組織。此外,由于當(dāng)前的L2+ ADAS系統(tǒng)受限于運(yùn)行設(shè)計域(ODD),例如ALKS僅適用于車速低于60公里/小時的高速公路場景。我們根據(jù)ODD對分析進(jìn)行切分,以便于簡化搜索空間。所有結(jié)果被匯總并呈現(xiàn)在一個簡潔、可定制的界面中,只需單擊三下即可“大海撈針”,詳細(xì)檢查特定的駕駛場景。
現(xiàn)在,我們可以觀察整理得到的數(shù)據(jù)結(jié)果,如下圖所示。這些結(jié)果是對所有數(shù)據(jù)日志的全面匯總,并以簡單但具有指導(dǎo)性的方式展示。每個指標(biāo)的結(jié)果顯示在每一行上,而ODD則顯示在列中。在每個單元格內(nèi)呈現(xiàn)的是相應(yīng)指標(biāo)與ODD組合的違規(guī)率。
圖2 聚合分析
舉個例子,假設(shè)我們正在分析城市環(huán)境中駕駛系統(tǒng)的舒適性:
在一次點(diǎn)擊中,我們選擇了“低速”O(jiān)DD(小于15公里/小時)下的“急剎車”指標(biāo)。
接下來,我們看到的是在所選擇的ODD內(nèi),所有分析的數(shù)據(jù)日志中施加的制動減速度分布情況。如果要求規(guī)定施加的制動減速度應(yīng)小于4米/秒2,那么可以立即看到有0.06%的情況未能滿足這一要求。通過第二次點(diǎn)擊,就可以選擇特定的制動范圍(分布中的列)來分析特定的事件/情景。
圖3 智能概覽訪問特定記錄數(shù)據(jù)流程示意圖
而后,工程師就可以直接訪問確切時間戳的特定記錄數(shù)據(jù),觀察完整情況并獲得有關(guān)問題的額外見解。
三、結(jié)論
本文案例中,IVEX可以從69小時的駕駛?cè)罩局袦?zhǔn)確篩選出會令乘客非常不舒適的特定急剎車事件(減速度超過4米/秒2),展示了一種非常簡單工作流程。除了能夠幫助工程師在幾秒鐘內(nèi)從大量數(shù)據(jù)中找到相關(guān)事件,IVEX還提供可用于根據(jù)SOTIF和UL4600進(jìn)行安全論證的報告。
簡而言之,IVEX可以助力于實(shí)現(xiàn):
1、整理海量數(shù)據(jù)日志并從中識別特定事件
2、識別需要添加為SOTIF分析一部分的觸發(fā)條件
3、跟蹤AD/ADAS系統(tǒng)在不同迭代中的演變,以展示系統(tǒng)改進(jìn)的論據(jù),并為UL4600文檔提供具體的支持。