自動(dòng)駕駛合成數(shù)據(jù)科普一：不做真實(shí)數(shù)據(jù)的“顛覆者”，做“杠桿”

作者?|?蘇清濤

前言：

在7月底的一篇文章中，九章智駕提到，數(shù)據(jù)閉環(huán)能力是自動(dòng)駕駛下半場(chǎng)的“入場(chǎng)券”，這一觀點(diǎn)在行業(yè)內(nèi)引起了廣泛共鳴。

在數(shù)據(jù)閉環(huán)體系中，仿真技術(shù)無(wú)疑是非常關(guān)鍵的一環(huán)。仿真的起點(diǎn)是數(shù)據(jù)，而數(shù)據(jù)又分為真實(shí)數(shù)據(jù)跟合成數(shù)據(jù)。隨著真實(shí)數(shù)據(jù)“規(guī)模小、質(zhì)量低、使用難度大”等問(wèn)題日漸暴露，合成數(shù)據(jù)越來(lái)越受重視。

顧名思義，合成數(shù)據(jù)（synthetic data）就是通過(guò)計(jì)算機(jī)技術(shù)生成的數(shù)據(jù)，而不是由真實(shí)事件產(chǎn)生的數(shù)據(jù)。但合成數(shù)據(jù)又具備“可用性”，能夠在數(shù)學(xué)上或統(tǒng)計(jì)學(xué)上反映原始數(shù)據(jù)的屬性，因此也可以用來(lái)訓(xùn)練、測(cè)試并驗(yàn)證模型——OpenAI 的 GPT-4，就采用了大量前一代模型 GPT-3.5 生產(chǎn)的數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練。

在2022年底，筆者曾寫過(guò)5篇關(guān)于自動(dòng)駕駛仿真的科普文，但這幾篇文章對(duì)合成數(shù)據(jù)的著墨不多。過(guò)去的兩個(gè)月里，筆者在學(xué)習(xí)合成數(shù)據(jù)的過(guò)程中，又遇到了不少疑問(wèn)，帶著這些疑問(wèn)，筆者請(qǐng)教了十多位業(yè)內(nèi)專家，然后形成“合成數(shù)據(jù)科普文”系列。

在本系列文章的撰寫過(guò)程中，筆者得到了光輪智能CEO謝晨、圖森首席科學(xué)家王乃巖、辰韜資本趙磊、復(fù)睿微電子張俊川、百度仿真專家徐志健、昆易電子方志剛、“車路慢慢”運(yùn)營(yíng)者李漫漫、PanoSim王文威等朋友的支持，在此表示感謝。

自動(dòng)駕駛合成數(shù)據(jù)科普一：不做真實(shí)數(shù)據(jù)的“顛覆者”，做“杠桿”

自動(dòng)駕駛的仿真，最早就是以合成數(shù)據(jù)為主。這里講的合成數(shù)據(jù)，主要是指由人工基于規(guī)則搭建的場(chǎng)景，這背后的技術(shù)，就是業(yè)內(nèi)常說(shuō)的WorldSim。通常，基于WorldSim搭建的場(chǎng)景，還需要用Unreal等游戲引擎來(lái)做圖像渲染。直到今天，WorldSim+游戲引擎仍然是自動(dòng)駕駛行業(yè)用得最多的合成技術(shù)之一。

看起來(lái)，基于WorldSim+游戲引擎的合成數(shù)據(jù)能在一定程度上彌補(bǔ)真實(shí)數(shù)據(jù)不足的問(wèn)題，然而，在實(shí)際使用中，這種合成數(shù)據(jù)存在一個(gè)很難克服的短板：真實(shí)度還不夠高。用更專業(yè)的術(shù)語(yǔ)來(lái)說(shuō)是“保真度”不夠高。

這一痛點(diǎn)，決定了基于WorldSim+游戲引擎的合成數(shù)據(jù)基本上只能用來(lái)做測(cè)試，很難用于做算法訓(xùn)練。

為了避開WorldSim+游戲引擎技術(shù)的這一短板，有一些公司試圖將真實(shí)道路數(shù)據(jù)“轉(zhuǎn)換成數(shù)學(xué)模型”。然而，這一設(shè)想實(shí)施起來(lái)困難重重。

但合成數(shù)據(jù)“可用性”的提升，并未因此而停止。

真正能幫合成數(shù)據(jù)提升可用性的，是更高的保真度和更強(qiáng)的泛化能力。GAN、VAE和Diffusion Model等模型在自動(dòng)駕駛仿真中的應(yīng)用，已經(jīng)證明了這一點(diǎn)；而當(dāng)下廣受追捧的NeRF技術(shù)，也需要保證泛化能力才有可能被廣泛應(yīng)用。

當(dāng)下大熱的AI大模型能，也將在自動(dòng)駕駛仿真中占有一席之地。事實(shí)上，AI大模型+NeRF的組合，被一些從業(yè)者視為幫合成數(shù)據(jù)攻克保真度和泛化能力這兩大難題的關(guān)鍵武器。

隨著合成數(shù)據(jù)面臨的主要難題被一一攻克，真實(shí)數(shù)據(jù)“規(guī)模小、質(zhì)量低、使用難度大”的問(wèn)題也不再那么令人擔(dān)憂。

通常，在談起合成數(shù)據(jù)時(shí)，人們本能地以為它的主要價(jià)值是彌補(bǔ)真實(shí)數(shù)據(jù)“數(shù)量不足”的問(wèn)題。但這可能是一個(gè)嚴(yán)重的誤解。

在筆者看來(lái)，真實(shí)數(shù)據(jù)的最主要問(wèn)題并不是“太少”，而是“質(zhì)量低，使用難度大”。所以，哪怕真實(shí)數(shù)據(jù)的規(guī)模很大，合成數(shù)據(jù)仍然是必不可少的。不信的話，看看“最不缺”真實(shí)數(shù)據(jù)的特斯拉是怎么做的吧——特斯拉也在使用合成數(shù)據(jù)！

在國(guó)內(nèi)，各家已有自動(dòng)駕駛量產(chǎn)車型上路的主機(jī)廠也不缺真實(shí)數(shù)據(jù)，但這些數(shù)據(jù)的利用率究竟“高達(dá)”20%、10%還是1%，其實(shí)是存在很大的疑問(wèn)的。

不過(guò)，真實(shí)數(shù)據(jù)質(zhì)量低、使用難度大給主機(jī)廠帶來(lái)的困擾，恰合也就是合成數(shù)據(jù)的用武之地。

有意思的是，不同于L4公司普遍用合成數(shù)據(jù)來(lái)“彌補(bǔ)”真實(shí)數(shù)據(jù)的不足，一些以提供合成數(shù)據(jù)服務(wù)為主業(yè)的公司更傾向于將合成數(shù)據(jù)定位為真實(shí)數(shù)據(jù)的“杠桿”。在后者看來(lái)，合成數(shù)據(jù)的使命和愿景并不是要去頂替真實(shí)數(shù)據(jù)，而是要做真實(shí)數(shù)據(jù)的“放大器”，幫助主機(jī)廠或自動(dòng)駕駛公司提高真實(shí)數(shù)據(jù)的使用效率。

下面，我們將以1.1萬(wàn)字的篇幅來(lái)盤點(diǎn)一下“合成數(shù)據(jù)究竟能解決真實(shí)數(shù)據(jù)的哪些痛點(diǎn)”。

一、兼顧隱私保護(hù)與數(shù)據(jù)的可用性

在真實(shí)場(chǎng)景中，自動(dòng)駕駛車輛的傳感器采集到的信息經(jīng)常包括車牌、人臉，但出于隱私保護(hù)的需求，這些數(shù)據(jù)通常大都無(wú)法直接使用，而是得先做脫敏或加密才行。但脫敏不僅意味著一筆額外的成本，而且，如果脫敏處理不好，數(shù)據(jù)的價(jià)值也會(huì)大打折扣，甚至根本無(wú)法使用。

但如果是根據(jù)實(shí)際需求搭建一些不包含隱私信息的數(shù)據(jù)，就可在兼顧隱私保護(hù)的前提下確保數(shù)據(jù)的可用性。

在美國(guó)和歐洲，合成數(shù)據(jù)已經(jīng)是一個(gè)很大的產(chǎn)業(yè)了，但在中國(guó)，合成數(shù)據(jù)還處于萌芽階段，其中有一個(gè)重要的原因是：

美歐國(guó)家在文化和法律層面都會(huì)對(duì)隱私保護(hù)比較講究，因此，企業(yè)不得不通過(guò)采用合成數(shù)據(jù)來(lái)避免高度依賴真實(shí)數(shù)據(jù)所帶來(lái)的風(fēng)險(xiǎn)；而在中國(guó)，長(zhǎng)期以來(lái)，無(wú)論在文化層面還是法律層面，隱私都沒有受到足夠的重視，所以，企業(yè)可以“肆無(wú)忌憚”地使用真實(shí)數(shù)據(jù)，這也導(dǎo)致了中國(guó)缺乏合成數(shù)據(jù)發(fā)展的土壤。

但情況正在發(fā)生變化。一方面，在中國(guó)，普通個(gè)體關(guān)于隱私保護(hù)的權(quán)利意識(shí)在覺醒；另一方面，法律層面也不允許企業(yè)肆意濫用各種隱私數(shù)據(jù)了。

單從隱私保護(hù)的角度考慮，國(guó)內(nèi)公司也將越來(lái)越多地降低對(duì)真實(shí)數(shù)據(jù)的依賴程度。

二、避開高精地圖的資質(zhì)障礙

除了圖商等極少數(shù)有資質(zhì)的公司，大多數(shù)公司都無(wú)法通過(guò)路采獲取真實(shí)數(shù)據(jù)的方式來(lái)繪制高精地圖，為了避開這一問(wèn)題，很多公司推出了“去高精地圖”方案，但這一方案對(duì)公司的前融合算法能力、規(guī)控算法能力都提出了新的挑戰(zhàn)，實(shí)際上，真正能落地的公司并不多。

但如果能用合成數(shù)據(jù)來(lái)制作高精地圖，那問(wèn)題就簡(jiǎn)單得多了。

在中國(guó)，我們尚未看到有公司采用合成數(shù)據(jù)來(lái)制作高精地圖，但在美國(guó)，已經(jīng)有了類似的先例了。

2021年11月，在一場(chǎng)題為 Under the Hood的活動(dòng)上，Cruise仿真技術(shù)戰(zhàn)略主管 Sid Gandhi 披露，在向新的城市拓展時(shí)，他們不必重新繪制城市地圖來(lái)跟蹤車道變更或街道封閉等“不可避免發(fā)生的環(huán)境變化”，而是利用一項(xiàng)名為 WorldGen 的技術(shù)，準(zhǔn)確、大規(guī)模地生成整個(gè)城市，“從奇特的布局到最小的細(xì)節(jié)”。

為了確保最佳的世界創(chuàng)建，Cruise 考慮了一天 24 小時(shí)不同時(shí)間段的照明和天氣條件等因素，甚至系統(tǒng)地測(cè)量了舊金山一系列路燈的光線。

對(duì)于無(wú)法在現(xiàn)實(shí)路況下收集的特定場(chǎng)景，Cruise則使用 Morpheus。Morpheus 是一個(gè)可以根據(jù)地圖上的特定位置生成合成數(shù)據(jù)的系統(tǒng)。

據(jù)曾擔(dān)任過(guò)Cruise仿真負(fù)責(zé)人的光輪智能CEO謝晨說(shuō)：

Crusie的 WorldGen和Morpheus并不是用合成數(shù)據(jù)來(lái)做高精地圖，而是對(duì)真實(shí)世界做3D重建。但無(wú)論如何，將車道變更或街道封閉及“從奇特的布局到最小的細(xì)節(jié)”都納入3D重建中，重建后的信息元素已經(jīng)很接近高精地圖了。

在美國(guó)，自動(dòng)駕駛公司采集真實(shí)道路數(shù)據(jù)并不會(huì)受到如在中國(guó)這般嚴(yán)格的限制，但Crusie仍然采用了合成數(shù)據(jù)，這給那些被高精地圖政策束縛了手腳的中國(guó)公司提供了一種新思路。

此外，今后受數(shù)據(jù)合規(guī)相關(guān)法規(guī)政策影響的，就不限于高精地圖數(shù)據(jù)了，還有用于感知算法訓(xùn)練的數(shù)據(jù)回傳。

（這一點(diǎn)，九章在6月30日發(fā)的《“去高精地圖”跟“輕高精地圖”有啥區(qū)別？落地的挑戰(zhàn)又是啥？》一文的第七章“感知算法訓(xùn)練或?qū)⑹艿綌?shù)據(jù)合格政策的影響”部分已做過(guò)詳細(xì)的分析，并在此后也從其他平臺(tái)發(fā)布的類似內(nèi)容中得到進(jìn)一步印證，在此不再贅述。）

可以想見，接下來(lái)，用真實(shí)道路數(shù)據(jù)做算法訓(xùn)練的難度是越來(lái)越大了——不是沒法做，關(guān)鍵是對(duì)車端脫敏的要求太高了，甚至可能還需要跟有測(cè)繪資質(zhì)的圖商合作。

受這一政策沖擊較少的公司，應(yīng)該就是那些率先開始擁抱合成數(shù)據(jù)的公司。

三、高效生成在真實(shí)場(chǎng)景中很難獲取的Corner Case

大家都清楚，自動(dòng)駕駛系統(tǒng)很難徹底取代人，最關(guān)鍵的原因是對(duì)各種corner case的應(yīng)對(duì)能力不足，而應(yīng)對(duì)能力的不足又源于數(shù)據(jù)量不夠。這正是合成數(shù)據(jù)大有可為的地方。

大量的corner case，在真正發(fā)生前，沒有人能想得到——預(yù)期功能安全第三象限里面的“unknown,unsafe”一類，所以無(wú)法在真實(shí)道路上做模擬。這類corner case，沒法通過(guò)基于人工規(guī)則的合成數(shù)據(jù)（WorldSim）來(lái)生成，也沒法通過(guò)對(duì)真實(shí)世界做3D重建的技術(shù)（NeRF）來(lái)生成，但有望通過(guò)基于AIGC的合成數(shù)據(jù)來(lái)獲取。

有的corner case，盡管人能想象得到“大概會(huì)怎樣”，但畢竟太危險(xiǎn)（known,unsafe），所以，也不適合在真實(shí)道路上做模擬。這種corner case，沒法通過(guò)NeRF技術(shù)來(lái)生成，但可以通過(guò)WorldSim來(lái)生成。當(dāng)然，也有望通過(guò)AIGC來(lái)生成。

有的corner case，算不上有多么unsafe，但在真實(shí)世界中確實(shí)很罕見。如雨、霧、雪和極端光線等極端天氣跟某種極端交通流的組合。這些，也需要通過(guò)合成數(shù)據(jù)技術(shù)（同上，不包括NeRF）來(lái)生成。

（為何這一章會(huì)在多處提到了有許多corner case無(wú)法通過(guò)當(dāng)下大熱的NeRF技術(shù)來(lái)生成？這個(gè)問(wèn)題的答案，我們將在本系列的第二篇文章中做詳細(xì)的闡釋。）

有許多corner case，真實(shí)數(shù)據(jù)中其實(shí)有的，但無(wú)奈真數(shù)據(jù)中corner case的密度太低，挖掘成本太高，這個(gè)時(shí)候，工程師們?nèi)绻麤]有足夠的耐心或“實(shí)在等不及”，則直接選擇合成數(shù)據(jù)便是最佳策略。

有了合成數(shù)據(jù)，主機(jī)廠或自動(dòng)駕駛公司便可在幾小時(shí)內(nèi)模擬數(shù)百萬(wàn)個(gè)行人（現(xiàn)實(shí)中，這通常需要幾個(gè)月才能完成）。這些模擬可能涵蓋不同照明條件、目標(biāo)位置和惡劣環(huán)境下（暴雨、極寒、濃霧等）的示例?；蛘?，可以插入隨機(jī)噪聲來(lái)模擬臟污的攝像頭、霧水和其他視覺障礙物。

此外，真實(shí)數(shù)據(jù)由于高度受制于采集場(chǎng)景的限制，所以，corner case在樣本的分布上也很難有效滿足算法的需求。而合成數(shù)據(jù)，可以有針對(duì)性地生成分布狀況更滿足訓(xùn)練需求的corner case，這更有助于提升算法的性能。

四、“非必要，不采集”，降低數(shù)據(jù)采集、回傳及存儲(chǔ)環(huán)節(jié)的成本

許多主機(jī)廠都聲稱已經(jīng)量產(chǎn)上路的自動(dòng)駕駛車型每天都在回傳數(shù)據(jù)，但這個(gè)所謂的“數(shù)據(jù)回傳”究竟實(shí)現(xiàn)到什么程度、所謂的“影子模式”是否真的落地了，一直是個(gè)玄學(xué)。

之前只有為數(shù)不多的測(cè)試車的時(shí)候，數(shù)據(jù)的問(wèn)題相對(duì)好辦，畢竟，“回傳”可以通過(guò)硬盤來(lái)解決，篩選可以在云端做，然而，在量產(chǎn)車上，通過(guò)硬盤來(lái)解決數(shù)據(jù)“回傳”的道路走不通了，篩選出有效數(shù)據(jù)這個(gè)工作就要在車端完成。

在3月份的《自動(dòng)駕駛數(shù)據(jù)閉環(huán)系列之一：理想豐滿，現(xiàn)實(shí)骨感》一文中，我們提到，在量產(chǎn)車上采集數(shù)據(jù)會(huì)占用一些系統(tǒng)資源，比如計(jì)算、存儲(chǔ)等。

理論上，可以假設(shè)計(jì)算資源、網(wǎng)絡(luò)帶寬等都不受限制，但在實(shí)際落地過(guò)程中，如何保證采集數(shù)據(jù)不影響量產(chǎn)車上自動(dòng)駕駛系統(tǒng)的正常運(yùn)行，例如，如何不影響自動(dòng)駕駛系統(tǒng)的延遲等，這是一個(gè)需要解決的問(wèn)題。

因此，在設(shè)計(jì)的時(shí)候，就需要考慮到采集數(shù)據(jù)等對(duì)自動(dòng)駕駛系統(tǒng)運(yùn)行的影響。

此外，在數(shù)據(jù)量特別大的時(shí)候，數(shù)據(jù)回傳的成本也會(huì)非常高。

單車每日回傳的數(shù)據(jù)量大概為百兆級(jí)。在研發(fā)階段，車輛總數(shù)可能只有幾十輛或者幾百輛，但是到了量產(chǎn)階段，車輛數(shù)目的量級(jí)可以達(dá)到上萬(wàn)、幾十萬(wàn)甚至更多。那么，量產(chǎn)階段，整個(gè)車隊(duì)日產(chǎn)生的數(shù)據(jù)量就是很大的數(shù)字。據(jù)某數(shù)據(jù)管理供應(yīng)商提供的信息，某造車新勢(shì)力每個(gè)月僅用來(lái)做數(shù)據(jù)回傳的流量費(fèi)就高達(dá)“大幾千萬(wàn)”。

另一方面，急劇增加的數(shù)據(jù)量還給存儲(chǔ)空間以及數(shù)據(jù)處理的速度都帶來(lái)了挑戰(zhàn)。

量產(chǎn)之后，數(shù)據(jù)處理的延遲需要和研發(fā)階段保持在同一個(gè)量級(jí)。但如果底層的基礎(chǔ)設(shè)施跟不上，數(shù)據(jù)處理的延遲就會(huì)隨著數(shù)據(jù)量的增長(zhǎng)而相應(yīng)地增加，這樣會(huì)極大地拖慢研發(fā)流程的進(jìn)度。對(duì)于系統(tǒng)迭代來(lái)講，這種效率的降低是不可接受的。

一位業(yè)界專家告訴九章智駕：

目前，我們還沒有看到哪家公司具備處理量產(chǎn)車上回傳的大規(guī)模數(shù)據(jù)的能力。即使是某家在數(shù)據(jù)閉環(huán)層面做得比較前沿的造車新勢(shì)力，即便是每輛量產(chǎn)車每天只回傳5分鐘的數(shù)據(jù)，他們也難以應(yīng)對(duì)這樣的數(shù)據(jù)量，因?yàn)楫?dāng)前的存儲(chǔ)設(shè)備、文件讀取系統(tǒng)、計(jì)算工具等都還無(wú)法應(yīng)對(duì)極大的數(shù)據(jù)量。

要應(yīng)對(duì)越來(lái)越大的數(shù)據(jù)量，底層的基礎(chǔ)設(shè)施以及平臺(tái)的設(shè)計(jì)都需要相應(yīng)升級(jí)。

工程團(tuán)隊(duì)需要開發(fā)完善的數(shù)據(jù)訪存SDK。由于視覺數(shù)據(jù)、雷達(dá)數(shù)據(jù)的文件尺寸都非常大，數(shù)據(jù)的訪問(wèn)、查詢、跳轉(zhuǎn)、解碼過(guò)程都需要效率足夠高，否則會(huì)大大拖慢研發(fā)進(jìn)度。

如果能做到盡可能多地使用合成數(shù)據(jù)來(lái)模擬一些場(chǎng)景，只有在合成數(shù)據(jù)無(wú)法滿足要求的時(shí)候再回傳真實(shí)數(shù)據(jù)，即“非必要，不采集、不回傳”，那跟數(shù)據(jù)采集、回傳和存儲(chǔ)相關(guān)的成本就會(huì)大幅度下降。

五、自帶完美標(biāo)簽，不用再做標(biāo)注

車端數(shù)據(jù)在回傳到云端后，需要先做好標(biāo)注后才能使用。據(jù)稱，在大模型用于數(shù)據(jù)標(biāo)注后，已經(jīng)有高達(dá)80%的數(shù)據(jù)標(biāo)注可以通過(guò)自動(dòng)化的方式來(lái)完成，但還有至少20%涉及復(fù)雜場(chǎng)景、多目標(biāo)、語(yǔ)義復(fù)雜的數(shù)據(jù)需要由人工來(lái)完成“精標(biāo)”。

當(dāng)下大熱的BEV+Transformenr技術(shù)，對(duì)數(shù)據(jù)標(biāo)注的需求進(jìn)一步上升。

以往，需要標(biāo)注的主要是前視攝像頭的數(shù)據(jù)，2D 標(biāo)注框+ 3D 位置就已經(jīng)是標(biāo)注的全部?jī)?nèi)容了；而今，在BEV+Transformer方案下， 所有相關(guān)的攝像頭（可能超過(guò)7個(gè)）能看到的所有障礙物、車道線、車輛的運(yùn)動(dòng)狀態(tài)都需要對(duì)應(yīng)的標(biāo)注， 并且還要統(tǒng)一在同一坐標(biāo)系下，還有大量的語(yǔ)義信息也需要標(biāo)注，而標(biāo)注成本，也從之前的每幀10元左右上漲到每幀30-40元，甚至更高。

人工標(biāo)注的工作量遠(yuǎn)超外人想象。據(jù)毫末智行數(shù)據(jù)智能科學(xué)家賀翔在6月底的一場(chǎng)自動(dòng)駕駛公開課上的說(shuō)法，一張關(guān)于十字路口的照片，要把位置、天氣、擁擠狀況、其道路使用者、廣告牌等各種元素都標(biāo)注出來(lái)，并能在此基礎(chǔ)上做場(chǎng)景篩選，可能100個(gè)標(biāo)簽也不夠用。

假如車上有8-12個(gè)攝像頭、1-2個(gè)激光雷達(dá)，10秒鐘的視頻里面可能有上千張圖片，標(biāo)注成本得幾千元。

一般的檢測(cè)框，一分鐘的內(nèi)容，標(biāo)注需要一小時(shí)左右；點(diǎn)云分割，一分鐘的內(nèi)容，標(biāo)注需要幾個(gè)小時(shí)；但對(duì)更復(fù)雜的任務(wù)做4D標(biāo)注，可能一分鐘的任務(wù)需要花超過(guò)一天時(shí)間才能完成。

后面要做端到端的算法訓(xùn)練，在給這一幀的內(nèi)容打標(biāo)簽時(shí)，還得考慮該標(biāo)簽如何跟其他幀的內(nèi)容做關(guān)聯(lián)。

總的趨勢(shì)是，自動(dòng)駕駛行業(yè)對(duì)標(biāo)注的要求越來(lái)越高了，這意味著，投入到一分鐘視頻上的標(biāo)注成本越來(lái)越高了。

在7月底的一場(chǎng)沙龍上，某自動(dòng)駕駛公司COO稱，在數(shù)據(jù)處理的高峰期，他們?cè)瑫r(shí)跟超過(guò)100家標(biāo)注公司合作，不僅直接成本很高，而且，供應(yīng)商管理的復(fù)雜度也極高。

做人工標(biāo)注，如何在數(shù)據(jù)量極大的情況下，保證標(biāo)注結(jié)果的準(zhǔn)確率、一致性也是一大挑戰(zhàn)。想象一下，標(biāo)注工人連續(xù)幾天坐在辦公桌前做同樣的工作時(shí)間，幾乎就像在工廠的傳送帶上工作一樣， 在這種情形下，ta一定會(huì)時(shí)不時(shí)地犯一些奇怪的錯(cuò)誤。

如果標(biāo)注的結(jié)果不準(zhǔn)確、不完整，那基于這些數(shù)據(jù)訓(xùn)練出來(lái)的模型的性能就會(huì)受到影響。

但合成數(shù)據(jù)自帶圖像和激光雷達(dá)的“真值”標(biāo)簽，包括 2D 和 3D 邊界框、語(yǔ)義和實(shí)例分割、深度、光流、運(yùn)動(dòng)矢量、關(guān)鍵點(diǎn)等。并且，對(duì)被遮擋行人/物體這種很難做人工標(biāo)注的場(chǎng)景，合成數(shù)據(jù)也可以自帶完美標(biāo)簽。

在成本方面，與需要標(biāo)注的真實(shí)數(shù)據(jù)相比，自帶標(biāo)簽的合成數(shù)據(jù)也具有明顯優(yōu)勢(shì)。

合成數(shù)據(jù)服務(wù)商AI.Reverie 認(rèn)為，人工標(biāo)注一張圖片可能需要6美元（這還不算數(shù)據(jù)回傳、篩選及存儲(chǔ)的成本），但通過(guò)合成數(shù)據(jù)技術(shù)生成同樣一張自帶標(biāo)簽的圖片只需要6美分。

誠(chéng)然，合成數(shù)據(jù)無(wú)法完全取代真實(shí)數(shù)據(jù)，但合成數(shù)據(jù)使用率的上升，對(duì)真實(shí)數(shù)據(jù)的依賴度下降，就可以減少因?yàn)檎鎸?shí)數(shù)據(jù)“不好用”而產(chǎn)生的不必要的成本。

全球數(shù)據(jù)標(biāo)注龍頭公司Scale AI已敏銳地意識(shí)到了這一趨勢(shì)。

過(guò)去幾年，算法訓(xùn)練對(duì)數(shù)據(jù)標(biāo)注的饑渴需求，造成了一個(gè)很有意思的現(xiàn)象是：自動(dòng)駕駛公司和主機(jī)廠的自動(dòng)駕駛業(yè)務(wù)都沒掙到錢，但做數(shù)據(jù)標(biāo)注的公司卻掙到錢了。全球數(shù)據(jù)標(biāo)注龍頭Scale AI甚至因此而估值超過(guò)73億美元。

不過(guò)，Scale AI也已經(jīng)意識(shí)到，隨著合成數(shù)據(jù)的應(yīng)用逐漸深入，數(shù)據(jù)標(biāo)注業(yè)務(wù)的營(yíng)收會(huì)受到不小的沖擊。因此，在2022上半年，該公司推出了一個(gè)名為Scale Synthetic的合成數(shù)據(jù)平臺(tái)，宣布進(jìn)入合成數(shù)據(jù)產(chǎn)業(yè)。他們甚至稱，合成數(shù)據(jù)是自己在2022年的“首要任務(wù)”。

數(shù)據(jù)標(biāo)注龍頭進(jìn)軍合成數(shù)據(jù)，邏輯是“在別人能干掉我之前，我先掌握他們的技能，大不了自己干掉自己”，這算是一場(chǎng)自我革命了。

作為被合成數(shù)據(jù)“革命”的對(duì)象，數(shù)據(jù)標(biāo)注公司積極擁抱合成數(shù)據(jù)，這又從反面進(jìn)一步印證了自帶標(biāo)簽的合成數(shù)據(jù)相比于真實(shí)數(shù)據(jù)的優(yōu)勢(shì)。

六、可編程，可交互

看起來(lái)，各家公司手上都積累了不少真實(shí)數(shù)據(jù)，但真實(shí)數(shù)據(jù)用來(lái)做仿真，有個(gè)很嚴(yán)重的痛點(diǎn)是：復(fù)用性差。

比如，在做路采的時(shí)候，車輛的芯片平臺(tái)、傳感器架構(gòu)及制動(dòng)系統(tǒng)是怎樣的，那我在仿真系統(tǒng)里做測(cè)試時(shí)，車輛的這些硬件配置也必須跟路采時(shí)所用的車輛配置一致。

某工具鏈公司的仿真負(fù)責(zé)人說(shuō):

在用真實(shí)道路數(shù)據(jù)做仿真的情況下，一旦傳感器的位置或者型號(hào)有變更，這一組數(shù)據(jù)的價(jià)值就降低，甚至?xí)鲝U’。

究其原因，真實(shí)數(shù)據(jù)在使用時(shí)無(wú)法調(diào)整任何參數(shù)，而只能做簡(jiǎn)單的“回放”——也被稱為“回灌”（LogSim）。

復(fù)睿微電子仿真負(fù)責(zé)人張峻川在一次公開分享中提到，WorldSim（用合成數(shù)據(jù)做仿真）像在玩游戲，而LogSim（用真實(shí)道路數(shù)據(jù)做仿真）則更像是電影，你只能看，沒法參與，沒法生成與原始記錄不同的傳感器數(shù)據(jù)，因此，LogSim天然沒法解決交互性的問(wèn)題。

可以想見，沒法解決交互問(wèn)題的LogSim，只能用于測(cè)試驗(yàn)證一個(gè)現(xiàn)成的算法“是不是OK”，卻不能用于從頭來(lái)訓(xùn)練一個(gè)算法。

確有一些公司曾嘗試把采集到的場(chǎng)景里面的元素都完成參數(shù)化，但目前還沒有成熟的案例落地。

但合成數(shù)據(jù)天然具有可編程性，很多參數(shù)都是可以調(diào)整的，因此，數(shù)據(jù)復(fù)用的難度將大幅度降低。

（合成數(shù)據(jù)的可編程性或泛化能力、可復(fù)用性，因AI的參與度而有所不同，總的來(lái)說(shuō)，AI的參與度越高，合成數(shù)據(jù)的泛化能力越強(qiáng)，這一點(diǎn)，我們將在本系列的第二篇文章中做更詳細(xì)的分析，在此暫不贅述。）

豐田及其投資的合成數(shù)據(jù)公司Parallel Domain都將合成數(shù)據(jù)稱為 Programmable Data即“可編程數(shù)據(jù)”。Parallel Domain在其官網(wǎng)上稱：“我們可以對(duì)我們希望在訓(xùn)練數(shù)據(jù)中獲得的任何輸出進(jìn)行編程......通過(guò)組合參數(shù)掃描，為每輛車生成數(shù)據(jù)，乘以每種照明條件、每種天氣條件，每種油漆顏色?！?/p>

英偉達(dá)在對(duì)外介紹合成數(shù)據(jù)時(shí)經(jīng)常提到一個(gè)詞“域隨機(jī)化”（Domain Randomization），即通過(guò)在合成數(shù)據(jù)的生成過(guò)程中引入各種隨機(jī)性和變化，使得生成的數(shù)據(jù)能夠覆蓋更廣泛的場(chǎng)景。

英偉達(dá)說(shuō)的“域隨機(jī)化”，包括改變某個(gè)特定對(duì)象的顏色、光照、紋理、材質(zhì)、變換等多種屬性，也包括添加和修改傳感器的位置和參數(shù)，以及定義其他道路使用者的運(yùn)動(dòng)狀態(tài)。此外，改變一天的時(shí)間、太遠(yuǎn)的位置、溫度、道路的濕度，也是“域隨機(jī)化”的一部分。

在理想的情況下，用轎車去采集的數(shù)據(jù)，如果把視角調(diào)整成卡車視角，那這一組數(shù)據(jù)就可以用于訓(xùn)練卡車的感知算法。

專注于人類數(shù)據(jù)的Synthesis AI甚至能夠以編程方式自定義人的面部數(shù)據(jù)集。為滿足DMS方向客戶的需求，Synthesis 生成了大約 100,000 個(gè)涵蓋不同性別、年齡、體重指數(shù)、膚色和種族的“合成人”。

通過(guò)該平臺(tái)，數(shù)據(jù)科學(xué)家可以定制化身的姿勢(shì)以及頭發(fā)、面部表情、注釋方向、發(fā)型、服裝（例如面具和眼鏡）以及環(huán)境方面（例如照明，甚至虛擬相機(jī)的“鏡頭類型”）。

對(duì)合成數(shù)據(jù)做編程的最大意義是，可以讓corner cace都可以泛化出數(shù)千個(gè)“變體”，由此，訓(xùn)練出來(lái)的模型會(huì)具有很強(qiáng)的魯棒性和泛化能力，從而更容易適應(yīng)真實(shí)世界中的各種變化和不確定性。

此外，合成數(shù)據(jù)生成過(guò)程的參數(shù)化，使機(jī)器學(xué)習(xí)工程師能夠更好地控制每次迭代，并讓數(shù)據(jù)集中已存在內(nèi)容的更有可追溯性。

七、 通過(guò)隨機(jī)化及調(diào)整場(chǎng)景分布來(lái)解決“過(guò)擬合”的問(wèn)題

在學(xué)習(xí)合成數(shù)據(jù)的過(guò)程中，筆者注意到，不少開發(fā)者都反映，基于真實(shí)數(shù)據(jù)訓(xùn)練出的模型，很容易出現(xiàn)“過(guò)擬合”（Overfitting）的問(wèn)題。

所謂過(guò)擬合，指模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，但在新的、未見過(guò)的數(shù)據(jù)上表現(xiàn)較差的情況。當(dāng)模型過(guò)度擬合時(shí)，它學(xué)習(xí)到了訓(xùn)練數(shù)據(jù)中的細(xì)節(jié)和噪聲，而無(wú)法泛化到新的數(shù)據(jù)上。

那么，真實(shí)數(shù)據(jù)是不是要比合成數(shù)據(jù)更有可能引發(fā)模型的“過(guò)擬合”問(wèn)題？

光輪智能CEO謝晨認(rèn)為：

嚴(yán)格地說(shuō)，“過(guò)擬合”跟訓(xùn)練數(shù)據(jù)是真實(shí)數(shù)據(jù)還是合成數(shù)據(jù)并沒有必然關(guān)系，真正導(dǎo)致“過(guò)擬合”的，是訓(xùn)練數(shù)據(jù)集中的場(chǎng)景分布跟真實(shí)世界不一致，導(dǎo)致數(shù)據(jù)集可能無(wú)法捕捉到真實(shí)世界的復(fù)雜性和多樣性——而不管這個(gè)“數(shù)據(jù)集”究竟是真實(shí)數(shù)據(jù)集還是合成數(shù)據(jù)集。

謝晨舉例說(shuō)：

比如，很多自動(dòng)駕駛系統(tǒng)在晚上或者雨天表現(xiàn)不太好，這是因?yàn)樗麄儺?dāng)初做訓(xùn)練數(shù)據(jù)采集的時(shí)候，采的大部分都是白天和晴天的數(shù)據(jù)。

英偉達(dá)仿真產(chǎn)品經(jīng)理Matt Cragun也做過(guò)類似的解釋：

如果大部分真實(shí)數(shù)據(jù)都是在白天條件下收集的，那么在該數(shù)據(jù)集上訓(xùn)練的算法在夜間或弱光條件下可能表現(xiàn)不佳。

再比如，仿真公司Applied Intuition發(fā)現(xiàn)，某個(gè)感知模型很難準(zhǔn)確地檢測(cè)到騎自行車的人和起摩托車的人，原因在于，在用于訓(xùn)練這個(gè)模型的真實(shí)數(shù)據(jù)集中，騎行者出現(xiàn)的頻率遠(yuǎn)低于車輛和步行者——前者出現(xiàn)的頻率不到后者的1/170。

那么，該如何避免“過(guò)擬合”的問(wèn)題呢？筆者從ChatGPT 3.5上得到的對(duì)策有8條，如下圖所示：

其中，跟訓(xùn)練數(shù)據(jù)相關(guān)的對(duì)策是如下兩條：

1.?通過(guò)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行擴(kuò)充，如隨機(jī)旋轉(zhuǎn)、平移、縮放、翻轉(zhuǎn)、添加噪聲等操作，增加訓(xùn)練樣本的多樣性；

2.對(duì)輸入數(shù)據(jù)進(jìn)行規(guī)范化或標(biāo)準(zhǔn)化，使其具有相似的尺度和分布，可以幫助模型更好地學(xué)習(xí)和泛化。

鑒于真實(shí)數(shù)據(jù)是“死的”，無(wú)法編程，因此，要對(duì)真實(shí)數(shù)據(jù)做如上操作，基本上是不太可能的。所以，更容易用來(lái)解決“過(guò)擬合”問(wèn)題的訓(xùn)練數(shù)據(jù)，基本只能是合成數(shù)據(jù)了。

英偉達(dá)主要通過(guò)合成數(shù)據(jù)的域隨機(jī)化來(lái)克服“過(guò)擬合”問(wèn)題。所謂域隨機(jī)化，即在合成數(shù)據(jù)的生成過(guò)程中引入各種隨機(jī)性和變化（這也是對(duì)合成數(shù)據(jù)做泛化的一種特殊形式），使得生成的數(shù)據(jù)能夠覆蓋更廣泛的場(chǎng)景。

比如，英偉達(dá)曾在測(cè)試中發(fā)現(xiàn)，某個(gè)基于合成數(shù)據(jù)訓(xùn)練出來(lái)的模型未能在大多數(shù)真實(shí)圖像上充分檢測(cè)到門，因?yàn)樗谀M中過(guò)度擬合了門的紋理。為了防止門的紋理過(guò)度擬合，英偉達(dá)仿真團(tuán)隊(duì)在 30 種不同的類木紋理中對(duì)門的紋理應(yīng)用了隨機(jī)化。

與此類似的是，為了使模型對(duì)墻壁上的 QR 碼等噪聲具有魯棒性，英偉達(dá)仿真團(tuán)隊(duì)還應(yīng)用了 DR overtexture，將墻壁的紋理隨機(jī)化為不同的紋理，包括 QR 碼和其他合成紋理。

再比如，英偉達(dá)還發(fā)現(xiàn)，某個(gè)基于合成數(shù)據(jù)訓(xùn)練的模型在低溫照明條件下有很多誤報(bào)，其原因在于，仿真環(huán)境中的照明保持穩(wěn)定和恒定，而在現(xiàn)實(shí)中，照明條件多種多樣。為避免同類問(wèn)題再次發(fā)生，英偉達(dá)仿真團(tuán)隊(duì)在合成數(shù)據(jù)中的天花板燈上添加了光溫 域隨機(jī)化，以隨機(jī)化燈光的移動(dòng)、強(qiáng)度和顏色。

曾擔(dān)任過(guò)英偉達(dá)自動(dòng)駕駛仿真主管的謝晨也認(rèn)同英偉達(dá)在解決“過(guò)擬合”問(wèn)題上采取的思路。

謝晨補(bǔ)充說(shuō)：

光輪智能在生產(chǎn)合成數(shù)據(jù)的過(guò)程中，堅(jiān)持的一個(gè)原則是“守正出奇”，即在客戶特別需要的增量數(shù)據(jù)方面，他們按照客戶的要求做定制；在客戶不特別提要求的地方，他們盡量讓各種場(chǎng)景的分布貼近真實(shí)世界。

比如，將高速路和城市道路的分布比例、白天和晚上的分布比例、雨雪天氣和晴天的分布比例設(shè)置得盡量跟真實(shí)世界一致。

基于這種數(shù)據(jù)訓(xùn)練出的模型，就不太容易出現(xiàn)“過(guò)擬合”的問(wèn)題。

我們?cè)谏衔闹刑岬?，針?duì)基于真實(shí)數(shù)據(jù)訓(xùn)練出的感知模型很難檢測(cè)到騎行者的問(wèn)題，Applied Intution公司將其原因歸結(jié)為“騎自行車和騎摩托車手的人在數(shù)據(jù)集中出現(xiàn)的頻率遠(yuǎn)低于行人和汽車”，然后，他們采取的對(duì)策是，往訓(xùn)練數(shù)據(jù)集中添加一些騎行者出現(xiàn)頻率比較高的合成數(shù)據(jù)。

Applied Intution將原本基于100%的真實(shí)數(shù)據(jù)集訓(xùn)練出來(lái)的模型設(shè)定為“基線模型”，然后在實(shí)驗(yàn)中發(fā)現(xiàn)，與基線模型相比，將合成數(shù)據(jù)跟真實(shí)數(shù)據(jù)混合在一起做訓(xùn)練，感知模型對(duì)騎行者的識(shí)別結(jié)果得到了顯著改善。

Applied Intuion進(jìn)一步發(fā)現(xiàn)，先在合成數(shù)據(jù)上對(duì)模型做預(yù)訓(xùn)練，然后再在 100% 的真實(shí)數(shù)據(jù)上對(duì)其進(jìn)行微調(diào)，則模型對(duì)騎行者的識(shí)別能力可顯示出特別明顯的提升——無(wú)論合成數(shù)據(jù)在訓(xùn)練數(shù)據(jù)集中的占比是多少，基于該數(shù)據(jù)集訓(xùn)練出的模型在性能上始終優(yōu)于基線模型。

（按類別的 mAP 分?jǐn)?shù)。與 100% 真實(shí)世界數(shù)據(jù)的基線相比，混合訓(xùn)練和微調(diào)實(shí)驗(yàn)提高了騎行者的 mAP 分?jǐn)?shù)。圖片摘自Applied Intution官網(wǎng)。）

在下方的兩組圖片中，左側(cè)的圖片顯示，僅根據(jù)真實(shí)世界數(shù)據(jù)訓(xùn)練的基線模型無(wú)法檢測(cè)到距自車較近的騎行者，而右側(cè)圖片則顯示，根據(jù)合成數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的可以模型成功檢測(cè)到該騎行者。

可以看到，盡管“過(guò)擬合”跟訓(xùn)練數(shù)據(jù)是真實(shí)數(shù)據(jù)還是合成數(shù)據(jù)并沒有必然關(guān)系，但由于合成數(shù)據(jù)更容易解決“分布比例”的問(wèn)題，因此，總體上來(lái)說(shuō)，合成數(shù)據(jù)確實(shí)更有可能解決“過(guò)擬合”的問(wèn)題。

在談到“過(guò)擬合”的話題時(shí)，謝晨進(jìn)一步解釋說(shuō)：

“過(guò)擬合”是用一個(gè)低維的東西去打高維時(shí)比較常見的問(wèn)題，在本質(zhì)上，這其實(shí)是一個(gè)小模型的問(wèn)題，往后看，隨著參數(shù)量越來(lái)越多、模型越來(lái)越大，“過(guò)擬合”的問(wèn)題會(huì)越來(lái)越輕。

謝晨提到，Waymo之前僅感知就有200多個(gè)模型，但接下來(lái)可能會(huì)用1個(gè)大模型統(tǒng)領(lǐng)所有這些模型，等大模型出來(lái)了，“過(guò)擬合”的問(wèn)題就會(huì)大幅度減少。

鑒于真實(shí)數(shù)據(jù)不僅量不夠，且使用難度大，對(duì)Waymo來(lái)說(shuō)，要訓(xùn)練大模型，就必須依賴合成數(shù)據(jù)。據(jù)悉，Waymo最近計(jì)劃將合成數(shù)據(jù)的使用率提升1000倍。

八、給真實(shí)數(shù)據(jù)“加杠桿”

前段時(shí)間，在學(xué)習(xí)合成數(shù)據(jù)的過(guò)程中，筆者突然想到一個(gè)問(wèn)題：莫非，Waymo和Cruise這些美國(guó)的無(wú)人駕駛公司，堅(jiān)持“一條道走到黑”、死磕L4的最大底氣是，他們?cè)谫€合成數(shù)據(jù)？一旦合成數(shù)據(jù)對(duì)提升算法效果的價(jià)值能跟真實(shí)數(shù)據(jù)相媲美，他們就不用再擔(dān)心“數(shù)據(jù)不夠用”了？

起初，這只是筆者單方面的猜測(cè)，但隨后，筆者也帶著這一猜測(cè)跟曾擔(dān)任過(guò)Cruise仿真主管的謝晨做過(guò)一些交流，謝晨是認(rèn)可筆者這一猜測(cè)的。

當(dāng)然了，對(duì)真實(shí)道路數(shù)據(jù)不足的L4公司來(lái)說(shuō)，用合成數(shù)據(jù)去補(bǔ)充、代替或“顛覆”真實(shí)數(shù)據(jù)，或多或少總會(huì)有一些無(wú)奈的成分在里面。那么，像光輪智能這樣的第三方合成數(shù)據(jù)服務(wù)商，是如何給合成數(shù)據(jù)定位的呢？

謝晨稱：

他們并不打算用合成數(shù)據(jù)取代真實(shí)數(shù)據(jù)（承認(rèn)合成數(shù)據(jù)也無(wú)法代表現(xiàn)實(shí)世界的多樣性），而是用合成數(shù)據(jù)及相關(guān)技術(shù)來(lái)提升真實(shí)數(shù)據(jù)的使用效率。

在主機(jī)廠或自動(dòng)駕駛公司把真實(shí)數(shù)據(jù)提供給他們后，他們可以拿這些數(shù)據(jù)去基于NeRF技術(shù)做3D重建或泛化，并且加上Sim2Real（用Diffusion Model來(lái)提升數(shù)據(jù)保真度），這就把真實(shí)數(shù)據(jù)轉(zhuǎn)換成了合成數(shù)據(jù)；然后，再在仿真系統(tǒng)里將這些合成數(shù)據(jù)跟真實(shí)數(shù)據(jù)“混搭”，通過(guò)這種“混搭”，以真實(shí)數(shù)據(jù)為主的數(shù)據(jù)集也間接地具備了“泛化能力”。

事實(shí)上，重建后產(chǎn)生新的數(shù)據(jù)，并且真實(shí)數(shù)據(jù)“混搭”，也是真實(shí)數(shù)據(jù)實(shí)現(xiàn)“泛化”的最有效方式。

通過(guò)這種“混搭”或泛化，真實(shí)數(shù)據(jù)的使用效率將大幅度上升。

真實(shí)數(shù)據(jù)跟合成數(shù)據(jù)“混搭”的比例，英偉達(dá)等多家公司實(shí)踐的結(jié)果是，7：3（即合成數(shù)據(jù)占30%）的效果比較理想。

7：3這個(gè)比例，相當(dāng)于在真實(shí)數(shù)據(jù)的基礎(chǔ)上再增加了超過(guò)40%的數(shù)據(jù)量，但由于新增的那40%都是合成數(shù)據(jù)，有很強(qiáng)的泛化能力、可以做N多次排列組合，那么，最終用于算法訓(xùn)練的corner case的數(shù)量就不是增加了40%，而是增加了幾十倍、甚至是幾百倍！

由此可見，合成數(shù)據(jù)非但不是真實(shí)數(shù)據(jù)的“競(jìng)爭(zhēng)對(duì)手”“顛覆者”，反而還可以給真實(shí)數(shù)據(jù)“加杠桿”“賦能”。

如果能利用好合成數(shù)據(jù)這個(gè)“杠桿”，其他主機(jī)廠或自動(dòng)駕駛公司也有條件擁有“特斯拉量級(jí)”的corner case數(shù)據(jù)。

在聊到這里時(shí)，筆者又臨時(shí)想到了一個(gè)問(wèn)題：這樣看來(lái)，合成數(shù)據(jù)公司跟傳統(tǒng)做LogSim和WorldSim的仿真公司并不是競(jìng)爭(zhēng)對(duì)手，而可能是合作伙伴？

謝晨說(shuō)：

沒錯(cuò)。我們其實(shí)已經(jīng)跟一些做工具鏈的公司談合作了，他們手上有一些真實(shí)數(shù)據(jù)，但這些數(shù)據(jù)的3D重建、泛化等工作，會(huì)交給光輪智能來(lái)做。

九、有望“搞定”感知的仿真

當(dāng)前，自動(dòng)駕駛行業(yè)做的仿真，基本上僅限于規(guī)控的仿真，因?yàn)?，感知的仿真?shí)在太難做了。但過(guò)去的兩個(gè)多月里，筆者在學(xué)習(xí)合成數(shù)據(jù)時(shí)發(fā)現(xiàn)，幾乎所有做自動(dòng)駕駛合成數(shù)據(jù)的公司，都會(huì)拿仿真感知的仿真來(lái)舉例。

看起來(lái)，隨著合成數(shù)據(jù)的日漸成熟，困擾自動(dòng)駕駛行業(yè)很久的感知難題終于有望取得突破了。由于規(guī)控的仿真已相對(duì)成熟，那一旦感知仿真突破，端到端的仿真就沒多大障礙了。

這個(gè)主題比較復(fù)雜，一兩段話也說(shuō)不清楚，我們將在本系列的第四篇文章中做更詳細(xì)的分析。敬請(qǐng)期待。

十、使仿真可以真正服務(wù)于研發(fā)

在過(guò)去的一兩年里，特斯拉、Waymo、Cruise與英偉達(dá)這些公司的仿真部門，服務(wù)的對(duì)象首先是公司的研發(fā)部門，然后才是測(cè)試部門；而國(guó)內(nèi)大部分公司的仿真，服務(wù)的對(duì)象僅限于自己或客戶公司的測(cè)試部門。

這種區(qū)別背后的原因在于，在特斯拉、Waymo、Cruise、英偉達(dá)這些公司的仿真，既可以用來(lái)做算法的測(cè)試驗(yàn)證，也可以用來(lái)做算法訓(xùn)練；而國(guó)內(nèi)大部分公司的仿真，只能用來(lái)做測(cè)試驗(yàn)證。

又是什么導(dǎo)致了這種不同呢？對(duì)合成數(shù)據(jù)的擁抱程度、所使用的合成數(shù)據(jù)的可用性。

我們?cè)谏衔囊呀?jīng)提到過(guò)，真實(shí)數(shù)據(jù)無(wú)法泛化、缺乏交互能力，所以，基于真實(shí)數(shù)據(jù)的仿真，只能用于對(duì)算法的邏輯做測(cè)試驗(yàn)證，而不能用于算法訓(xùn)練。

那么，基于合成數(shù)據(jù)的仿真，能用來(lái)做算法訓(xùn)練嗎？這個(gè)也得看合成數(shù)據(jù)的質(zhì)量了——只有同時(shí)滿足“泛化能力足夠強(qiáng)”和“保真度足夠高”這兩個(gè)標(biāo)準(zhǔn)的才可以。

基于WorldSim的合成數(shù)據(jù)，保真度無(wú)法保證，泛化能力也一般；基于當(dāng)下大熱的NeRF技術(shù)生成的合成數(shù)據(jù)，保真度是沒什么問(wèn)題了，但泛化能力也僅局限于“調(diào)整視角/傳感器的安裝位置”......因此，這些盡管也會(huì)被用于算法訓(xùn)練，但效果并不是很理想。

不過(guò)，隨著AI大模型日漸成熟，并且，大模型在合成數(shù)據(jù)生成過(guò)程中的參與度越來(lái)越高，合成數(shù)據(jù)逐漸具備了同時(shí)兼顧保真度和泛化能力的可能性。比如，由Diffusion Model和World Model生成的合成數(shù)據(jù)。這樣的合成數(shù)據(jù)，就可以用來(lái)做算法訓(xùn)練了。

如果能進(jìn)一步將AI大模型跟NeRF結(jié)合起來(lái)，那合成數(shù)據(jù)在算法訓(xùn)練方面可發(fā)揮的空間就更大了。這一路線或可幫助那些真實(shí)數(shù)據(jù)不多、但合成數(shù)據(jù)技術(shù)足夠強(qiáng)、并且擁抱合成數(shù)據(jù)也足夠積極的公司取得一定的競(jìng)爭(zhēng)優(yōu)勢(shì)，至少是減少他們的劣勢(shì)。

合成數(shù)據(jù)，或許正是一直被外界質(zhì)疑為“數(shù)據(jù)不夠”的Waymo、Cruise和Zoox這些美國(guó)公司敢于“一條道走到黑”、死磕L4的底氣所在吧。事實(shí)上，這幾家公司一直將合成數(shù)據(jù)作為其技術(shù)棧的核心組成部分之一。

國(guó)內(nèi)的主機(jī)廠中，蔚來(lái)通過(guò)積極擁抱合成數(shù)據(jù)，已開始用仿真來(lái)支持研發(fā)。接下來(lái)，隨著合成數(shù)據(jù)的價(jià)值贏得越來(lái)越多的認(rèn)可，應(yīng)該會(huì)有更多主機(jī)廠擁抱這一趨勢(shì)吧。

而對(duì)第三方仿真公司來(lái)說(shuō)，只有在服務(wù)對(duì)象從客戶公司的測(cè)試部門拓展至研發(fā)部門，能對(duì)算法訓(xùn)練做出自己的貢獻(xiàn)時(shí)，他們才算是最大程度地實(shí)現(xiàn)了自己的“人生價(jià)值”。

結(jié)語(yǔ)：

我們?cè)谇懊嬉讯啻翁岬蕉?，?shù)據(jù)閉環(huán)能力，是自動(dòng)駕駛下半場(chǎng)的“入場(chǎng)券”。重要的話不嫌多，在這里可以再重復(fù)一遍。

合成數(shù)據(jù)是數(shù)據(jù)閉環(huán)體系的重要組成部分，并且，合成數(shù)據(jù)不僅具備很多真實(shí)數(shù)據(jù)不具備的優(yōu)勢(shì)，而且還可以給真實(shí)數(shù)據(jù)“加杠桿”，因此，我們也可以認(rèn)為，那些率先擁抱合成數(shù)據(jù)的公司，等于率先拿到了自動(dòng)駕駛的“入場(chǎng)券”。

而那些合成數(shù)據(jù)服務(wù)商，則相當(dāng)于是在生產(chǎn)和銷售自動(dòng)駕駛下半場(chǎng)的“入場(chǎng)券”。

提供這一入場(chǎng)券的公司，在國(guó)外，除英偉達(dá)這樣的巨頭外，還有Applied Intution、Parallel Domain、Cognata、Datagen等初創(chuàng)公司。

其中，Applied Inntution成立于2017年，但該公司早在2020年就已經(jīng)盈利;在2021年底，該公司的估值達(dá)到了36億美元;2023年5月，該公司以7000萬(wàn)美元現(xiàn)金收購(gòu)了無(wú)人駕駛卡車公司Embark。

該公司的業(yè)務(wù)僅聚焦于自動(dòng)駕駛這個(gè)單一賽道，能在成立三年內(nèi)就盈利，并在此后估值飆漲，甚至還能拿出足夠的現(xiàn)金來(lái)收購(gòu)其他公司，也足見美國(guó)自動(dòng)駕駛駕駛公司及資本市場(chǎng)對(duì)擁抱合成數(shù)據(jù)的積極程度。

在國(guó)內(nèi)，百度、華為云及51World等公司近些年一直在探索合成數(shù)據(jù)，而在近一兩年新成立的公司中，光輪智能是一個(gè)典型代表。

創(chuàng)辦光輪智能之前，謝晨曾先后擔(dān)任Crusie仿真主管、英偉達(dá)自動(dòng)駕駛仿真主管、蔚來(lái)自動(dòng)駕駛仿真主管，在各家公司都經(jīng)歷了基于合成數(shù)據(jù)的仿真從0到1的過(guò)程。目前，光輪智能核心技術(shù)團(tuán)隊(duì)的幾名骨干成員也有類似的經(jīng)歷。

雖然成立比較晚，但成立晚有一個(gè)優(yōu)勢(shì)就是，光輪智能充分吸收了其他公司在自動(dòng)駕駛仿真方面的一些經(jīng)驗(yàn)教訓(xùn)，因而，從一開始就避開了很多坑。謝晨認(rèn)為，仿真要做好，必須“虛實(shí)結(jié)合”，并且，比較要要將仿真跟AI深度結(jié)合。

關(guān)于仿真跟AI的結(jié)合，謝晨說(shuō)：

目前，大多數(shù)公司的做法是用AI來(lái)輔助仿真，而我們的思路在則是用仿真來(lái)輔助AI。

那么，究竟什么是“虛實(shí)結(jié)合”，什么是“用AI輔助仿真”，什么又是“用仿真輔助AI”呢？這些內(nèi)容，我們將在本系列的第二篇文章中做更詳細(xì)的展開。敬請(qǐng)期待。

參考資料：

自動(dòng)駕駛數(shù)據(jù)閉環(huán)系列之一：理想豐滿，現(xiàn)實(shí)骨感https://mp.weixin.qq.com/s/A4bLFRdIfYwG81LBanJDYg

Synthesis AI raises $17M to generate synthetic data for computer visionhttps://techcrunch.com/2022/04/28/synthesis-ai-raises-17m-to-generate-synthetic-data-for-computer-vision/

10 Top Synthetic Data Startups to Watch in 2023https://www.startus-insights.com/innovators-guide/synthetic-data-startups/

Synthetic Data - Generative AI's killer applicationhttps://www.linkedin.com/pulse/synthetic-data-generative-ais-killer-application-sriraman-sri-/

Building continuous integration & continuous delivery for autonomous vehicles on Google Cloud

https://cloud.google.com/blog/products/containers-kubernetes/how-cruise-tests-its-avs-on-a-google-cloud-platform

Is Synthetic Training Data the Future of Machine Learning?

Cruise 制定了“如何”使機(jī)器人出租車成為現(xiàn)實(shí)的計(jì)劃https://techcrunch.com/2021/11/05/cruise-lays-out-its-plan-for-how-it-will-make-robotaxis-a-reality/?

使用可編程數(shù)據(jù)教學(xué)家庭機(jī)器人https://medium.com/toyotaresearch/teaching-home-robots-73f7d5e3601f

SPIGAN: PRIVILEGED ADVERSARIAL LEARNING FROM SIMULATIONhttps://openreview.net/pdf?id=rkxoNnC5FQ

Scale AI 進(jìn)入合成數(shù)據(jù)游戲https://techcrunch.com/2022/02/02/scale-ai-gets-into-the-synthetic-data-game/

Scaling up Synthetic Supervision for Computer Visionhttps://medium.com/toyotaresearch/scaling-up-synthetic-supervision-for-computer-vision-902689d16216

Browse a collection of synthetic data tools and companieshttps://syntheticdata.carrd.co/

Synthetic Data for Safe Drivinghttps://synthesis.ai/2021/08/05/synthetic-data-for-safe-driving/

合成數(shù)據(jù)概述：技術(shù)、應(yīng)用和市場(chǎng)狀況https://actvp.vc/stories/tpost/ghgm11emt1-overview-of-synthetic-data-technology-ap

CARLA-GEAR: A Dataset Generator for a Systematic Evaluation of Adversarial Robustness of Vision Modelshttps://arxiv.org/pdf/2206.04365.pdf

適合決策AI研究的自動(dòng)駕駛模擬器評(píng)測(cè)http://www.rlchina.org/topic/343，https://zhuanlan.zhihu.com/p/548771774

Introducing UniSim, one of the core groundbreaking technologies powering Waabi World

https://waabi.ai/introducing-unisim-one-of-the-core-groundbreaking-technologies-powering-waabi-world/

適合決策AI研究（強(qiáng)化學(xué)習(xí)）的自動(dòng)駕駛模擬器

https://zhuanlan.zhihu.com/p/548771774

Generative AI-empowered Simulation for Autonomous Driving in Vehicular Mixed Reality Metaverses

https://arxiv.org/pdf/2302.08418.pdf

[CVPR2023 Highlight] UniSim: 自動(dòng)駕駛仿真系統(tǒng)

https://zhuanlan.zhihu.com/p/636695025

如何評(píng)價(jià)CVPR 2023的best paper？

https://www.zhihu.com/question/607381076/answer/3084877656

端到端的勝利！CVPR23 里的自動(dòng)駕駛：UniAD&UniSim

https://mp.weixin.qq.com/s/hdjnF86R-30k2SFK1dSKBA

Quantifying the Simulation–Reality Gap for Deep Learning-Based Drone Detection

https://www.mdpi.com/2079-9292/12/10/2197

SYNTHETIC DATASETS FOR AUTONOMOUS DRIVING: A SURVEY

https://arxiv.org/pdf/2304.12205.pdf

Synthetic Data and Autonomous Vehicles

https://natecibik.medium.com/synthetic-data-and-autonomous-vehicles-408748e5bbb0

UC Berkeley, Waymo & Google’s Block-NeRF Neural Scene Representation Method Renders an Entire San Francisco Neighbourhood

https://medium.com/syncedreview/uc-berkeley-waymo-googles-block-NeRF-neural-scene-representation-method-renders-an-entire-san-e9a5aebd8823

Waymo Releases Block-NeRF 3D View Synthesis Deep-Learning Model

LIKEDISCUSSPRINT

https://www.infoq.com/news/2022/02/waymo-NeRF-3D-view-synthesis/

Block-NeRF AI recreates a virtual San Francisco neighborhood using 2.8 million photos

https://www.dpreview.com/news/2152415204/block-NeRF-ai-recreates-a-virtual-san-francisco-neighborhood-using-2-8-million-photos

使用特定于傳感器的合成數(shù)據(jù)開發(fā)自主系統(tǒng)

https://anyverse.ai/synthetic-data/developing-an-autonomous-system-with-sensor-specific-synthetic-data-wrapping-up/

Synthetic data to develop a trustworthy autonomous driving system | Chapter 10

Synthetic data for Computer Visionhttps://www.cvedia.com/what-is-synthetic-data

什么是生成對(duì)抗網(wǎng)絡(luò)（GAN）與合成數(shù)據(jù)https://www.xulong.net.cn/gan-synthetic-data-22970/

如何獲得用于自動(dòng)駕駛訓(xùn)練的可靠合成數(shù)據(jù)？https://www.zhihu.com/question/507527196/answer/2280153792

合成數(shù)據(jù)在實(shí)現(xiàn) ADAS 和自動(dòng)駕駛方面發(fā)揮真正作用https://zhuanlan.zhihu.com/p/420690863

使用合成數(shù)據(jù)實(shí)現(xiàn)自動(dòng)駕駛攝像感知系統(tǒng)聚焦遠(yuǎn)場(chǎng)物體https://zhuanlan.zhihu.com/p/635265463

Waymo is using AI to simulate autonomous vehicle camera data

https://venturebeat.cohttps://zhuanlan.zhihu.com/p/635265463m/ai/waymo-is-using-ai-to-simulate-autonomous-vehicle-camera-data/

一文看懂DRIVE Replicator：合成數(shù)據(jù)生成加速自動(dòng)駕駛汽車的開發(fā)和驗(yàn)證

https://developer.nvidia.com/zh-cn/blog/drive-replicator-synthetic-data-generation/

Synthetic Data Is About To Transform Artificial Intelligence

https://www.forbes.com/sites/robtoews/2022/06/12/synthetic-data-is-about-to-transform-artificial-intelligence/?sh=3ef44ce07523

Parallel Domain says autonomous driving won’t scale without synthetic data

https://techcrunch.com/2022/11/16/parallel-domain-says-autonomous-driving-wont-scale-without-synthetic-data

Accelerate Your AI Progress with Synthetic Data: 10 Reasons to Start Now

https://paralleldomain.com/accelerate-your-ai-progress-with-synthetic-data

Creating Synthetic Data with Nvidia Omniverse Replicator

https://docs.edgeimpulse.com/experts/featured-machine-learning-projects/nvidia-omniverse-replicator

Nvidia launches Omniverse Replicator synthetic data generation engine

NVIDIA 表示 Isaac Sim 和 Isaac Replicator 縮小了模擬與現(xiàn)實(shí)的差距，

https://www.robotics247.com/article/nvidia_says_isaac_sim_isaac_replicator_close_the_simulation_to_reality_gap

NVIDIA Omniverse Replicator For DRIVE Sim Accelerates AV Development, Improves Perception Results，

https://www.publicnow.com/view/A8150FC0BEFC3CEE97CBE49002A74711959E1F11

When Real-World Data is Not Enoughhttps://www.digitalengineering247.com/article/when-real-world-data-is-not-enough

Synthetic Data Generation Using Omniversehttps://medium.com/weboccult-technologies/synthetic-data-generation-using-omniverse-2f6d7039d386

NVIDIA Omniverse Replicator Generates Synthetic Training Data for Robots，https://developer.nvidia.com/blog/generating-synthetic-datasets-isaac-sim-data-replicator/

使用 Omniverse Replicator 構(gòu)建自定義合成數(shù)據(jù)生成管道

How to Generate Synthetic Data with NVIDIA DRIVE Replicator，https://www.nvidia.com/en-us/on-demand/session/gtcspring23-se50004/

一文看懂DRIVE Replicator：合成數(shù)據(jù)生成加速自動(dòng)駕駛汽車的開發(fā)和驗(yàn)證，https://developer.nvidia.com/zh-cn/blog/drive-replicator-synthetic-data-generation/

The rising role of synthetic data in the automotive industry

Case Study: Improving Object Detection Performance by Leveraging Synthetic Data，https://blog.applied.co/synthetic-data-for-training

Introducing GAIA-1: A Cutting-Edge Generative AI Model for Autonomy

MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Drivinghttps://arxiv.org/pdf/2307.15058.pdf

對(duì)抗生成網(wǎng)絡(luò)（Generative Adversarial Net)https://blog.csdn.net/stdcoutzyx/article/details/53151038?ydreferer

上海AI Lab | 最新端到端自動(dòng)駕駛綜述，來(lái)龍去脈詳盡梳理https://mp.weixin.qq.com/s/X6d2kjzr7Bhdx0-FZvw3Vw

淺談基于NeRF的三維重建技術(shù)http://xujingxiang.cn/article/1545527.html

反渲染(Inverse Rendering)三維重建及神經(jīng)輻射場(chǎng)(NeRF)核心https://zhuanlan.zhihu.com/p/628804009

【NeRF】AIGC高階魔法——3D場(chǎng)景重建與渲染https://zhuanlan.zhihu.com/p/615875635

炸鍋了，竟有這種好東西，那我可不困了！https://course.zhidx.com/download/detail/NjUyYmQxZjU4N2JmZjliNzZlMjM=

改進(jìn)擴(kuò)散模型作為 GAN 的替代方案，第 1 部分，https://developer.nvidia.com/blog/improving-diffusion-models-as-an-alternative-to-gans-part-1/

Diffusion預(yù)訓(xùn)練成本降低6.5倍，微調(diào)硬件成本降低7倍！Colossal-AI完整開源方案低成本加速AIGC產(chǎn)業(yè)落地，https://www.dazuoshe.com/diffusionyuxunlianchengbenji.html

Diffusion Model一發(fā)力，GAN就過(guò)時(shí)了？？？https://www.163.com/dy/article/HF7L02FJ0511DSSR.html

diffusion model 最近在圖像生成領(lǐng)域大紅大紫，如何看待它的風(fēng)頭開始超過(guò) GAN ？https://www.zhihu.com/question/536012286/answer/2533146567

AIGC 和自動(dòng)駕駛會(huì)有關(guān)系嗎？https://zhuanlan.zhihu.com/p/593475163

World Model揭開自動(dòng)駕駛GPT時(shí)代的面紗https://zhuanlan.zhihu.com/p/642207999?utm_id=0