前特斯拉工程師，把類腦計算帶進自動駕駛

作者 | 褚萬博，編輯 | 章漣漪

一種很新的自動駕駛技術(shù)路徑，出現(xiàn)了。同樣是端到端，但在感知層面引入包括視覺、聲音、文本等不同類型的信息，通過多形態(tài)的感知元素token化輸入，形成多模態(tài)感知的的端到端自動駕駛大模型。類似的想法馬斯克在此前也表達過，即將聲音納入自動駕駛的感知，但至今并未實現(xiàn)。

最外層保證安全底線的技術(shù)，則是引入一個對自動駕駛行業(yè)非常陌生的技術(shù)——類腦科學(xué)，通過模擬生物大腦運行機制和對危險感知規(guī)避的天性，代替以規(guī)則代碼為主的安全保障層。類腦科學(xué)+多模態(tài)端到端大模型，當(dāng)下算是行業(yè)內(nèi)一種少有，或者是沒有過的嘗試。

技術(shù)方案被叫做Nullmax Intelligence（NI），來自一家此前聲量并不算大的漸進式自動駕駛公司：Nullmax（紐勱）。一個在業(yè)內(nèi)不太顯眼的團隊，做出的沒人見過的方案。這家公司從何而來，有何獨到之處？

01、從特斯拉到Nullmax

長久以來，業(yè)內(nèi)關(guān)于Nullmax的信息并不多見，這家公司上一次敞開向外界展示技術(shù)方案，還是在2019年，等到最近Nullmax Intelligence自動駕駛方案發(fā)布，已經(jīng)過去5年時間。

融資方面放在同時期的自動駕駛公司中間也并不算出彩，企查查結(jié)果顯示，自成立至今，Nullmax經(jīng)歷5輪融資，累計披露融資金額不到10億元。行事確實低調(diào)，但背后團隊履歷相當(dāng)亮眼。公開信息顯示，Nullmax在2016年成立于美國硅谷，其創(chuàng)始人徐雷，本科畢業(yè)于中國科學(xué)技術(shù)大學(xué)計算機科學(xué)專業(yè)，之后前往美國深造，并取得紐約州立大學(xué)布法羅分校計算機科學(xué)博士學(xué)位。在創(chuàng)立Nullmax前，徐雷曾在高通有過3年的工作經(jīng)歷，后來加入特斯拉，擔(dān)任特斯拉自動駕駛高級計算機視覺工程師。

Nullmax創(chuàng)始人徐雷在特斯拉履職期間，徐雷主要負(fù)責(zé)的，就是Autopilot視覺研發(fā)，擔(dān)任Tesla Vision深度學(xué)習(xí)負(fù)責(zé)人，曾從零開始組織研發(fā)Tesla Vision深度學(xué)習(xí)網(wǎng)絡(luò)。最終在2016年，Autopilot 2.0成功取代Mobileye的視覺系統(tǒng)，在Model X上量產(chǎn)。

另一位核心團隊成員宋新雨，同樣來自特斯拉，曾在特斯拉任職研發(fā)質(zhì)量和供應(yīng)鏈部門高級經(jīng)理，期間曾是Autopilot及娛樂系統(tǒng)開發(fā)團隊核心骨干成員。Autopilot 1.0和Autopilot 2.0系統(tǒng)的研發(fā)和產(chǎn)品化之路，宋新雨也有過深度參與。2016年，正值A(chǔ)utopilot結(jié)果之時，在特斯拉相識的徐雷與宋新雨出走特斯拉，成立Nullmax。

由徐雷擔(dān)任CEO兼CTO職位，主導(dǎo)技術(shù)研發(fā)工作，宋新雨則出任COO一職，負(fù)責(zé)公司運營。在這個關(guān)鍵時刻離開特斯拉選擇創(chuàng)業(yè)，徐雷告訴《賽博汽車》，一是在特斯拉看到了傳統(tǒng)車企以及Tier 1在智能化轉(zhuǎn)型過程中，一些以AI驅(qū)動應(yīng)用能力的缺失，比如智能駕駛；二則是特斯拉作為一家車企，其本身的愿景是可持續(xù)能源的發(fā)展。而Nullmax，最終的目標(biāo)是自動駕駛乃至之后完全的無人駕駛。不過，特斯拉的經(jīng)歷也對Nullmax最初選擇自動駕駛實現(xiàn)路線產(chǎn)生了重要的影響，即純視覺、漸進式的自動駕駛路線。

Nullmax在2019年發(fā)布MAX 1.02019年，Nullmax發(fā)布其自動駕駛解決方案（現(xiàn)在來看要歸類于L3以下的智能駕駛）MAX 1.0，方案基于英偉達Xavier 平臺，感知套件采用12個攝像頭+5個毫米波雷達+12個超聲波雷達，可以實現(xiàn)包括泊車、高速上的高階智能駕駛功能。同時，需要注意的是，這套方案并沒有高精地圖。去（激光）雷達，去（高精）地圖這類近兩年爭議才收斂起來的議題，Nullmax確實在2019年的時候就有了前瞻的判斷。等到業(yè)內(nèi)意見基本統(tǒng)一后，時隔5年，Nullmax又帶著一套沒人見過（至少是準(zhǔn)量產(chǎn)心態(tài)）的方案走來了。依舊是前瞻？

02、類腦計算？一種很新的自動駕駛

至少從兩個方面來說，Nullmax此次帶來的自動駕駛方案Nullmax Intelligence，是截止到目前業(yè)內(nèi)發(fā)布的方案中的唯一。按照當(dāng)前端到端大模型的理解，相比此前感知、規(guī)控、執(zhí)行等等模塊化的環(huán)節(jié)，自動駕駛大模型可以從感知到?jīng)Q策一個模型通路解決，但當(dāng)下各家除了特斯拉，基本是在感知層面，或者是從傳感器數(shù)據(jù)輸入到感知結(jié)果輸出一個模塊大模型，規(guī)控、決策仍然處于小模塊（層層遞進）階段。

但根據(jù)Nullmax現(xiàn)場展示的方案來看，NI是從感知到執(zhí)行一個大模型解決，并且在此之外，聲音、文本等等環(huán)境信息，通過token化可以一起為大模型提供感知。類似的想法馬斯克此前有過發(fā)聲，比如將路面環(huán)境聲音信息作為感知輸入自動駕駛系統(tǒng)，不過目前來看還停留在想法階段。大模型的輸出端，則包含3個部分：即時的駕駛動作、可視化結(jié)果以及延時0.2秒的場景描述（文本）。

駕駛動作即執(zhí)行層面，而場景描述，按照我們的理解，是作為一種模型驗證以及問題回溯的工具出現(xiàn)，也就是解釋修正大模型的作用。這里的一個問題是，多模態(tài)感知意味著感知信息的類型增加、數(shù)據(jù)量提升，這對模型的計算提出了更大的要求，最后落到一個問題上就是，車端計算芯片算力是否足夠。這里需要注意的是，根據(jù)Nullmax的說法，這套方案稀疏算力100 TOPS就夠用。對于這個問題，Nullmax表示，其大模型是一個非attention機制的一種語言模型，不同感知信息token化之后進入大模型，對算力的要求是非常低的。

安全類腦概念除了多模態(tài)的感知輸入，Nullmax還在最新的自動駕駛方案中引入了一個“安全類腦”的概念。這個概念對于自動駕駛大模型來說可能比較陌生，但類腦計算本身在全世界范圍內(nèi)的前沿科學(xué)中比較火熱。這里簡單介紹一下，所謂類腦計算是借鑒生物神經(jīng)系統(tǒng)信息處理模式和結(jié)構(gòu)的計算理論、體系結(jié)構(gòu)、芯片設(shè)計以及應(yīng)用模型與算法的總稱。已經(jīng)是一個非常龐大的學(xué)科，但簡單理解，就是借鑒生物大腦的運行方式處理問題。

具體來看，Nullmax在這套方案中，通過解密10萬神經(jīng)元級別的斑馬魚大腦避險的運作方式，為自動駕駛提供一個安全底線。即在大模型輸出結(jié)果后，在判定有誤的情況下快速做出安全動作。在Nullmax的方案中，大模型輸出的結(jié)果作為一級仲裁，安全類腦為二級仲裁，兩個結(jié)果一致時正常執(zhí)行，不一致時由二級仲裁。這種機制是大多數(shù)自動駕駛玩家的共同選擇，即在大模型輸出結(jié)果之外還有另一套負(fù)責(zé)底線的模型兜底。不過更多的玩家趨向于采用規(guī)則代碼這種直觀的方式去作為最后一道安全屏障。引入類腦計算，Nullmax還是第一個。為什么不要規(guī)則代碼而用類腦計算？Nullmax認(rèn)為，規(guī)則代碼無法窮盡場景，而類腦計算可以利用生物大腦對于危險情況的反應(yīng)，快速做出反應(yīng)。當(dāng)然，作為自動駕駛公司，橫跨學(xué)科有點難度。安全類腦的成果并非Nullmax原創(chuàng)，而是來自巖思類腦研究院的李孟團隊。

相關(guān)研究研究論文《Internal state dynamics shape brainwide activity and foraging behaviour》曾在《Nature》發(fā)表。多模態(tài)+類腦計算，在我們能看到的自動駕駛解決方案中，是獨一檔的存在。這種技術(shù)方案是否真的有效，是否會比現(xiàn)有端到端大模型的體驗更好，我們不做評判，因為還需要驗證，根據(jù)徐雷的透露，這套方案將會在明年初落地。屆時相信會得到答案。拋開這套技術(shù)本身，Nullmax這家聲量并不大的自動駕駛公司，或者是智能駕駛方案供應(yīng)商給了我們另一個話題的啟發(fā)。

03、智能駕駛方案小廠，怎么活？

事實上，智能駕駛方案供應(yīng)商中，體量不大的這部分玩家如何生存，已經(jīng)成了業(yè)內(nèi)熱議的一個話題。

現(xiàn)實也確實不那么樂觀，一方面，在主機廠降本增效的大趨勢下，作為供應(yīng)鏈的一環(huán)，利潤寒氣會傳導(dǎo)過來，尤其是體量不大，話語權(quán)比較小的小廠；另一方面，融資環(huán)境不夠理想的大環(huán)境，等待變現(xiàn)的投資人，普遍虧損的經(jīng)營現(xiàn)狀……如此等等，再加上技術(shù)資源和投入劣于大廠，擔(dān)憂很多，討論也很多。

對于這些問題，Nullmax部分回答了我們。首先是在技術(shù)投入上的天然劣勢。當(dāng)自動駕駛進入端到端大模型階段，有2個關(guān)鍵因素比較重要，一是大量真實數(shù)據(jù)的投喂，二是AI算力的模型訓(xùn)練支持。一個需要車，一個需要高成本投入。第三方智能駕駛方案公司，尤其是小體量玩家，二者都沒有，這還怎么玩？

Nullmax認(rèn)為后期虛擬數(shù)據(jù)占比更多徐雷對此的回答是，在自動駕駛訓(xùn)練的初期，真實有效數(shù)據(jù)很關(guān)鍵，但隨著模型的逐漸成熟，真實場景數(shù)據(jù)在模型訓(xùn)練后期的增益效果以及需要的量會變小，AIGC生成虛擬數(shù)據(jù)就非常關(guān)鍵。

而在AI算力方面，徐雷表示，在給定預(yù)算下，讓哪些數(shù)據(jù)先進系統(tǒng)，怎么去在訓(xùn)練中調(diào)它的收斂速度，調(diào)參數(shù)，能讓系統(tǒng)性能提升更高，這里面是有很多技巧，并不是說多少張卡（AI芯片）多少數(shù)據(jù)就對應(yīng)了性能多少的提升。簡而言之，以技巧取勝。

其次是作為第三方的供應(yīng)商，如何低成本開發(fā)適配不同需求、車型的產(chǎn)品方案。Nullmax的做法是，通過MaxOS中間件平臺，實現(xiàn)軟硬件解耦，實現(xiàn)不同計算平臺、不同傳感器配置（包括激光雷達）、不同層級智能駕駛功能，適配同一個軟件算法平臺。當(dāng)前Nullmax的產(chǎn)品序列在這一套模式下，分成低、中、高3個組合方案，包括：1、1V2T，一個攝像頭，加上一顆德州儀器的2TOPS算力芯片，實現(xiàn)基礎(chǔ)的L2級輔助駕駛；2、5V/6V8T，5/6個攝像頭，利用8TOPS算力，實現(xiàn)高速NOA和記憶泊車，且泊車過程可檢測障礙物；3、11V，實現(xiàn)L2+，包括高速NOA和自主代客泊車。

Nullmax產(chǎn)品方案最后，我們上文提到的“類腦計算”，其實并非是Nullmax原創(chuàng)，而是來自巖思類腦研究院。這個巖思類腦研究院后面的母公司，也是Nullmax的控股母公司巖山科技。就是那個去年10月份斥資7.8億元投資Nullmax的巖山科技。所以還在找出路的智能駕駛方案商們懂了嗎？上市不是當(dāng)下唯一的選擇，先找棵大樹也不錯。