腦科學(xué)融合端到端自動(dòng)駕駛，馬斯克中國(guó)門徒新進(jìn)展，不挑車也不挑芯片

一凡 發(fā)自 上海，智能車參考 | 公眾號(hào) AI4Auto

端到端進(jìn)入Next Level了？

特斯拉帶火了端到端，行業(yè)爭(zhēng)先轉(zhuǎn)向，拋棄規(guī)則驅(qū)動(dòng)，擁抱數(shù)據(jù)驅(qū)動(dòng)。

甚至有人直呼，數(shù)據(jù)驅(qū)動(dòng)的端到端，就是自動(dòng)駕駛的終局。

然而就在最近，由當(dāng)年特斯拉Autopilot骨干創(chuàng)辦的Nullmax，公開提出了一種新的范式：智能驅(qū)動(dòng)。

將腦科學(xué)與自動(dòng)駕駛結(jié)合，嘗試探索端到端的下一個(gè)階段。

這一方向也正在吸引知名主機(jī)廠和供應(yīng)商，投入研究，比如理想和地平線。

現(xiàn)在的局勢(shì)，玄之又玄的端到端，變得更加妙不可言了。

端到端進(jìn)入Next Level了？

Nullmax近日推出了最新技術(shù)方案：Nullmax Intelligence?(以下簡(jiǎn)稱NI)，基于端到端的架構(gòu)，采用了多模態(tài)大模型和安全類腦。

首先來看，多模態(tài)大模型，參數(shù)量十億級(jí)別。

作為源流特斯拉的初創(chuàng)企業(yè)，Nullmax同樣是純視覺的信徒，方案沒有使用激光雷達(dá)。

但其NI模型輸入的又不止是視覺信息，還包括了聲音，文本等。

輸出端則包括駕駛動(dòng)作，可視化結(jié)果以及場(chǎng)景描述。

模型輸出結(jié)果后，Nullmax還會(huì)用兩級(jí)仲裁機(jī)制，評(píng)判自車是否會(huì)與其他交通參與者發(fā)生碰撞。

一級(jí)仲裁是行業(yè)的常見手段，在此基礎(chǔ)上，Nullmax還引入二級(jí)仲裁“安全類腦”。

所謂“安全類腦”，是一個(gè)參數(shù)十萬(wàn)量級(jí)的神經(jīng)網(wǎng)絡(luò)，規(guī)模對(duì)應(yīng)斑馬魚的神經(jīng)元數(shù)。

斑馬魚就是腦科學(xué)界的“小白鼠”，大腦結(jié)構(gòu)和人腦高度相似，而且可透視，用熒光分子進(jìn)行處理后，能觀測(cè)到神經(jīng)元活動(dòng)和魚運(yùn)動(dòng)之間的關(guān)系，相關(guān)成果《Internal state dynamics shape brainwide activity and foraging behaviour》已在《Nature》發(fā)表。

共同第一作者李孟博士，是哈佛大學(xué)的博士后研究員，現(xiàn)在巖思類腦研究院任職。

Nullmax正是和其合作，將腦科學(xué)與自動(dòng)駕駛結(jié)合.

在行業(yè)變革之際，理想和地平線也正和Nullmax一道，嘗試探索這一全新領(lǐng)域。

理想聯(lián)合清華大學(xué)，正嘗試將人類的快慢思考，融入自動(dòng)駕駛，形成系統(tǒng)1和系統(tǒng)2。

地平線智駕方案Super Drive的決策規(guī)劃核心“交互式博弈算法”，讓車子仿佛擁有了一顆“大腦”，背后的思維動(dòng)因也是人的“慢思考”。

不過Nullmax的“類腦”模型，是直接參考斑馬魚腦結(jié)構(gòu)設(shè)計(jì)，與兩家的靈感來源不同，因此Nullmax在數(shù)據(jù)驅(qū)動(dòng)的端到端基礎(chǔ)上，提出“智能驅(qū)動(dòng)”。

邁向新階段，“智能驅(qū)動(dòng)”也存在著數(shù)據(jù)和訓(xùn)練兩大瓶頸。

Nullmax認(rèn)為，高質(zhì)量的數(shù)據(jù)仍然很關(guān)鍵。但是高質(zhì)量的數(shù)據(jù)，可遇不可求，因此Nullmax建立了數(shù)據(jù)平臺(tái)，既包括了真實(shí)采集的數(shù)據(jù)，也有視頻生成的虛擬數(shù)據(jù)，兩者結(jié)合加快算法迭代。

高質(zhì)量的數(shù)據(jù)之外，還有一個(gè)瓶頸就是訓(xùn)練。

包括如何去輸入數(shù)據(jù)，按照什么樣的順序，以及debug模型和調(diào)參。

以上就是Nullmax上層技術(shù)的最新進(jìn)展，將在明年初落地。

支持Nullmax商業(yè)化落地的關(guān)鍵技術(shù)，是其自研中間件平臺(tái)：

不挑車，不挑芯片，不挑攝像頭。

Nullmax的商業(yè)化落地

Nullmax的商業(yè)化落地，目前主要依托1個(gè)平臺(tái)和3個(gè)產(chǎn)品方案。

1個(gè)平臺(tái)，即中間件平臺(tái)MaxOS，其將多模態(tài)輸入token化，解耦軟件算法、域控和芯片，盡可能地抽象軟件層，支持不同算力平臺(tái)，適配任意傳感器，比如車企定制的攝像頭，甚至能適應(yīng)不同位置。

MaxOS為Nullmax適配不同車型、不同硬件配置，從而落地產(chǎn)品提供了可能。

目前其產(chǎn)品根據(jù)算力需求和實(shí)現(xiàn)能力，可分為以下三種：

1V2T，一個(gè)攝像頭，加上一顆德州儀器的2TOPS算力芯片，實(shí)現(xiàn)基礎(chǔ)的L2級(jí)輔助駕駛。

5V/6V8T，5/6個(gè)攝像頭，利用8TOPS算力，實(shí)現(xiàn)高速NOA和記憶泊車，且泊車過程可檢測(cè)障礙物。

11V，實(shí)現(xiàn)L2+，包括高速NOA和自主代客泊車。

Nullmax介紹稱，未來智能驅(qū)動(dòng)的方案，將以小于100TOPS的稀疏算力，實(shí)現(xiàn)全場(chǎng)景NOA。

總結(jié)Nullmax的商業(yè)化落地，展現(xiàn)出了兩大特點(diǎn)：

高靈活度和高性價(jià)比。

Nullmax為什么會(huì)選擇打造這樣的產(chǎn)品？

Nullmax認(rèn)為，行業(yè)利用不同算力規(guī)模的芯片，形成了各種各樣的方案，但還沒有一家做出能夠適配不同芯片，覆蓋2TOPS-2000TOPS算力區(qū)間的方案。

市場(chǎng)一片空白，這就是Nullmax的機(jī)會(huì)，也是產(chǎn)品具有高靈活度的原因。

另一方面，盡管行業(yè)目前高階智駕卷的很熱鬧，但熱鬧都是少部分人的，只有高端車型才能享有高階智駕，而更廣闊的性價(jià)比車型，也存在著高階智駕的需求，因此，Nullmax做出了一套高性價(jià)比的方案。

高靈活度和高性價(jià)比的方案，已為Nullmax贏得了多家知名合作伙伴，包括頭部主機(jī)廠比亞迪、奇瑞、上汽和福特等，以及知名Tier 1大陸和德賽西威等。

創(chuàng)立八年，Nullmax從硅谷出發(fā)，是如何一步步打通商業(yè)模式，贏得伙伴信任的？

Nullmax的創(chuàng)立與發(fā)展

Nullmax創(chuàng)始人、CEO兼CTO徐雷，本科畢業(yè)于中國(guó)科學(xué)技術(shù)大學(xué)計(jì)算機(jī)科學(xué)專業(yè)，后在美國(guó)紐約州立大學(xué)法羅分校獲得計(jì)算機(jī)科學(xué)博士學(xué)位。

畢業(yè)后，徐雷曾在高通工作過三年，后加盟特斯拉，成為特斯拉Autopilot團(tuán)隊(duì)核心成員，工作直接匯報(bào)給馬斯克。

在特斯拉期間，徐雷從零開始領(lǐng)導(dǎo)搭建Tesla Vision深度學(xué)習(xí)網(wǎng)絡(luò)，并用其成功取代了第一代產(chǎn)品中Mobleye的視覺系統(tǒng)，后來Model X搭載的方案，就是徐雷領(lǐng)導(dǎo)研發(fā)的。

2016年，徐雷離開特斯拉，與同事特斯拉供應(yīng)鏈及產(chǎn)品高級(jí)經(jīng)理宋新雨，在硅谷聯(lián)合成立了Nullmax，是國(guó)內(nèi)最早獲得加州自動(dòng)駕駛路測(cè)牌照的公司之一。

2017年初，Nullmax總部落地上海。

兩年后，Nullmax很快發(fā)布了L3級(jí)自動(dòng)駕駛方案，Max 1.0，可實(shí)現(xiàn)高速代駕和自主泊車，直接開上了上海中環(huán)。

不過就在此次發(fā)布會(huì)后，Nullmax罕有對(duì)外發(fā)聲，直到四年以后。

2023年冬，當(dāng)Nullmax再度回歸到聚光燈下時(shí)，已經(jīng)實(shí)現(xiàn)產(chǎn)品交付上車，并且獲得了7.8億元的新融資，累計(jì)吸金超10.66億元。

成立八年，起于硅谷，興于上海的Nullmax，在沉寂中悄然壯大，跑通了商業(yè)模式。

并且技術(shù)方面，持續(xù)探索，在行業(yè)爭(zhēng)相轉(zhuǎn)向之際，再次召開技術(shù)發(fā)布會(huì)發(fā)聲，提出了新的范式。

不是簡(jiǎn)單的去用模型取代原有的規(guī)則模塊，而是進(jìn)行了一些有意思的探索，比如將多模態(tài)大模型上車，腦科學(xué)引入自動(dòng)駕駛。

在發(fā)布會(huì)后，徐雷也發(fā)出感慨，“只有不斷地探索，不可能一下子找到最優(yōu)解?！?/p>

探索的道路上，行業(yè)競(jìng)爭(zhēng)不可避免。

誰(shuí)是給行業(yè)造成競(jìng)爭(zhēng)壓力最大的玩家？

毫無(wú)疑問，正是徐雷曾在硅谷給他打工過的那個(gè)男人。

面對(duì)競(jìng)爭(zhēng)，在談到如何看待特斯拉的FSD入華時(shí)，徐雷做了很有意思的類比，展現(xiàn)了灑脫與期待：

高水平的比賽，才能培養(yǎng)出高水平的球員。

引進(jìn)高水平的方案，行業(yè)才會(huì)變得更強(qiáng)。