深陷業(yè)績泥潭的Mobileye為了反擊公眾對其技術(shù)路線的質(zhì)疑,特別在2024年10月1日召開了投資者大會,會上詳細(xì)解釋了Mobileye技術(shù)路線的優(yōu)越性,對特斯拉、端到端和英偉達(dá)Orin都提出了質(zhì)疑和批判,甚至順便批評了GPT4o。
Mobileye的CAIS就是Compound AI Systems 復(fù)合人工智能方案,實(shí)際還是人工定義規(guī)則方案,MTBF即Mean time between failures平均故障間隔時(shí)間,也就是多久出現(xiàn)一次故障 。Mobileye表示其與汽車制造商的合作中,MTBF 目標(biāo)是 10的7次方小時(shí)的駕駛時(shí)間。而特斯拉MTBF是多少呢?
特斯拉最先進(jìn)的FSD 12.5平均每300英里就要人工接管一次,MTBF頂多是10小時(shí),跟Mobileye的10的7次方有天壤之別。
接下來Mobileye開始批判端到端路線,端到端要想成功,前提至少有兩點(diǎn),首先是沒有g(shù)lue code膠合代碼,其次是訓(xùn)練數(shù)據(jù)必須都是正確的,沒有錯(cuò)誤示范,這意味著必須加入人工干預(yù),也就是說真正的端到端完全不存在,端到端是將Glue code轉(zhuǎn)變到線下,需要人類來挑選高質(zhì)量正確的數(shù)據(jù)用于訓(xùn)練。
對端到端來說只有正確和不正確兩種狀況,但是加入人工因素,就復(fù)雜了,例如上面三種,1是輕微無視交通規(guī)則,2是加塞,3是魯莽駕駛,3種都可以算正確也可以算不正確。RLHF即Reinforcement Learning from Human Feedback人類反饋的強(qiáng)化學(xué)習(xí)。
接下來Mobileye批評了GPT4o,這個(gè)看起來很牛的數(shù)千億參數(shù)的大模型,能做好20*20的乘法表嗎?當(dāng)然不能,錯(cuò)誤率超過60%。端到端學(xué)習(xí)通常會遺漏那些重要的抽象邏輯信息,端到端實(shí)際是記憶,而非學(xué)習(xí),學(xué)習(xí)是可以獲得抽象內(nèi)涵邏輯的。
Mobileye繼續(xù)diss端到端,毫米波雷達(dá)和激光雷達(dá)都是簡單系統(tǒng),但視覺系統(tǒng)很復(fù)雜,端到端的簡單融合,根本就沒有效果,遠(yuǎn)不如CAIS的高級融合。
Mobileye認(rèn)為端到端沒有抽象規(guī)則的注入,會產(chǎn)生Variance,會自行生成錯(cuò)誤,而有人工定義的抽象規(guī)則注入,頂多是Bias偏差,偏差當(dāng)然比錯(cuò)誤要好,這就是說端到端數(shù)據(jù)少了容易過擬合,失去泛化能力,數(shù)據(jù)多了會因?yàn)殄e(cuò)誤示范數(shù)據(jù)產(chǎn)生錯(cuò)誤。
接下來Mobileye開始diss端到端的核心:transformer架構(gòu)。
沒有用鏈條規(guī)則,那么維度是10的32次方,計(jì)算成本極高,如果加入鏈條規(guī)則,維度變?yōu)?00,計(jì)算成本降低99%。
Mobileye認(rèn)為FCN全連接具備更高的效率,比RNN類型的transformer好多了。
Mobileye說的transformers似乎是帶有自注意力的稠密網(wǎng)絡(luò)即Vanilla Transformer。
CNN骨干網(wǎng)簡潔高效,而transformer對算力和存儲的消耗驚人,即便是最低的10Hz幀率就要100TOPS算力,每個(gè)token高達(dá)100Mb,9600個(gè)tokens是9600*100/8=120GB。這個(gè)實(shí)際無需Mobileye提出,目前包括特斯拉都還是使用CNN骨干網(wǎng),即便是用英偉達(dá)單張H100也無法實(shí)現(xiàn)全Transformer,存儲的容量和帶寬成本比算力還高。盡管沒人承認(rèn)自己還在用老舊的CNN,但目前任何一個(gè)量產(chǎn)項(xiàng)目都離不開CNN骨干網(wǎng)。
Mobileye繼續(xù)抨擊Transformer,指責(zé)其效率太低,自連接高達(dá)3170億個(gè),而FCN只需要10的4次方個(gè)。
最后Mobileye對端到端做了總結(jié),第一條就指責(zé)transformer效率太低,完全是暴力擬合,拼的就是算力。
Mobileye提出稀疏型注意力而非連接眾多的自注意力。
也就是并行自回歸網(wǎng)絡(luò),將token分級,每一級與每一級之間才有連接,才有self attention,分級內(nèi)部不再連接,大大減少了計(jì)算強(qiáng)度,不過transformer的核心就是self attention,這種人工規(guī)則將transformer的性能大打折扣,transformer的奠基論文正是《Attention is All You Need》
Mobileye總結(jié),效率比傳統(tǒng)transformer高100倍,所以不需要那么高的算力。
最后Mobileye力推自己的EyeQ6H,算力跟英偉達(dá)Orin差8倍,但ResNet50每秒幀率只差兩倍,顯然EyeQ6H性價(jià)比更高。
最后還是Mobileye對自己芯片的介紹,即五大計(jì)算資源,MIPS-通用CPU,用于標(biāo)量和邏輯運(yùn)算,MPC(Multithreaded Processing Cluster)-專門用于線程級并行的CPU,VMP(Vector Microcode Processor),使用超長指令寬度(VLIW)-單指令多數(shù)據(jù)(SIMD);專為定點(diǎn)算法的數(shù)據(jù)級并行性而設(shè)計(jì)(例如,將12位原始圖像收斂為一組不同分辨率和色調(diào)圖的8位圖像);基本上,對整數(shù)向量執(zhí)行操作PMA(Programmable Macro Array)-粗粒度可重構(gòu)陣列(CGRA);為數(shù)據(jù)級并行設(shè)計(jì),包括浮點(diǎn)運(yùn)算;基本上,對浮點(diǎn)數(shù)向量執(zhí)行操作。XNN-專注于深度學(xué)習(xí)的固定函數(shù):卷積、矩陣乘法/完全連接和相關(guān)激活后處理計(jì)算:例如CNN、FCN。這些都是Mobileye在10年前就確定的計(jì)算資源,似乎Mobileye不愿做出改變,或者不能做出改變,這樣的計(jì)算架構(gòu)很難同時(shí)兼顧高算力和成本。
Mobileye的路線是模塊化,或許是研發(fā)成本太高,亦或高價(jià)芯片不是Mobileye主要客戶能接受的,Mobileye似乎不打算推出高算力芯片,EyeQ6H會一直沿用,算力不夠就增加芯片數(shù)量,不過即使4個(gè)EyeQ6H算力能夠疊加,也不過136TOPS,更何況低成本的以太網(wǎng)交換機(jī)是不可能讓算力無損失疊加的。
Mobileye對特斯拉和端到端的指責(zé)當(dāng)然是正確的,transformer當(dāng)然也是純粹靠蠻力擬合,缺乏技巧,但這就是目前AI的主流,transformer是一切大模型的源頭,當(dāng)今AI的主流就是拼算力,不講效率和技巧,Mobileye想對抗AI主流,無疑是螳臂當(dāng)車。特別是在中國,端到端,特斯拉(馬斯克)都被追風(fēng),各廠家都在宣傳自己的端到端能力如何強(qiáng)大,整個(gè)輿論風(fēng)潮已經(jīng)將端到端和特斯拉推上神壇,消費(fèi)者迷信端到端和特斯拉。如此形勢下Mobileye逆潮流而動,勇氣可嘉,但恐怕要完全失去中國市場。中國市場除非是蘋果、特斯拉和華為這樣的超級巨頭能夠引領(lǐng)或教育消費(fèi)者價(jià)值觀,中小企業(yè)只能順應(yīng)消費(fèi)者價(jià)值觀,雖然Mobileye說的都是事實(shí),但逆潮流而動,一樣會被消費(fèi)者拋棄,消費(fèi)者要的是他認(rèn)為的“真理”。
免責(zé)說明:本文觀點(diǎn)和數(shù)據(jù)僅供參考,和實(shí)際情況可能存在偏差。本文不構(gòu)成投資建議,文中所有觀點(diǎn)、數(shù)據(jù)僅代表筆者立場,不具有任何指導(dǎo)、投資和決策意見。