馬斯克的特斯拉上沒有用激光雷達,不過馬斯克的龍飛船用了,激光雷達實際與傳統(tǒng)的CMOS攝像頭沒有本質區(qū)別,二者最大區(qū)別是傳統(tǒng)的CMOS攝像頭是2D,激光雷達是3D的,特別是Flash激光雷達,其最初名字就叫3D相機,它還有一個名字,就是ToF相機。龍飛船上用的就是Flash激光雷達。
Flash激光雷達最早追溯至1987年,美國NASA為登陸太陽系其他行星設計的感知系統(tǒng),由NASA資助的ASC公司負責,2006年NASA設立自動著陸有害障礙物躲避技術即ALHAT項目,2010年項目通過驗收,2009年ASC公司的3D相機搭載于奮進號航天飛機上并成功發(fā)射,2012年后搭載于龍飛船上,2016年首次龍飛船首次發(fā)射成功,沒錯,就是特斯拉CEO馬斯克的龍飛船。ASC為龍飛船制作的3D相機名為DragonEye,2016年美國的OSIRIX-REX項目,即 Origins Spectral Interpretation Resource Identification SecurityRegolith Explorer(OSIRIS-REx),這個項目是發(fā)射一個航天器采集小行星樣本返回任務,使用的著陸艙命名為Tiger,ASC為其制作了3D相機,命名為TigerEye。
ASC稱之為FLC,即Flash Lidar Camera
圖片來源:互聯(lián)網(wǎng)
TigerEye使用128*128的陣列,有效距離5厘米到1.1公里。
圖片來源:互聯(lián)網(wǎng)
2010年,ASC在IEEE上發(fā)表論文,ASC's 3D Flash LIDAR™ Camera: The Sciencebehind ASC's 3D Depth Imaging Video Camera,網(wǎng)址:https://ieeexplore.ieee.org/document/7268968。
奮進號的3D激光雷達相機
圖片來源:互聯(lián)網(wǎng)
圖片來源:互聯(lián)網(wǎng)
ASC的Flash激光雷達相機用在美軍的武裝直升機上,因為波長是1570納米,可穿透濃霧及沙塵,上圖就是其沙漠試驗,美軍研發(fā)的無人直升機的關鍵元件就是Flash激光雷達相機,它將為無人直升機提供精準的3D圖像做導航。
TigerEye是不折不扣的Flash激光雷達,與長城汽車上用的IBEO的激光雷達原理上沒有區(qū)別,就連像素數(shù)也很接近,不過ASC是在2008年就做出來了,當然ASC的TigerEye價格很高,約45萬美元,畢竟這相機要用在龍飛船上,太空環(huán)境是很惡劣的。據(jù)說ASC大約賣出了100套TigerEye,主要用于太空和軍事領域,由于這個市場太小了,ASC在2016年出售給了德國大陸汽車公司,為其開發(fā)車載的Flash激光雷達或者說車載的3D相機,ASC仍然提供太空級3D相機,有效距離目前可達6公里。
圖片來源:互聯(lián)網(wǎng)
Flash激光雷達與傳統(tǒng)CMOS相機非常相似,只不過它是發(fā)射激光,而傳統(tǒng)CMOS相機是接收自然光的反射。Flash激光雷達的發(fā)射通常是VCSEL,接收是SPAD陣列,VCSEL它是可尋址的陣列模式,易與SPAD陣列對應。
索尼在2021年9月6日,推出車規(guī)級激光雷達用SPAD傳感器IMX459,最大探測距離300米,在300米處的距離精度仍有15厘米,IMX459有10萬像素,而安森美的樣品目前只有4萬,ASM的只有1萬,目前國產(chǎn)長城汽車即將使用的IBEO的真固態(tài)激光雷達,其SPAD就是ASM的,像素為10240。
10萬像素顯然太低了,佳能于2021年12月初推出了320萬像素的SPAD傳感器,并預計2022年下半年量產(chǎn)。320萬像素通常分辨率是2048*1560,也就是等效于傳統(tǒng)360度旋轉式激光雷達的1560線。這樣的分辨率和傳統(tǒng)相機已沒有區(qū)別。佳能在2021年初宣布的100萬像素SPAD傳感器擁有每秒24000幀的超高幀率,目前360度旋轉激光雷達幀率僅為10FPS,佳能是其2400倍,是傳統(tǒng)攝像頭的800倍。
圖片來源:互聯(lián)網(wǎng)
佳能的320萬像素SPAD傳感器,尺寸為13.2毫米長,9.9毫米寬,在佳能川崎晶圓廠制造。
不僅佳能,松下,三星和索尼都在此領域花費大量精力研發(fā),目前佳能遙遙領先,奧地利AMS、松下、索尼和三星處于第二梯隊,第三梯隊還有東芝、豐田(電裝)、安森美、濱松、英飛凌、意法半導體、富士膠卷。第四梯隊則有蘋果、博通、Lumentum。 佳能的320萬像素SPAD傳感器可以直接取代傳統(tǒng)的CMOS圖像傳感器,加上VCSEL,就是激光雷達,1500線的激光雷達,并且體積和成本與現(xiàn)有的CMOS圖像傳感器相差不大,這樣的激光雷達看起來就是個攝像頭。
圖片來源:互聯(lián)網(wǎng)
CMOS圖像傳感器與SPAD圖像傳感器對比,CMOS圖像傳感器內(nèi)部多了兩級處理,自然光照射像素陣列,發(fā)生光電效應,在像素單元內(nèi)產(chǎn)生相應的電荷。當電容充滿電荷之后,光子的射入會導致內(nèi)部激發(fā)出新的電子空穴對,與原來充電形成的電子空穴對進行配對放電,形成光電流,光電流給右側的電容充電變成一個電壓輸出,為提高信噪比,對模擬信號進行放大,然后進入ADC變換電路,再以數(shù)字形式輸出,噪音會在模擬信號放大階段和ADC變換階段產(chǎn)生,同時模擬信號放大器有線性范圍,也就是CMOS圖像傳感器有個動態(tài)范圍。而SPAD不會有噪音,它是直接光子計數(shù),從頭到尾都是數(shù)字信號,未有任何噪音。
圖片來源:互聯(lián)網(wǎng)
CMOS圖像傳感器的光電轉換效率很低,約為SPAD的百萬分之一。所以SPAD特別適合低照度場合。CMOS加大感光面積也可以用于低照度場合,但成本也會飛漲。
目前城市里光污染嚴重,肉眼可看到的星星極限大約為四等亮星,這種情況下的環(huán)境照度大約0.01Lux,大城市里即使再黑暗,基本都有0.01lux的照度,SPAD可輕易做到0.002Lux,也就是說任何城市環(huán)境,無論多暗,SPAD都能正常工作,這也是佳能的SPAD圖像傳感器目前還是主打監(jiān)控的原因,SPAD相機可以取代NIR近紅外相機,它擁有近紅外相機的全部能力,卻沒有近紅外相機的缺點。
圖片來源:互聯(lián)網(wǎng)
SPAD超高的光電效率也讓其幀率可以超高,SPAD的時間精度可達100皮秒,可以做超高速相機,理論幀率可輕易做到每秒10萬幀。
圖片來源:互聯(lián)網(wǎng)
佳能的SPAD不同于傳統(tǒng)SPAD,開口率達到100%,因此可以做到超高像素。
圖片來源:互聯(lián)網(wǎng)
SPAD另一個益處是讓點云處理下崗,因其可以直接輸出圖像,無需任何后端處理,SPAD就是個3D相機。SPAD有兩種輸出,一是光子計數(shù)器,二是飛行時間。SPAD因具備高靈敏度,可以檢測到單一個光子,因此可做成光子計數(shù)器,光子計數(shù)器可以直接轉換為強度圖像,原理類似普通的數(shù)碼相機,傳統(tǒng)數(shù)碼相機上的PIN二極管檢測到自然光反射后的光線,光電變換將光強變?yōu)殡娏餍盘?,TIA放大器將電流信號轉換為電壓信號,電壓信號再經(jīng)ADC處理,最終生成圖像。
圖片來源:互聯(lián)網(wǎng)
典型SPAD D-ToF系統(tǒng),這里只看飛行時間,SPAD陣列的每個Cell利用啟動截至時間可以輕易得到飛行時間。再加上TDC電路就可以輸出深度圖像了。 TDC的原理這里不再贅述,簡單說就是將離散的時間數(shù)據(jù)轉換為直方圖,再轉換為數(shù)字圖像。因為要檢測每個像素的開關,因此最佳的做法將TDC電路與像素集成在芯片上。目前多用兩段式TDC法,單段TDC占的面積過大,會導致成本大增。
圖片來源:互聯(lián)網(wǎng)
一種典型的集成TDC的SPAD陣列,傳統(tǒng)激光雷達需要單獨加一片TDC芯片來處理,集成了TDC的SPAD自然不需要,直接可以輸出深度圖像。當然集成TDC的工藝不太好掌握,成本也略高,因此有些SPAD廠家依然選擇外置TDC,不過這樣精度有所降低,功耗自然也有增加。