砍掉 20% 劉海，蘋果「擠牙膏」的背后：屏下 3D 視覺技術(shù)的苦與痛

全面屏，怎么就那么難？

剛過不久的蘋果發(fā)布會上，新 iPhone 的亮點(diǎn)之一是：劉?？车袅?0%。對于“苦劉海久矣”的人而言，20%幾乎沒什么變化，因而也被調(diào)侃成擠牙膏式的設(shè)計(jì)。

不過，侃歸侃，從技術(shù)層面來講，這20%其實(shí)來之不易。 

因?yàn)樵谶@片劉海里，一共有前置攝像頭、麥克風(fēng)、激光發(fā)射器等8個重要元器件。其中對于 Face ID 功能和前置攝像起著決定作用的元器件主要有兩個部分：激光發(fā)射器模組和接收裝置。

“從結(jié)構(gòu)光的基礎(chǔ)原理來看，激光發(fā)射器和接收裝置之間必須要隔有一定距離，才能保持成像精度，而且等效距離越長，精度越高，反之亦然。這是蘋果保留劉海的根本原因。”光鑒科技首席科學(xué)家呂方璐告訴 AI 掘金志。

此前，在iPhone 12上，這一距離大約是27毫米。此次劉?？s減了20%，蘋果官方表示，這“得益于傳感器重排、微縫聽筒等技術(shù)引入”。

“如果要縮短等效距離且保持精度，技術(shù)方面的難度很大。”呂方璐表示，蘋果應(yīng)該是采取了另一種方法，即通過積累的人臉數(shù)據(jù)來優(yōu)化其3D 人臉?biāo)惴Ｐ?，放寬?D 成像的精度要求。

換句話說，就是用算法來彌補(bǔ)傳感器重排帶來的數(shù)據(jù)感知導(dǎo)致的精度問題，這其實(shí)是一種取巧的辦法，要求也比較高，要有大量的人臉數(shù)據(jù)做支撐，對算法持續(xù)優(yōu)化。

但這種方法不具備可復(fù)制性，一是算法本身存在缺陷，需要不斷利用數(shù)據(jù)進(jìn)行反饋和調(diào)整；二是現(xiàn)在人臉數(shù)據(jù)集采的監(jiān)管日趨嚴(yán)格。

實(shí)際上，最佳的解決方法是將原有的相機(jī)模組，放入屏下，即行業(yè)經(jīng)常提及的“屏下結(jié)構(gòu)光解決方案”。這既符合全面屏的發(fā)展趨勢，又能解決因縮短激光發(fā)射器和接收裝置距離造成的成像精度低這一問題。

早在今年2月份，光鑒科技就和中興手機(jī)推出了全球首款屏下結(jié)構(gòu)光技術(shù)，引起輿論重視。呂方璐表示，屏下3D 技術(shù)已達(dá)量產(chǎn)要求，但該技術(shù)在具體機(jī)型上還涉及到產(chǎn)品化的開發(fā)和優(yōu)化，因而未能實(shí)際量產(chǎn)。并且，屏下3D 技術(shù)也還有一些問題需要解決。

透光率：屏下結(jié)構(gòu)光的阿克琉斯之踵

在說屏下結(jié)構(gòu)光之前，先簡單談?wù)?iPhone 3D 結(jié)構(gòu)光的技術(shù)原理。 

3D結(jié)構(gòu)光模組包括發(fā)射端（點(diǎn)陣投影器和泛光感應(yīng)元件）和接收端（紅外攝像頭），原理如下：

1）激光發(fā)射器發(fā)出特定波長的近紅外光，形成橫截面積很窄的平行光束，經(jīng)過擴(kuò)束器后，其橫截面積均勻放大；

2）放大后的光束，通過準(zhǔn)直鏡頭實(shí)現(xiàn)平行，從而均勻入射在光學(xué)衍生元件（DOE）上，光束在經(jīng)過該器件時會形成特定的光學(xué)圖案，經(jīng)過投影透鏡后發(fā)射出去；

3）這些光束在投射到物體表面時，光信號會產(chǎn)生變化；

4）接收端（攝像頭）在接收到這些變化后，會計(jì)算物體的位置及深度等信息，再經(jīng)過特定的算法來復(fù)原三維空間。

點(diǎn)陣投影器及結(jié)構(gòu)光原理示意圖

泛光照射器由低功率VCSEL激光器和擴(kuò)散片等組成，其作用是發(fā)射不可見的紅外光線，使得紅外攝像頭在黑暗中也能接收反射自面部的點(diǎn)陣圖案。 

屏下結(jié)構(gòu)光，其實(shí)就是將包含這些元器件的相機(jī)模組置于一塊“透明”的屏幕之下，既能保持?jǐn)z像功能，又最大化利用屏幕面積。

但隨之而衍生的問題是：這塊透明的屏幕，對相機(jī)模組的成像精度影響多大？如何來彌補(bǔ)光在通過屏幕時所造成的能量損耗？

光從激光發(fā)射器發(fā)出、抵達(dá)物體表面，再到被傳感器吸收，要兩次透過屏幕，會帶來能量損耗，這就是屏下結(jié)構(gòu)光面臨的“透光率”問題。

“對于紅外線來講，目前的屏幕經(jīng)過特殊處理后，光的透過率大概在30%，甚至更低一些。”

呂方璐表示，屏下結(jié)構(gòu)光只能采用 OLED 屏幕，因?yàn)?OLED 屬于有機(jī)材料發(fā)光，不需要類似 LCD 的背光源。

不過，有機(jī)發(fā)光材料發(fā)光需要電流，并且電極層一般不透光，所以激光發(fā)射器發(fā)出的光在透過屏幕時，大部分光會被電極層擋住或散射掉，這就造成可利用的光只有很小的一部分。

此外，光在透過屏幕時，由于屏幕本身是一種周期性結(jié)構(gòu)，像素在不停重復(fù)，因此會導(dǎo)致一種衍射效應(yīng)，比如一束光會衍射為幾束光，光的傳播方向也會受到影響。

而在實(shí)際場景中，透光率還會受到各種噪聲的影響。

比如，在室外，太陽光里面的紅外線，照射在人臉上，會成為激光發(fā)射器發(fā)出的紅外線能量的噪聲。如果激光發(fā)射器的能量不夠，那么就會被噪聲干擾，嚴(yán)重影響成像效果。

“屏下結(jié)構(gòu)光首先要保證屏幕效果顯示正常，不能影響用戶體驗(yàn)，在此條件之下，再解決光的透過率這個問題，是最大的難點(diǎn)。”呂方璐表示，這也是阻礙屏下結(jié)構(gòu)光“量產(chǎn)”的根本原因。

三種解法：屏幕、元器件和算法

問題已提出，剩下的就是對癥下藥找解決方法。

屏下結(jié)構(gòu)光最大的難題是“透光率”，這道題可以從三個維度來解。

一是從 OLED 屏幕出發(fā)，提高面板透光率，或者做屏幕的定制化。

比如，三星推出的可折疊屏手機(jī)，用的是UPC（Under Panel Camera，屏下攝像頭）技術(shù)，核心是提高面板透光率的“Eco OLED”和優(yōu)化像素孔徑。

提高透光率和定制屏幕雖然是最直接有效的解法，但這依賴于面板技術(shù)的進(jìn)步，并且涉及到面板供應(yīng)商、屏下結(jié)構(gòu)光解決方案商和手機(jī)廠商之間的合作。

“屏幕從設(shè)計(jì)到開發(fā)再到實(shí)際運(yùn)用，周期相對較長。”呂方璐表示，在面板技術(shù)尚未取得開創(chuàng)性突破和大規(guī)模運(yùn)用之前，要提高透光率，就要另辟蹊徑。

二是從器件模組入手。

既然光在透過屏幕時發(fā)生損耗，那么可以在發(fā)射端增強(qiáng)光的能量，來抵消這部分能耗。就好比一個10瓦的燈泡，光的能量怎么也比不過100瓦的燈泡。

但這個方法的癥結(jié)在于，增強(qiáng)光的能量，就要加大功率，進(jìn)而增加功耗。如何在增強(qiáng)光能量的同時，又不增加能耗，是這套方案的核心，也是技術(shù)難點(diǎn)。

三是利用算法來做補(bǔ)償。

接收端在接收到光信息之后，會進(jìn)行計(jì)算，就會用到算法。那么就可以優(yōu)化算法來補(bǔ)償因“透光率”帶來的部分能量損耗。

如果數(shù)據(jù)量夠大，算法足夠成熟，便可以降低對成像精度的要求。

比如蘋果的 Face ID，就利用了人臉數(shù)據(jù)做3D 算法模型優(yōu)化。 這個方法的缺陷也很明顯：需要大量數(shù)據(jù)，并且算法在面對特定場景時也會出現(xiàn)偏差。

這三種解法，雖然從不同方面來提高“透光率”，但其實(shí)是相互交叉的，比如做面板定制，要適應(yīng)于器件模組，要與算法相結(jié)合；而相關(guān)算法雖然可以優(yōu)化成像精度，卻只能作為輔助。

“要實(shí)現(xiàn)屏下結(jié)構(gòu)光的量產(chǎn)，實(shí)際上需要整個產(chǎn)業(yè)鏈的合作與進(jìn)步。”呂方璐表示。

國產(chǎn)屏下結(jié)構(gòu)光之殤

從劉海屏到打孔屏，縮小劉海以擴(kuò)大屏幕的使用面積，最終達(dá)到全面屏，一直以來是手機(jī)廠商的終極目標(biāo)。

屏下3D 結(jié)構(gòu)光被視為最佳解決方案，雖然有一個“透光率”的問題亟待解決，但方法總比問題多，上述三種解法實(shí)際上可以解決很大一部分難點(diǎn)。

然而國內(nèi)廠商要發(fā)展屏下結(jié)構(gòu)光，還要面臨技術(shù)之外的一道大坎：專利。

3D 結(jié)構(gòu)光需要激光發(fā)射器發(fā)射數(shù)萬個激光散斑，這對激光器本身的性能和功耗的要求很高，目前基本上采用的 VCSEL 激光發(fā)射器；另外，光線還要通過衍生光學(xué)器件（DOE）進(jìn)行“衍射”，將光線進(jìn)行“切分”，以實(shí)現(xiàn)投射激光散斑的功能。

遺憾的是，這兩大元器件，VCSEL 激光器和衍射光學(xué)元件（DOE）的制造，基本上為美國、英國及中國臺灣地區(qū)的廠商壟斷，國內(nèi)目前僅有三安光電可進(jìn)行 VCSEL 芯片的代工。

蘋果無疑是“VCSEL+DOE”3D 結(jié)構(gòu)光方案的核心受益者，同時也掌握著該項(xiàng)技術(shù)的專利。在專利保護(hù)愈加重視的背景下，這就給蘋果以外的廠商留下了難題：如何做一套具備完全知識產(chǎn)權(quán)的方案？

光鑒科技對此的解法是：以邊緣發(fā)射激光器（EEL）為光源，然后利用自研的波前調(diào)制器（WFP），通過在亞波長尺度實(shí)現(xiàn)對光場的調(diào)制，來實(shí)現(xiàn)投射激光散斑的功能。

這種方法避免了“VCSEL+DOE”的技術(shù)專利，邊發(fā)射激光器（EEL）的制程工藝比較成熟，成本上也可控，國內(nèi)廠商有相應(yīng)的生產(chǎn)能力。 

“光鑒科技的WFP芯片，其制程工藝大概在250nm左右，國內(nèi)廠商已能實(shí)現(xiàn)量產(chǎn)。”呂方璐表示。 

對于屏下結(jié)構(gòu)光的難點(diǎn)，光鑒科技主要從器件模組和算法上來做突破，通過與 OLED 屏幕廠商長期的研發(fā)合作，來實(shí)現(xiàn)對3D 成效效果和屏幕顯示效果的優(yōu)化。

在元器件方面，光鑒科技提高了激光發(fā)射模組從電到光的整體轉(zhuǎn)換效率，也就是在發(fā)射端來增強(qiáng)光的能量；同時基于EEL邊緣發(fā)射激光器，來減短脈沖，提升光線強(qiáng)度，從而補(bǔ)償因“透光率”帶來的能量損耗。 

據(jù)悉，其激光發(fā)射模組從電到光的整體轉(zhuǎn)換效率相較于VSCEL方案提高了80%；而EEL邊光發(fā)射器每個脈沖的亮度是VSCEL方案的4倍左右。

在算法上，光鑒科技通過自研算法來實(shí)現(xiàn)對激光信息的構(gòu)建，在保持同樣效果的情況下縮減算力，不必依靠ASIC芯片，以減少計(jì)算成本。

“光鑒科技和蘋果是不同的技術(shù)路徑，避免了與蘋果專利沖突的風(fēng)險(xiǎn)，并且在核心元器件上都已實(shí)現(xiàn)國產(chǎn)化。”呂方璐表示，目前國內(nèi)廠商也正在進(jìn)行技術(shù)創(chuàng)新，比如奧比中光，屏下3D 技術(shù)越來越受到重視。

總結(jié)

從蘋果Face ID 采用3D 結(jié)構(gòu)光，到現(xiàn)在行業(yè)共推的全面屏，“劉海”不斷縮小的背后是技術(shù)的不斷更迭與演進(jìn)。

“未來視覺必然會從2D 向3D 轉(zhuǎn)變，因?yàn)?D 信息更豐富全面。”呂方璐表示，3D 信息能簡化計(jì)算量，不需要做過多的數(shù)據(jù)采集和模型訓(xùn)練。屏下3D 結(jié)構(gòu)光作為全面屏的核心技術(shù)，雖然技術(shù)本身還有要攻克的難點(diǎn)，國產(chǎn)化能力也需要加強(qiáng)，但應(yīng)用前景比較樂觀。

“未來一兩年的時間里，屏下3D 結(jié)構(gòu)光技術(shù)應(yīng)該就能大規(guī)模運(yùn)用。”

作者 | 秀松

編輯 | 余快