淺談?dòng)?jì)算成像：前言篇（一）

計(jì)算成像這一個(gè)領(lǐng)域我斷斷續(xù)續(xù)關(guān)注已有一段時(shí)間，但是實(shí)操去進(jìn)行coding的經(jīng)驗(yàn)還相對(duì)有限，本文及后續(xù)系列文章旨在分享我對(duì)計(jì)算成像領(lǐng)域的認(rèn)識(shí)、相關(guān)算法總結(jié)，相關(guān)器件和光學(xué)系統(tǒng)設(shè)計(jì)等。長(zhǎng)期關(guān)注我的讀者可能已經(jīng)注意到，我的專(zhuān)業(yè)領(lǐng)域主要集中在器件、物理、硬件層面，雖然計(jì)算成像我斷斷續(xù)續(xù)關(guān)注已有一段時(shí)間，對(duì)于全息重建、ptycho、TIE，橫向剪切干涉、單像素等有一些摸索，但是實(shí)操經(jīng)驗(yàn)還相對(duì)有限，對(duì)于算法和系統(tǒng)層面的深入理解也有所欠缺，如果本文存在任何疏漏，懇請(qǐng)各位不吝賜教！也希望相關(guān)同行能多多交流~

/00? 前言1：對(duì)光學(xué)系統(tǒng)的思考/

作為一個(gè)曾經(jīng)研究光電器件的博士，我一度覺(jué)得光電探測(cè)器件是光電模組的核心，總是思考著如何實(shí)現(xiàn)高性能的、多功能的器件，實(shí)現(xiàn)精簡(jiǎn)（乃至去掉）光學(xué)模組、簡(jiǎn)化讀出電路、并且化簡(jiǎn)后端算法處理（乃至所見(jiàn)即所得）。后來(lái)逐漸接觸到了光學(xué)系統(tǒng)、成像算法，才逐漸對(duì)“模組”和“系統(tǒng)”的概念有了更深刻的理解。相關(guān)的感悟主要有以下三點(diǎn)：

1. 系統(tǒng)最優(yōu)化而非單體最優(yōu)化：

如果只盯著模組里的單項(xiàng)，實(shí)現(xiàn)其單體最優(yōu)化并不能實(shí)現(xiàn)系統(tǒng)最優(yōu)化，比如最好的探測(cè)器件并不見(jiàn)得可以構(gòu)成最優(yōu)的探測(cè)模組，比如從降低器件噪聲上說(shuō)，如果僅僅從感光像素上出發(fā)實(shí)現(xiàn)低噪聲像素設(shè)計(jì)，探索異質(zhì)結(jié)勢(shì)壘設(shè)計(jì)、低壓雪崩、暗電流抑制等技術(shù)，不但器件設(shè)計(jì)和工藝探索的難度大，而且還會(huì)面臨成本問(wèn)題。如果把低噪聲這一指標(biāo)壓力同時(shí)下發(fā)到器件、電路讀出、算法處理，則更有可能實(shí)現(xiàn)系統(tǒng)性能、成本、難度的兼顧。

2. ?器件層面的難點(diǎn)并非系統(tǒng)層面的難點(diǎn)：

近年器件層面已經(jīng)可以實(shí)現(xiàn)很多多維度的光信息探測(cè)了，包括光譜、光偏振。但是這個(gè)時(shí)候需要思考一個(gè)問(wèn)題，把這部分功能實(shí)現(xiàn)放在器件側(cè)真的會(huì)比放在光學(xué)側(cè)更有優(yōu)勢(shì)么？以及所說(shuō)的優(yōu)勢(shì)在什么場(chǎng)景下成立？以光譜探測(cè)為例，現(xiàn)在推出的器件級(jí)別的光譜探測(cè)方案依賴(lài)于超構(gòu)表面、漸變參雜、新興材料，這些技術(shù)都面臨工藝兼容、良率提升、成本控制等問(wèn)題。而相比起來(lái)在光學(xué)側(cè)實(shí)現(xiàn)分光式光譜探測(cè)則相對(duì)成熟，成本可控，唯一的缺點(diǎn)是體積龐大。那么，需要思考的是在什么場(chǎng)景下體積縮小所帶來(lái)的優(yōu)勢(shì)或者收益足以抵消光譜儀器件化所需付出的代價(jià)？此外部分光維度的探測(cè)很難在器件側(cè)實(shí)現(xiàn)，比如相位或說(shuō)是波前，這類(lèi)信息像素不能做直接感知，但是依賴(lài)于干涉進(jìn)行強(qiáng)度信息轉(zhuǎn)化，就能在算法側(cè)很容易的得到解決。

3. 光學(xué)模組是器件、系統(tǒng)、算法的強(qiáng)匹配和聯(lián)合設(shè)計(jì)：

器件、系統(tǒng)、算法領(lǐng)域的專(zhuān)家是需要多多交流和了解對(duì)方領(lǐng)域的，從而把不同的指標(biāo)下發(fā)到不同模組，或者共同承接指標(biāo)的實(shí)現(xiàn)，實(shí)現(xiàn)最少冗余設(shè)計(jì)下性能可用，成本可控、質(zhì)量可靠。以無(wú)透鏡成像為例，如果同時(shí)進(jìn)行像素設(shè)計(jì)，匹配屋無(wú)透鏡算法的需求設(shè)計(jì)小像素探測(cè)陣列、降低探測(cè)靶面鈍化層厚度以降低衍射距離，并犧牲其他不需要的性能，則可以在保證成本情況下實(shí)現(xiàn)相比同類(lèi)更優(yōu)的無(wú)透鏡成像系統(tǒng)，這比單純的優(yōu)化算法或者光源能實(shí)現(xiàn)好的綜合最優(yōu)系統(tǒng)。

/01 前言2：對(duì)計(jì)算成像的思考/

提到計(jì)算成像，可能部分長(zhǎng)期從事實(shí)驗(yàn)，乃至機(jī)理研究的學(xué)者心里會(huì)產(chǎn)生本能的抗拒，對(duì)于實(shí)驗(yàn)+物理黨，我們更愿意接受“所見(jiàn)即所得”的系統(tǒng)和設(shè)備?！盀槭裁葱枰?jì)算成像”這也是我剛接觸這一領(lǐng)域的時(shí)候就思考的一個(gè)問(wèn)題。畢竟所見(jiàn)即所得是最為直接的一種方式。將“計(jì)算”過(guò)程引入“成像”一個(gè)問(wèn)題就是其間接性，比如你如何證明你計(jì)算重建的信息反映了真實(shí)的物理場(chǎng)景而不會(huì)由于反解過(guò)程出現(xiàn)“無(wú)中生有”？

這個(gè)問(wèn)題要回答，我覺(jué)得可以從以下幾個(gè)應(yīng)用場(chǎng)景去看計(jì)算成像的必要性：

信息“不可見(jiàn)”場(chǎng)景：

人眼直接可見(jiàn)的信息是光強(qiáng)度和色彩，但是光作為一種電磁波具有高維度的信息和特征。有些信息和特征是無(wú)關(guān)通過(guò)肉眼觀測(cè)或直接進(jìn)行采集成像的，一個(gè)例子就是光的傳輸相位信息。相位信息里包含了豐富的信息，可用于透明物體成像、細(xì)胞干重測(cè)量、表面形貌成像、缺陷檢測(cè)等應(yīng)用場(chǎng)景。但是相位信息是無(wú)法直接可見(jiàn)的。我們直接可見(jiàn)的信息是振幅信息，而相位、光譜、偏振都一定程度的被丟失了，光學(xué)系統(tǒng)通過(guò)特殊設(shè)計(jì)后可以實(shí)現(xiàn)光譜、偏振的可見(jiàn)，但是完全不依賴(lài)計(jì)算的“可見(jiàn)”需要付出較大的硬件成本代價(jià)，這在某些消費(fèi)級(jí)乃至工業(yè)級(jí)場(chǎng)景下不可接受。

信息“可見(jiàn)不可建”場(chǎng)景：

很多場(chǎng)景下需要對(duì)物體進(jìn)行3D成像，即捕捉并重建物體的三維形狀和外觀。這種技術(shù)在多個(gè)領(lǐng)域都有應(yīng)用，包括醫(yī)學(xué)成像、工業(yè)檢測(cè)、娛樂(lè)和虛擬現(xiàn)實(shí)。然而圖像傳感器只能實(shí)現(xiàn)2D圖像的采集，此時(shí)直接成像不能實(shí)現(xiàn)3D物體的重建。而結(jié)合計(jì)算成像技術(shù)，比如Tomography即可實(shí)現(xiàn)物體的3D信息重構(gòu)。

信息“所見(jiàn)非所得”場(chǎng)景：

在某些成像技術(shù)中，如X射線(xiàn)斷層掃描（CT）或磁共振成像（MRI），原始數(shù)據(jù)通常是一系列投影或測(cè)量值，需要通過(guò)算法重建出最終的圖像。還有在背景噪聲大、運(yùn)動(dòng)模糊、背景干擾等場(chǎng)景，直接采集的信號(hào)并非原始信號(hào)，需要進(jìn)行計(jì)算成像處理將原始信號(hào)進(jìn)行恢復(fù)，對(duì)應(yīng)技術(shù)包括自適應(yīng)光學(xué)、高速攝影成像，計(jì)算降噪等。這一原理也可以反向用于信息加密、隱身、全息等領(lǐng)域。

4. 信息“冗余”場(chǎng)景：

在部分場(chǎng)景，原始圖像中冗余信息較多，如果直接采集會(huì)導(dǎo)致存儲(chǔ)和能耗的浪費(fèi)，此時(shí)引入壓縮感知相關(guān)的計(jì)算成像算法，可以實(shí)現(xiàn)數(shù)據(jù)量的減少和硬件需求的降低。

正如上面討論光譜儀所探討的，沒(méi)有完美的技術(shù)和完美的方案，當(dāng)在某些場(chǎng)景下，某個(gè)技術(shù)的優(yōu)勢(shì)或者帶來(lái)的利益足夠彌補(bǔ)為其所需付出的代價(jià)時(shí)，這個(gè)技術(shù)就具備發(fā)展的潛力和推動(dòng)的意義。正如計(jì)算成像，在上述四種場(chǎng)景下，其相比傳統(tǒng)的直接成像就具備綜合對(duì)比下的性?xún)r(jià)優(yōu)勢(shì)。

下圖圖表展示了成像系統(tǒng)變得不可或缺的眾多領(lǐng)域。其中生物領(lǐng)域的成像涉及到諸多傳統(tǒng)成像方法不可見(jiàn)或者不可建的場(chǎng)景，比如細(xì)胞成像、超聲成像、MRI等。鬼成像則可以用以解決實(shí)現(xiàn)信息冗余問(wèn)題。

圖片來(lái)源：Fourier Optics and Computational Imaging

計(jì)算成像雖然缺乏觀測(cè)的直接性，引入了計(jì)算過(guò)程也帶來(lái)一定的黑盒性，但是計(jì)算成像利用先進(jìn)的算法和計(jì)算技術(shù)實(shí)現(xiàn)了更多維度信息的獲取，整合、處理、增強(qiáng)圖像的質(zhì)量和信息內(nèi)容，同時(shí)也降低了對(duì)硬件的要求。目前，計(jì)算成像領(lǐng)域的研究和應(yīng)用正在不斷擴(kuò)展，它為傳統(tǒng)成像技術(shù)提供了新的視角和可能性，同時(shí)也帶來(lái)了新的挑戰(zhàn)，如算法的復(fù)雜性、計(jì)算資源的需求以及數(shù)據(jù)的安全性和隱私保護(hù)。