計(jì)算成像這個(gè)方向我最早接觸是從手機(jī)多攝和夜景算法開始的。當(dāng)時(shí)一直有個(gè)疑問為什么同樣一片傳感器有的團(tuán)隊(duì)能拍出接近單反的夜景有的卻連基本細(xì)節(jié)都糊成一團(tuán)后來才慢慢意識(shí)到差距不在后期調(diào)色而在對成像物理過程的理解深度。計(jì)算成像的核心就是把光怎么變成電信號這件事用數(shù)學(xué)寫清楚再反過來解出我們真正想要的圖像。這一講我想把入門最關(guān)鍵的三個(gè)概念——前向模型、逆問題、AI——用從業(yè)者的視角講透不堆公式重點(diǎn)說清楚它們各自解決什么問題、為什么必須這樣設(shè)計(jì)、實(shí)際落地時(shí)哪里最容易翻車。1. 計(jì)算成像到底在算什么從拍照到解方程的思維轉(zhuǎn)變1.1 傳統(tǒng)成像和計(jì)算成像的分水嶺在哪里傳統(tǒng)相機(jī)的邏輯很直接鏡頭把場景聚焦到傳感器上傳感器把光強(qiáng)轉(zhuǎn)成電壓讀出電路量化成像素值一張圖就出來了。整個(gè)過程是物理直接映射圖像質(zhì)量取決于光學(xué)設(shè)計(jì)和傳感器工藝軟件能做的只是錦上添花。計(jì)算成像不一樣它承認(rèn)一個(gè)事實(shí)從場景到最終圖像之間存在一個(gè)可以被建模的變換過程而這個(gè)變換往往是病態(tài)的——信息在傳遞中丟失了、混疊了、被噪聲污染了。一旦你接受這個(gè)前提思路就完全變了。你不再問怎么把鏡頭做得更好而是問我能不能設(shè)計(jì)一個(gè)編碼方式讓傳感器記錄的不是最終圖像而是某種中間測量值然后通過計(jì)算把原始場景恢復(fù)出來。這就是計(jì)算成像的本質(zhì)把成像問題轉(zhuǎn)化為一個(gè)數(shù)學(xué)反演問題。單像素相機(jī)、編碼孔徑、光場相機(jī)、無透鏡成像全都是這個(gè)思路的產(chǎn)物。我常跟新人打一個(gè)比方傳統(tǒng)成像像是用復(fù)印機(jī)復(fù)印文件復(fù)印質(zhì)量取決于機(jī)器計(jì)算成像是先把文件打散成碎片、編碼后存儲(chǔ)再根據(jù)碎片的統(tǒng)計(jì)規(guī)律拼回原文。前者簡單直接后者靈活但需要更強(qiáng)的數(shù)學(xué)工具。1.2 為什么必須先把前向模型寫出來前向模型forward model是計(jì)算成像的地基。它描述的是給定一個(gè)真實(shí)場景 x經(jīng)過成像系統(tǒng)的物理過程最終得到測量值 y 的映射關(guān)系通常寫成 y A(x) n其中 A 是成像算子n 是噪聲。這個(gè)式子看起來簡單但它是整個(gè)系統(tǒng)設(shè)計(jì)的起點(diǎn)。為什么必須先寫前向模型因?yàn)槟鎲栴}的求解完全依賴于它。你不知道 A 長什么樣就不知道哪些信息被保留、哪些被丟棄也就無法判斷恢復(fù)是否可能。舉個(gè)例子編碼孔徑成像里A 是一個(gè)由編碼圖案決定的卷積加下采樣算子如果你把編碼圖案設(shè)計(jì)成隨機(jī)二值矩陣A 的頻域響應(yīng)就比較平坦逆問題相對好解如果設(shè)計(jì)成有規(guī)律的低頻圖案高頻信息幾乎全丟再強(qiáng)的算法也救不回來。實(shí)際項(xiàng)目中我見過太多團(tuán)隊(duì)跳過前向建模直接上深度學(xué)習(xí)結(jié)果網(wǎng)絡(luò)在訓(xùn)練集上表現(xiàn)很好換一個(gè)場景就崩。原因很簡單網(wǎng)絡(luò)隱式學(xué)到的 A 和真實(shí)物理過程不一致泛化能力自然差。前向模型不是學(xué)術(shù)裝飾它是約束算法搜索空間的物理先驗(yàn)。1.3 逆問題為什么病態(tài)病態(tài)體現(xiàn)在哪逆問題就是已知 y 和 A求 x。聽起來是解方程但成像里的逆問題幾乎都是病態(tài)的ill-posed主要體現(xiàn)在三個(gè)方面。第一是不適定多個(gè)不同的 x 可能產(chǎn)生相同的 y。比如下采樣操作把 4K 圖像降成 1080p無數(shù)張 4K 圖都能降成同一張 1080p 圖你無法唯一確定原圖。第二是不穩(wěn)定y 里一點(diǎn)點(diǎn)噪聲可能導(dǎo)致解出來的 x 面目全非。第三是解不存在由于噪聲和模型誤差嚴(yán)格滿足 y Ax 的 x 可能根本不存在。病態(tài)意味著你不能直接求逆必須引入正則化或先驗(yàn)。這就是為什么計(jì)算成像和優(yōu)化理論、統(tǒng)計(jì)推斷、深度學(xué)習(xí)深度綁定——它們本質(zhì)上都在提供什么樣的 x 是合理的這個(gè)先驗(yàn)信息。稀疏性、低秩、深度圖像先驗(yàn)、擴(kuò)散模型先驗(yàn)都是不同形式的正則化手段。2. 前向模型的構(gòu)建細(xì)節(jié)從物理過程到矩陣算子2.1 把光學(xué)、傳感器、噪聲拆成可計(jì)算的模塊構(gòu)建前向模型的第一步是分解物理鏈路。一個(gè)典型的成像鏈路可以拆成場景輻射度 → 光學(xué)系統(tǒng)傳遞 → 傳感器采樣 → 讀出噪聲 → 量化。每一段都可以單獨(dú)建模最后乘起來或級聯(lián)起來。光學(xué)部分通常用點(diǎn)擴(kuò)散函數(shù)PSF描述它告訴你一個(gè)理想點(diǎn)光源經(jīng)過系統(tǒng)后在傳感器上變成什么形狀。如果系統(tǒng)是空間不變的光學(xué)傳遞就是一個(gè)卷積如果空間變化比如大視場鏡頭邊緣畸變嚴(yán)重就得用分塊卷積或更復(fù)雜的算子。傳感器部分涉及采樣和積分像素不是理想點(diǎn)它有一定面積會(huì)對入射光做空間積分這個(gè)積分本身就是一個(gè)低通濾波。噪聲部分要區(qū)分讀出噪聲、散粒噪聲、暗電流它們的統(tǒng)計(jì)特性不同散粒噪聲服從泊松分布讀出噪聲通常近似高斯。我一般建議新人先用最簡模型跑通假設(shè)空間不變、只考慮高斯噪聲把 A 寫成卷積矩陣。等這條鏈路驗(yàn)證沒問題再逐步加入空間變化、泊松噪聲、量化誤差。一次性建太復(fù)雜的模型調(diào)試成本會(huì)高到讓你懷疑人生。2.2 離散化連續(xù)物理模型怎么變成矩陣真實(shí)世界是連續(xù)的但計(jì)算必須離散。離散化的關(guān)鍵是把連續(xù)算子 A 用矩陣或可快速計(jì)算的算子表示。對于卷積型成像A 可以寫成托普利茲矩陣或循環(huán)矩陣后者可以用 FFT 加速復(fù)雜度從 O(N2) 降到 O(N log N)。對于編碼孔徑這類系統(tǒng)A 往往是編碼圖案逐元素相乘 卷積 下采樣的組合。這里有個(gè)容易踩的坑離散化尺度選擇。如果場景的離散網(wǎng)格比傳感器像素細(xì)太多A 的維度會(huì)爆炸如果太粗又會(huì)丟失高頻細(xì)節(jié)導(dǎo)致模型和真實(shí)物理不匹配。我的經(jīng)驗(yàn)是離散網(wǎng)格至少要比傳感器像素密度高一倍給逆問題留出超分辨的空間同時(shí)用算子形式不顯式構(gòu)造矩陣來控制內(nèi)存。另一個(gè)細(xì)節(jié)是邊界條件。卷積時(shí)圖像邊界怎么處理直接影響邊緣區(qū)域的恢復(fù)質(zhì)量。零填充會(huì)引入暗邊周期延拓會(huì)產(chǎn)生環(huán)繞偽影對稱延拓相對溫和但也不是萬能。實(shí)際項(xiàng)目里我會(huì)根據(jù)場景內(nèi)容選邊界策略并在損失函數(shù)里對邊界區(qū)域單獨(dú)加權(quán)。2.3 噪聲建模為什么不能一律當(dāng)高斯處理噪聲建模是前向模型里最容易被低估的部分。很多論文為了數(shù)學(xué)方便直接假設(shè)加性高斯噪聲但真實(shí)傳感器在低照度下主要是散粒噪聲服從泊松分布它的方差和信號強(qiáng)度相關(guān)不是常數(shù)。如果把泊松噪聲當(dāng)高斯處理逆問題的求解會(huì)出現(xiàn)系統(tǒng)性偏差亮區(qū)噪聲被高估暗區(qū)噪聲被低估恢復(fù)出來的圖像要么暗部噪聲爆炸要么亮部過度平滑。正確做法是用泊松-高斯混合模型或者用方差穩(wěn)定變換如 Anscombe 變換把泊松噪聲近似轉(zhuǎn)成高斯再套用成熟的高斯去噪算法。我在一個(gè)低照度成像項(xiàng)目里吃過這個(gè)虧。最初用高斯假設(shè)暗部恢復(fù)出來全是彩色噪點(diǎn)換成泊松模型后同樣的算法框架暗部信噪比提升了將近一倍。噪聲模型選錯(cuò)后面所有優(yōu)化都是在錯(cuò)誤的道路上狂奔。3. 逆問題求解的三條路線優(yōu)化、迭代、學(xué)習(xí)3.1 基于正則化的優(yōu)化方法從 Tikhonov 到全變分最經(jīng)典的逆問題求解是正則化優(yōu)化minimize ||y - Ax||2 λR(x)第一項(xiàng)保證數(shù)據(jù)一致性第二項(xiàng) R(x) 是正則項(xiàng)λ 控制兩者權(quán)衡。Tikhonov 正則用 L2 范數(shù)解有閉式形式計(jì)算快但會(huì)過度平滑邊緣。全變分TV正則用梯度稀疏性能保邊但優(yōu)化是非光滑的需要 ADMM、 primal-dual 等算法。選正則項(xiàng)本質(zhì)是在選先驗(yàn)。TV 適合分段常數(shù)圖像比如醫(yī)學(xué) CT、遙感對于紋理豐富的自然圖像TV 會(huì)產(chǎn)生塑料感這時(shí)候可以考慮高階 TV、非局部均值或稀疏字典。λ 的選擇也很講究太大則細(xì)節(jié)丟失太小則噪聲放大常用 L 曲線法或交叉驗(yàn)證來定。我個(gè)人的經(jīng)驗(yàn)是優(yōu)化類方法可解釋性強(qiáng)、理論保證好適合對穩(wěn)定性要求高的場景比如工業(yè)檢測、醫(yī)學(xué)重建。但它的缺點(diǎn)是求解慢而且正則項(xiàng)的表達(dá)能力有限面對復(fù)雜先驗(yàn)時(shí)力不從心。3.2 迭代重建Plug-and-Play 為什么好用Plug-and-PlayPnP是這幾年非常實(shí)用的框架。它的核心思想是把優(yōu)化算法如 ADMM里的去噪子問題替換成一個(gè)現(xiàn)成的去噪器這個(gè)去噪器可以是 BM3D、NLM也可以是訓(xùn)練好的 CNN。這樣一來你既保留了優(yōu)化框架的收斂性又借用了強(qiáng)大去噪器的先驗(yàn)表達(dá)能力。PnP 的好處是模塊化前向模型 A 和去噪器解耦換傳感器只需改 A換先驗(yàn)只需換去噪器。我在做多模態(tài)融合成像時(shí)特別依賴這個(gè)特性不同模態(tài)的前向模型不同但去噪先驗(yàn)可以共享。不過 PnP 也有坑。去噪器的噪聲水平參數(shù)必須和迭代過程中的等效噪聲匹配否則會(huì)震蕩或不收斂。實(shí)踐中我會(huì)用一個(gè)噪聲水平調(diào)度策略從大到小逐步降低模擬退火的感覺。另外PnP 的收斂性理論保證比純優(yōu)化弱需要監(jiān)控殘差和目視檢查。3.3 深度展開網(wǎng)絡(luò)把迭代算法展開成網(wǎng)絡(luò)深度展開deep unfolding是把迭代算法的每一步映射成網(wǎng)絡(luò)的一層展開固定次數(shù)后端到端訓(xùn)練。比如 ISTA 展開成 LISTAADMM 展開成 ADMM-Net。這樣網(wǎng)絡(luò)結(jié)構(gòu)有物理意義參數(shù)量比黑箱網(wǎng)絡(luò)少泛化性通常更好。展開網(wǎng)絡(luò)的關(guān)鍵設(shè)計(jì)是哪些參數(shù)可學(xué)習(xí)、哪些固定。前向算子 A 通常固定它是物理的步長、閾值、正則權(quán)重可以學(xué)習(xí)。訓(xùn)練時(shí)用真實(shí)測量值 y 和真值 x 配對損失用 MSE 或感知損失。我實(shí)測下來展開網(wǎng)絡(luò)在訓(xùn)練分布內(nèi)表現(xiàn)極好但分布外泛化仍然依賴訓(xùn)練數(shù)據(jù)的多樣性。如果訓(xùn)練集只有某類場景換場景后性能下降明顯。解決辦法是加入物理仿真數(shù)據(jù)做增廣或者在損失里加入前向一致性約束強(qiáng)制網(wǎng)絡(luò)輸出經(jīng)過 A 后仍能匹配 y。4. AI 在計(jì)算成像里的真實(shí)角色不是替代物理而是補(bǔ)先驗(yàn)4.1 端到端網(wǎng)絡(luò)能做什么、不能做什么端到端網(wǎng)絡(luò)直接從測量 y 回歸圖像 x省去了顯式建模和迭代。它在特定任務(wù)上確實(shí)能打比如固定編碼孔徑的超分辨、特定顯微鏡的點(diǎn)擴(kuò)散函數(shù)反卷積。但它有兩個(gè)硬傷。第一是物理不一致。網(wǎng)絡(luò)輸出的 x 經(jīng)過真實(shí)前向模型 A 后未必能得到接近 y 的測量值這意味著它可能編造了不存在的細(xì)節(jié)。第二是泛化差。訓(xùn)練時(shí)的噪聲水平、編碼圖案、場景分布一變性能就崩。我見過一個(gè)端到端去模糊網(wǎng)絡(luò)訓(xùn)練時(shí)用高斯模糊核換成運(yùn)動(dòng)模糊后輸出全是偽影。所以端到端網(wǎng)絡(luò)適合場景固定、數(shù)據(jù)充足的封閉任務(wù)不適合開放環(huán)境。要用它最好加上前向一致性損失或者用展開結(jié)構(gòu)約束。4.2 擴(kuò)散模型和 score-based 方法帶來的新可能擴(kuò)散模型作為先驗(yàn)是這兩年計(jì)算成像里最讓人興奮的方向。它的思路是訓(xùn)練一個(gè)去噪網(wǎng)絡(luò)學(xué)習(xí)圖像分布的 score 函數(shù)然后在逆問題求解時(shí)用這個(gè) score 作為先驗(yàn)通過迭代采樣恢復(fù)圖像。相比傳統(tǒng)正則擴(kuò)散先驗(yàn)的表達(dá)能力強(qiáng)得多能生成紋理自然、細(xì)節(jié)豐富的結(jié)果。實(shí)際用法有幾種一是把擴(kuò)散模型當(dāng)作 PnP 里的去噪器替換 BM3D二是用擴(kuò)散后驗(yàn)采樣DPS直接在測量條件下采樣三是用擴(kuò)散模型做后處理先優(yōu)化求解再擴(kuò)散精修。我在一個(gè)稀疏視角 CT 重建項(xiàng)目里試過 DPS相比 TV 正則細(xì)節(jié)恢復(fù)明顯更好但采樣速度慢需要幾百步迭代實(shí)時(shí)性差。擴(kuò)散模型的坑在于采樣步數(shù)、噪聲調(diào)度、條件引導(dǎo)強(qiáng)度都需要調(diào)而且它對前向模型的準(zhǔn)確性很敏感。如果 A 有偏差擴(kuò)散模型會(huì)自信地生成錯(cuò)誤結(jié)構(gòu)。4.3 數(shù)據(jù)驅(qū)動(dòng)先驗(yàn)和物理模型的融合策略最穩(wěn)的方案永遠(yuǎn)是物理模型加數(shù)據(jù)先驗(yàn)的混合。具體做法用前向模型保證數(shù)據(jù)一致性用神經(jīng)網(wǎng)絡(luò)提供先驗(yàn)兩者在優(yōu)化框架里交替。PnP、展開網(wǎng)絡(luò)、擴(kuò)散先驗(yàn)都屬于這個(gè)范疇。融合的粒度可以不同。粗粒度是 PnP去噪器和前向算子完全解耦中粒度是展開網(wǎng)絡(luò)每層都有物理結(jié)構(gòu)細(xì)粒度是把物理參數(shù)也做成可學(xué)習(xí)比如讓網(wǎng)絡(luò)同時(shí)估計(jì) PSF 和圖像。細(xì)粒度最靈活但最難訓(xùn)練容易陷入局部最優(yōu)。我的建議是先從 PnP 入手驗(yàn)證前向模型和去噪先驗(yàn)是否匹配穩(wěn)定后再嘗試展開網(wǎng)絡(luò)提升速度如果對生成質(zhì)量要求極高且算力充足再上擴(kuò)散先驗(yàn)。不要一上來就端到端那是在給自己挖坑。5. 實(shí)操中那些文檔不會(huì)告訴你的坑5.1 仿真數(shù)據(jù)和真實(shí)數(shù)據(jù)的域 gap 怎么縮小做計(jì)算成像研究前期幾乎都在仿真數(shù)據(jù)上驗(yàn)證。但仿真和真實(shí)之間有一道鴻溝仿真假設(shè)的 PSF、噪聲、編碼圖案和真實(shí)系統(tǒng)總有偏差。這個(gè) gap 不處理算法上真實(shí)設(shè)備就廢。縮小 gap 的常用手段一是標(biāo)定真實(shí)系統(tǒng)的 PSF 和噪聲參數(shù)用實(shí)測值替換仿真假設(shè)二是做域隨機(jī)化訓(xùn)練時(shí)隨機(jī)擾動(dòng) PSF、噪聲水平、編碼圖案讓網(wǎng)絡(luò)見過足夠多的變化三是用少量真實(shí)配對數(shù)據(jù)做微調(diào)。我在一個(gè)無透鏡成像項(xiàng)目里先用仿真預(yù)訓(xùn)練再用 50 組真實(shí)數(shù)據(jù)微調(diào)最終真實(shí)場景的 PSNR 比純仿真訓(xùn)練高了 4 dB 以上。標(biāo)定這件事值得單獨(dú)說。PSF 標(biāo)定通常用點(diǎn)光源或刀口法但真實(shí)系統(tǒng)的 PSF 可能隨視場變化單點(diǎn)標(biāo)定不夠。我會(huì)在視場里選多個(gè)位置分別標(biāo)定然后插值得到空間變化的 PSF。噪聲標(biāo)定則用暗場和多亮度平場擬合出噪聲方差和信號強(qiáng)度的關(guān)系。5.2 評價(jià)指標(biāo)選錯(cuò)優(yōu)化方向就錯(cuò)了PSNR 和 SSIM 是最常用的指標(biāo)但它們和人類視覺感知的相關(guān)性有限。計(jì)算成像里如果目標(biāo)是視覺質(zhì)量PSNR 高不代表好看如果目標(biāo)是下游任務(wù)檢測、分割那應(yīng)該直接用下游指標(biāo)評估。我踩過的坑一個(gè)去噪項(xiàng)目PSNR 優(yōu)化到很高但下游目標(biāo)檢測的 mAP 反而下降因?yàn)檫^度平滑把一些小目標(biāo)抹掉了。后來改用感知損失加下游任務(wù)損失聯(lián)合訓(xùn)練才把問題解決。所以指標(biāo)選擇要服務(wù)于最終目標(biāo)。重建任務(wù)看 PSNR/SSIM感知任務(wù)看 LPIPS下游任務(wù)看任務(wù)指標(biāo)。最好多個(gè)指標(biāo)一起看避免被單一指標(biāo)誤導(dǎo)。5.3 算力、內(nèi)存和實(shí)時(shí)性的現(xiàn)實(shí)約束計(jì)算成像的算法往往很重尤其是擴(kuò)散先驗(yàn)和深度展開。實(shí)際部署時(shí)算力和內(nèi)存是硬約束。我見過論文里的算法在服務(wù)器上跑幾分鐘一張圖到嵌入式設(shè)備上根本跑不動(dòng)。優(yōu)化方向一是用算子形式避免顯式構(gòu)造大矩陣用 FFT 或稀疏矩陣加速二是模型量化、剪枝、蒸餾三是減少迭代步數(shù)用展開網(wǎng)絡(luò)替代長迭代四是分塊處理把大圖切成小塊分別恢復(fù)再拼接但要注意塊間一致性避免拼接縫。實(shí)時(shí)性要求高的場景比如手機(jī)夜景、自動(dòng)駕駛通常只能用輕量展開網(wǎng)絡(luò)或 PnP 加快速去噪器。擴(kuò)散模型目前還很難做到實(shí)時(shí)除非用蒸餾或一致性模型加速。6. 入門學(xué)習(xí)路徑和第一個(gè)可跑通的項(xiàng)目建議6.1 數(shù)學(xué)和編程基礎(chǔ)該補(bǔ)到什么程度入門計(jì)算成像數(shù)學(xué)上需要線性代數(shù)矩陣、特征值、SVD、優(yōu)化理論凸優(yōu)化、梯度下降、ADMM、概率統(tǒng)計(jì)貝葉斯、最大似然、噪聲模型。不需要一上來就啃透邊做邊補(bǔ)效率更高。編程上Python 是絕對主力NumPy 做數(shù)值計(jì)算SciPy 做優(yōu)化和信號處理PyTorch 做深度學(xué)習(xí)和 GPU 加速。建議熟練掌握用 FFT 做卷積、用自動(dòng)微分求梯度、用 GPU 批量處理。MATLAB 在光學(xué)和醫(yī)學(xué)成像社區(qū)仍有大量遺產(chǎn)代碼看得懂就行新項(xiàng)目我基本都用 Python。6.2 從哪個(gè)小項(xiàng)目切入最合適我推薦從圖像去模糊或單像素成像仿真切入。去模糊的前向模型簡單卷積加噪聲逆問題經(jīng)典資料多容易跑通。單像素成像則能完整體驗(yàn)編碼、測量、重建的全流程而且前向模型清晰適合理解計(jì)算成像的精髓。具體步驟先寫前向模型用已知圖像生成仿真測量值然后實(shí)現(xiàn)一個(gè) TV 正則的優(yōu)化求解看恢復(fù)效果再換成 PnP 或展開網(wǎng)絡(luò)對比提升最后加入噪聲、模型誤差觀察魯棒性。這一套走下來前向模型、逆問題、AI 三條線就都摸到了。6.3 怎么判斷自己真的入門了一個(gè)簡單的標(biāo)準(zhǔn)給你一個(gè)新的成像系統(tǒng)你能獨(dú)立寫出它的前向模型判斷逆問題是否病態(tài)、病態(tài)在哪選擇合適的正則或先驗(yàn)并解釋為什么這么選。能做到這些說明你已經(jīng)從調(diào)包進(jìn)入設(shè)計(jì)階段。再高一級的標(biāo)準(zhǔn)你能設(shè)計(jì)編碼圖案或光學(xué)系統(tǒng)主動(dòng)改善逆問題的條件數(shù)讓后續(xù)重建更容易。這就是計(jì)算成像從計(jì)算輔助成像走向計(jì)算驅(qū)動(dòng)成像的標(biāo)志也是這個(gè)領(lǐng)域最有意思的地方。我在實(shí)際項(xiàng)目里最深的體會(huì)是計(jì)算成像的難點(diǎn)從來不在某個(gè)算法而在對整個(gè)鏈路的理解。前向模型錯(cuò)了逆問題再花哨也沒用先驗(yàn)選錯(cuò)了AI 再強(qiáng)也救不回來。把物理、數(shù)學(xué)、學(xué)習(xí)三件事打通才是這個(gè)方向真正的門檻。