?
引言
大家發(fā)現(xiàn)沒有,有了智能手機,用單反的人都少了,為啥,像素越來越高且如此小巧輕便隨時可拍照、可分享的神器,還有各種美圖秀秀的幫忙,愛美的攝影達人和愛臭美的自拍達人們自然愛不釋手。
但是各家手機大牌標榜的各種拍照、成像功能到底是真的假的?有多強大?數(shù)碼粉、技術(shù)控們一定想弄個明白吧,《機友都“好色”》這個系列中,與非網(wǎng)邀請資深、專業(yè)的手機評測人士釣寒江雪對市面上的經(jīng)典機型逐一抽絲剝繭,來看看它們的成像效果到底是虛胖還是真的strong。
華為榮耀6+成像效果大起底
雙攝像頭現(xiàn)在已經(jīng)基本成了智能手機的標配,與非網(wǎng)《機友都“好色”》的第一期我們就對華為的經(jīng)典機型榮耀6+的雙攝像頭成像效果來個大起底。
全聚焦(EDOF)
智能手機存在同一個深度清晰度不同的問題,單反不存在這樣的問題。多幀聚焦位置不同的普通圖形合成EDOF圖像,不同圖像貢獻的權(quán)重不同。顯然下圖中模糊的區(qū)域來源于權(quán)重計算的錯誤,釣寒江雪估計,榮耀6+拼接權(quán)重的計算可能使用了飽和度作為依據(jù),通常離焦圖像飽和度稍低,對于大面積艷麗區(qū)域來說就不一定了,看來還是邊緣強度比較可靠。
圖1
圖2
虛化與先拍照后聚焦
雙攝的好處在于能夠稀稀拉拉估計出一些有一定可靠性的特征點的深度,然后利用類似GRABCUT的方法進行摳圖。然后對摳出的背景進行模糊。下圖中模糊算法顯然出了嚴重的問題,類似的問題也在安卓手機QQ上出現(xiàn)過。釣寒江雪猜測,這個問題可能是壓縮導致的,但是也可能是平滑算法導致的。
色階問題為啥和華為如影隨形呢?根據(jù)專業(yè)的分析,雙邊濾波在顏色平緩過渡且顏色的2階梯微分不為0的區(qū)域容易出現(xiàn)色階,理由是,一階微分小的區(qū)域顏色比較接近,濾波權(quán)重也比較大,反之權(quán)重較小,顏色的緩變在濾波之后變成了突變,這種差異化的權(quán)重可能導致色階。高斯模糊的話,一般不會引入這種色階。釣寒江雪猜測,榮耀6+的算法工程做高斯濾波時定點化處理的時候忘記了4舍5入,或者模糊算法模糊度參考來的鄰域亮度差異。
- 聚焦近景時近景邊緣(與遠景交界處)存在不自然的虛邊,而單反長焦則不會
- 聚焦近景時近景邊緣(與遠景交界處)存在錯誤:重影,鋸齒,鬼影
- 預(yù)覽時沒有根據(jù)深度信息進行摳圖虛化,只是簡單將圖像四周模糊,或者模糊遠離觸點的區(qū)域
圖3 虛化算法存在嚴重的色階
圖4 安卓版手機QQ效果(白紙區(qū)域有嚴重色階)
圖5 安卓圖庫效果
下圖中的鋸齒問題,和光影魔術(shù)手的效果類似,感興趣的朋友也可以試試OPENCV的GRABCUT,真的很像。
圖6 近景外輪廓存在嚴重鋸齒
圖7 近景外輪廓存在嚴重重影
圖8 聚焦近景時,近景的外輪廓存在虛化,這在單反長焦特寫中不存在這樣的虛邊
這是個很有意思的問題,單反長焦大光圈時,前景清晰背景虛化,光圈更大時,近景的外輪廓是會更清晰些的。釣寒江雪認為,理由是近景發(fā)出的光都規(guī)規(guī)矩矩聚焦在感光芯片上,而背景上的光則擴散在傳感器上,光圈越大,擴散越大,擴散越大,反而不容易使近景外輪廓糊掉,反而在擴散不是特別大的時候,會糊得厲害些。釣寒江雪認為,軟件模擬的方式,要做到這一點比較難,但是不做到這一點,看上去會很假。
圖9 聚焦近景時,近景的外輪廓存在遮擋錯位,出現(xiàn)鬼影
?
?
當立體匹配算法出現(xiàn)錯誤,或者摳圖不準時,就容易出現(xiàn)上述鬼影,釣寒江雪認為,這是個技術(shù)上的難點和痛點,并且雙攝像頭方案會一直這么痛下去。
圖10 景深估計高概率錯誤
圖11 背景常常被誤認為是近景,上圖中遠景的一部分被錯誤地虛化
圖12 實驗表明,雙攝像頭對靜止場景HDR沒有任何改進
?
釣寒江雪認為,榮耀6+的HDR還是很不錯的,但是真沒看出來和雙目有啥關(guān)系。
HDR
圖13 HDR運動鬼影并沒有因為雙攝而消除
運動鬼影的出現(xiàn),表示榮耀6+的HDR仍然是基于連拍多張的原理實現(xiàn)的,而并非用兩張同時拍攝的圖片實現(xiàn)的。釣寒江雪認為,榮耀6+的HDR真的很不錯的,要拍攝出上述鬼影,并不容易,華為的HDR鬼影控制還是上了一個大臺階的,可以秒殺高通。
圖14 華為沒有實現(xiàn)雙攝像頭超分辨率(但實現(xiàn)了單攝像頭(8M-13M)單張超分辨率)
常規(guī)預(yù)覽、拍攝及超分辨率(Super Resolution)
實驗表明,雙攝像頭對分辨率沒有任何改進,常規(guī)拍攝沒有發(fā)現(xiàn)過景深估計錯誤導致的鬼影,說明常規(guī)拍攝并沒有使用多幀超分辨率。理由:如果華為擁有完美無暇的景深估計算法,榮耀6+沒有理由在背景虛化時掉鏈子。既然景深估計有瑕疵,用雙攝做超分辨率時就必然也會出現(xiàn)瑕疵。
圖15 榮耀6+單幀超分辨率副作用:2-4個像素的黑邊
?
超級夜景
圖16 超級夜景(有燈)需要長曝光時間(5S以上)有嚴重鬼影
- 降噪有一定效果
- 需要三腳架
- 運動物體會有鬼影
- 不涉及雙攝像頭
?
三腳架主要應(yīng)對長曝光時間的運動模糊,及省略多幀連拍圖像之間的配準計算過程。
增大曝光補償EV時,榮耀6+的問題比較大,畫面霧蒙蒙的,甚至EV值改變后,曝光時間居然沒變。第二天我測了金立E7,發(fā)現(xiàn)EV值改變后,并不會霧蒙蒙 的。釣寒江雪大膽猜測,榮耀6+,調(diào)整EV值的時候,沒有改變曝光值,甚至連Gamma或者OB(optical black)都沒有正兒八經(jīng)去調(diào)一調(diào),弄得霧蒙蒙的。
圖17 EV=-2
圖18 EV=-1
圖19 EV=0
圖20 EV=1,霧感嚴重
圖21 EV=2,霧感嚴重
?
榮耀6+超級夜景總體來說有一定效果,但一旦畫面中有運動物體就不行了,如果要拍攝晚霞,如果云彩有輕微飛動,云就很模糊。
圖22 榮耀6+三腳架固定拍攝的超級夜景
?
超級夜景的一個亮點是加入了HDR,這使燈光不會變胖。不過要拍出這個效果,需要三腳架,不能有行人,如果拍云,拍樹葉,連微風都不能有,拍噴泉的話,肯定也不行了,肯定會糊。
拍完這張圖像,釣寒江雪立馬有一種想去拍晚霞或者日出的沖動,日出或者日落,沒有風,身邊恰好有個能裝榮耀6+的三角架的時候,搞不好能拍出驚艷的效果。但是,不知道要猴年馬月了,還不如用單反輕便。
圖23 金立E7大眼睛手持夜景模式拍攝效果
E7夜景看上去沒有榮耀6那么艷,但是非常實用,很貼心,隨手就能拍到珍貴的景色。
圖24 金立E7大眼睛拍攝,EV=2,完全沒有榮耀6+那種霧感
常規(guī)夜景
圖25 常規(guī)夜景
?
測試:
捂住邊上攝像頭拍攝與不捂住沒有區(qū)別
沒有出現(xiàn)深度不連續(xù)導致的鬼影
結(jié)論
常規(guī)夜景只是用了單個攝像頭
?
暗光(極暗)預(yù)覽與拍攝
暗光下,榮耀6+邊上攝像頭用于拍攝,中間攝像頭用于預(yù)覽,測試方法如下:
捂住邊上攝像頭,可以預(yù)覽但是排除的照片全黑,捂住中間攝像頭預(yù)覽全黑,但可以正常拍攝
?
圖26
聚焦
釣寒江雪沒看出榮耀6+用雙眼對AF的改善,大白天聚焦失敗的情況也時有發(fā)生,更別說夜景了。話說特征點匹配本來就耗時,而聚焦又是毫秒級的應(yīng)用,大膽地猜測,這純屬扯淡。
不過話說回來,聚焦一直是手機的痛,單反其實也一樣。常常興高采烈地拍了一堆照片,拷到電腦上一看,一半糊的,心中那個痛啊。有人說我用iphone 6,其實也就糊少點點,沒有本質(zhì)區(qū)別。釣寒江雪號召各大手機廠商,加油把AF這個問題搞好點,少吹牛?!?/p>
預(yù)覽曝光時間 65毫秒
拍攝曝光時間 85毫秒
圖27 低光下曝光時間測試,一個LED燈亮5毫秒
?
雙攝到底有沒有起作用
- 背景虛化,EDOF,全聚焦拍照時可能使用了雙攝像頭,預(yù)覽時沒有使用
- 極暗場景才使用雙攝像頭,一個預(yù)覽一個拍照,增加預(yù)覽幀率
- 常規(guī)場景沒有使用雙攝像頭
- HDR與夜景(非極暗)沒有使用雙攝像頭
- 雙攝像頭對AF起到的改進難以感覺,或者說沒有改進
榮耀6+總結(jié)
- 華為的采用的8M的SENSOR在低照度下具有較好感光度,加上其多幀降噪技術(shù),其低照度性能得到了明顯提升。但這些和雙攝像頭都無關(guān)
- 華為的超分辨率算法處理時間大概2-3秒,但是巧妙地使用了UI在后臺處理,這讓人覺得處理速度非???。
- 背景虛化,先拍照后聚焦,以及全聚焦會增加一些趣味性,但同時也較大概率地帶來副作用,使圖像質(zhì)量大打折扣。
- 華為的虛化算法處理時間大概2-3秒,但是巧妙地分解在不同的UI操作步驟中,這讓人覺得處理速度非???。
- 超分辨率與HDR 合成都由單攝像頭完成,但HDR運動鬼影抑制比高通好,手抖也幾乎不會導致鬼影。
- 超級夜景有一定效果,使用了HDR,燈光不會長胖,多幀降噪也還可以,但需要使用三腳架,這限制了使用范圍。
雙目立體攝像頭面臨的配準算法的挑戰(zhàn)
- AF問題的影響:AF不可避免帶來焦距的輕微變化,從而帶來圖像輕微縮放甚至中心點漂移,這種復雜變化幾乎無法標定,也就是說縮放本身會增大配準難度,即使配準了,深度信息也會因為中心點漂移而計算不準。IDC分析認為如果采用同步AF的方式,需要增加通信的成本,導致系統(tǒng)變得異常復雜,如果只控制一個攝像頭AF,另外一個跟著動也可以,但前提是模組一致性要很好,而且高溫高濕度撞擊振動等情況發(fā)生時,模組一致性還是要很好才行;
- 視頻:視頻模式下一邊AF,一邊配準,系統(tǒng)會非常復雜;
- 景深不連續(xù):景深不連續(xù)的場景下實現(xiàn)圖像配準算法,時至今日仍然是一個難題,難度遠遠超過了遙感配準,全景拼接配準,及手抖配準。遮擋問題本身就更難解決;
- 全局的單應(yīng)矩陣轉(zhuǎn)換模型:在深度不連續(xù)的場合下,全局的單應(yīng)矩陣轉(zhuǎn)換模型并不適合兩幅圖像之間的幾何變換關(guān)系;
- 卷簾式快門與非剛性:HDR拍攝時,曝光時間不同,果凍效應(yīng)導致的形變量不一致可能導致圖像局部形變不一致。這個問題可能會將剛性配準問題轉(zhuǎn)變?yōu)榉莿傂耘錅蕟栴};
- 全局一致漂移算法配準:全局一致性漂移算法假設(shè)越靠近的像素偏移量越接近,可以用于配準非剛性物體,但是深度不連續(xù)本身就是一種全局不一致,漂移量全局一致性不成立;
- 多模態(tài)圖像配準:如果采用非對稱攝像頭,兩個攝像頭不相同,例如黑白和彩色攝像頭的SENSOR的光譜曲線差異大,配準難度可能增大。
?
圖28
?
對這里面的技術(shù)原理感興趣的,可以參考 雙目攝像技術(shù)分析--突破光學與尺寸的極限
與非網(wǎng)原創(chuàng)內(nèi)容,謝絕轉(zhuǎn)載!