想要提高拍照效果，想必對(duì)于多數(shù)手機(jī)廠商而言，給手機(jī)塞進(jìn)更多的攝像頭似乎成了當(dāng)前主流做法，例如“普通攝像頭+景深攝像頭”、“黑白+彩色攝像頭”、“廣角+長(zhǎng)焦攝像頭”……不過，偏偏有這么一家企業(yè)反其道而行，從發(fā)布 Pixel 系列以來(lái)，就一直堅(jiān)持單攝像頭，并強(qiáng)調(diào)在相機(jī)成像算法上的提升。

不久前的一篇《勝過 iPhone XS？Google Pixel 的“夜視功能”是怎樣煉成的》文章中，我們介紹了 Google 新款手機(jī) Pixel3 系列的夜景拍攝功能（Night Sight）。果然，讀者們對(duì)于如何利用機(jī)器學(xué)習(xí)解決弱光條件下的拍攝難點(diǎn)持有很大興趣。近日，Google Pixel3 在相機(jī)算法的升級(jí)路上越戰(zhàn)越勇，對(duì)“人像模型”（Portrait Mode）拍攝功能進(jìn)行了大幅升級(jí)。相比上一代的 Pixel2，Pixel3 的人像模式可為用戶提供專業(yè)的外景圖像拍攝，并通過模糊背景來(lái)加強(qiáng)主體對(duì)象的清晰度。

去年，Google 團(tuán)隊(duì)描述了相位檢測(cè)自動(dòng)對(duì)焦（PDAF）的技術(shù)，該技術(shù)使用了傳統(tǒng)的非學(xué)習(xí)立體算法，并通過單個(gè)攝像頭計(jì)算景深。如今，在最新推出的 Pixel 上，Google 將采用機(jī)器學(xué)習(xí)改進(jìn)景深捕捉，以獲取更好的人像效果。

如上圖所示，上一代的人像模式主要通過神經(jīng)網(wǎng)絡(luò)決定人與背景成像像素，并使用從 PDAF 導(dǎo)出的景深信息來(lái)增強(qiáng)這兩層人物的分割掩碼(segmentationmask）。這意味著能夠?qū)崿F(xiàn)相應(yīng)的背景虛化效果，更接近于專業(yè)相機(jī)的效果。

PDAF 通過捕捉場(chǎng)景的兩個(gè)略微不同的視角進(jìn)行工作，如下圖所示。在兩個(gè)視角之間翻轉(zhuǎn)，我們看到人是靜止的，而背景是水平移動(dòng)的，這種效果成為視差（parallax）。因?yàn)橐暡钍屈c(diǎn)距相機(jī)的距離與兩個(gè)視點(diǎn)之間距離的函數(shù)，我們可以通過將一個(gè)視角中的每個(gè)點(diǎn)與另一個(gè)視角中的對(duì)應(yīng)點(diǎn)進(jìn)行匹配來(lái)估計(jì)景深。

圖注：左、中的兩個(gè) PDAF 圖像看起來(lái)非常相似，但在右圖中，可以看到它們之間的視差

不過，通過立體算法在 PDAF 中找到這些對(duì)應(yīng)關(guān)系極具挑戰(zhàn)性，因?yàn)閳?chǎng)景中的點(diǎn)幾乎不在視圖之間移動(dòng)。此外，所有的立體聲技術(shù)都存在孔徑問題(Aperture Problem)。也就是說，機(jī)器通過小光圈觀察場(chǎng)景，無(wú)法找到與立體基線平行的線的對(duì)應(yīng)關(guān)系，即連接兩個(gè)攝像頭的線。換言之，當(dāng)觀察上圖中的水平線（或縱向拍攝的垂直線）時(shí)，一個(gè)視角相對(duì)于另一個(gè)視角的任意可能的位移都看起來(lái)大致相同。結(jié)果，在上一代的人像模式中，以上提到的所有因素都有可能導(dǎo)致景深捕捉錯(cuò)誤，產(chǎn)生令人不快的虛假圖像。

如何改善景深捕捉？

Pixel3 采用的人像模式，通過利用立體算法產(chǎn)生的視差來(lái)修復(fù)這些誤差。例如，遠(yuǎn)離焦距平面的點(diǎn)看起來(lái)不如較近的點(diǎn)那么清晰銳利，利用了“背景離焦”模式。此外，即使在平面屏幕上觀看圖像，也能通過物體的大致大小準(zhǔn)確判斷物體有多遠(yuǎn)，利用了“語(yǔ)義”模式。

如果構(gòu)建一種能將以上不同的模式組合起來(lái)的算法是非常困難的，但我們可以通過機(jī)器學(xué)習(xí)進(jìn)行構(gòu)建，并更好地利用 PDAF 的“視差”。具體來(lái)講，訓(xùn)練一個(gè)用 TensorFlow 編寫的卷積神經(jīng)網(wǎng)絡(luò)，可以將 PDAF 作為輸入并進(jìn)行景深預(yù)測(cè)。這種新式改進(jìn)的基于機(jī)器學(xué)習(xí)的景深捕捉方法被應(yīng)用在了 Pixel3 的人像模式中。

圖注：CNN 將 PDAF 圖像作為輸入，并輸出景深圖像。該網(wǎng)絡(luò)使用“編碼-解碼”架構(gòu)

如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)？

為了訓(xùn)練網(wǎng)絡(luò)，開發(fā)人員需要大量的 PDFA 圖像和對(duì)應(yīng)的高質(zhì)量景深圖，并且保證訓(xùn)練數(shù)據(jù)與用戶使用智能手機(jī)拍攝的照片內(nèi)容類似。為了實(shí)現(xiàn)這一目標(biāo)，我們構(gòu)建了自己的定制“Frankenphone”裝備，其中包括五臺(tái) Pixel3 手機(jī)，以及基于 WiFi 的解決方案，使其能夠同時(shí)捕捉來(lái)自所有手機(jī)的圖片（在~2 毫秒的容差范圍內(nèi)）。通過這個(gè)設(shè)備，我們使用來(lái)自運(yùn)動(dòng)和多視圖立體的結(jié)構(gòu)從照片計(jì)算出高質(zhì)量的景深。

圖注：左：用于收集訓(xùn)練數(shù)據(jù)的自定義裝備；中：一個(gè)捕獲五個(gè)圖像翻轉(zhuǎn)的示例；右：真實(shí)景深，低保真點(diǎn)

該裝備收集的數(shù)據(jù)適用于訓(xùn)練網(wǎng)絡(luò)，主要基于以下五點(diǎn)因素：

五個(gè)視點(diǎn)確保在多個(gè)方向上存在視差，因此不存在孔徑問題；

攝像頭的位置要確保圖像中的某一點(diǎn)在至少一張圖像中是可見的，并一一對(duì)應(yīng)；

基線，即相機(jī)之間的距離要比 PDAF 的基線大得多，從而產(chǎn)生更準(zhǔn)確的景深捕捉；

攝像頭同步確保可以計(jì)算上述動(dòng)態(tài)場(chǎng)景的景深；

該裝備具有便捷性，確保可捕捉野外照片，模擬用戶使用智能手機(jī)拍攝的情況。

然而，即使從該裝備捕獲的數(shù)據(jù)是理想狀態(tài)，預(yù)測(cè)場(chǎng)景中物體的絕對(duì)深度仍然極具挑戰(zhàn)性，因?yàn)槿Q于鏡頭特性、焦距等因素，給定的 PDAF 對(duì)可以對(duì)應(yīng)一系列不同的景深圖像。為了解釋這一點(diǎn)，我們改為捕捉場(chǎng)景中物體的相對(duì)景深，這足以產(chǎn)生令人滿意的人像模式結(jié)果。

值得一提的是，這個(gè)基于機(jī)器學(xué)習(xí)模式的景深捕捉模型目前主要應(yīng)用于 Pixel3 手機(jī)上。此外，通過使用 TensorFlow Lite 用于在移動(dòng)和嵌入式設(shè)備上運(yùn)行機(jī)器學(xué)習(xí)模型的跨平臺(tái)解決方案，可以將得到的景深信息與分割掩碼神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)合。

看到這里，不知道習(xí)慣了使用 iOS 系統(tǒng)手機(jī)的你，是不是正蠢蠢欲動(dòng)回歸在性能、價(jià)位日益提升的 Android 手機(jī)呢？

據(jù)最新消息稱，Google 決定開放自己的相機(jī)算法授權(quán)給其他 Android 品牌使用，此前 Google 就開源了 Pixel2 系列的相機(jī)虛化算法。歡迎留言。