照一張美美的自拍照一直是一個技術活！如果要和小伙伴們一起拍出一張漂亮的自拍那更是需要耐心加技術才能搞定，你需要握好手機準備好拍照、看著相機并擺好pose，更重要的是要保證所有的小伙伴都在鏡頭內(nèi)沒有眨眼跑偏！一瞬間要行云流水地完成這些動作對于不經(jīng)常自拍小伙伴們還是有點挑戰(zhàn)的。

那么，現(xiàn)在都9102年的AI時代了，智能相機能不能幫我們拍出好看的自拍呢？讓我們來看看谷歌給出的答案。其實在去年年底，谷歌推出了一款名為Clips的應用就給智能相機打下了堅實的基礎。Clips可以在移動端分析拍攝的質(zhì)量，并從一小段視頻中找出用戶最美的瞬間?；谶@樣的技術，谷歌的研究人員開發(fā)了可以智能抓拍自拍的新應用PhotoBooth。

這個應用將會為你捕捉最美的瞬間，無論是單人、情侶還是多人的小伙伴們，他都會找到最合適的姿勢角度和快門為你記錄下最美的時刻。在進入軟件后它能自動識別其中人臉的表情和眼睛，在大家都睜眼并且表情很棒的時候幫你按下快門。這一針對自拍的技術專門對前置攝像頭進行了優(yōu)化，此外科研人員在逐一解決了三個挑戰(zhàn)才使得這一技術變?yōu)楝F(xiàn)實。為了實現(xiàn)Photobooth，

首先需要解決如何識別人群中眾多主體的表情是否到位；

隨后需要確定曝光時間已記錄最佳的圖像結果；

最后還需要為提供視覺輔助元素UI幫助用戶調(diào)整姿勢和表情以便相機可以拍攝下最好的你！

為優(yōu)質(zhì)內(nèi)容建模

為了拍下最美的瞬間，那么理解什么是美什么是好的姿勢和表情就尤為重要了。在自拍中相機需要識別是不是所有的人都在看鏡頭、或者當情侶在接吻時抓拍下浪漫一刻。為了實現(xiàn)對優(yōu)質(zhì)內(nèi)容的理解和抓拍，Photobooth利用了兩個自拍模型來實現(xiàn)，分別用于檢測面部表情和親吻的動作。

通過和攝影師合作，研究人員提取出了五種高頻表情用于觸發(fā)相機記錄：微笑、吐舌、嘟嘴/自拍臉、鼓臉頰和驚奇的表情，這些是人們在自拍時最常用的表情。隨后利用神經(jīng)網(wǎng)絡訓練分類模型來對這些表情實現(xiàn)分類。而對于親吻，則在Clips中已有的圖像內(nèi)容模型的基礎上進行微調(diào)。最后通過MobileNets實現(xiàn)以便高效高幀率的進行處理，網(wǎng)絡的輸出將用于評價每一幀的質(zhì)量，并用于快門控制算法。

快門控制

當按下Photobooth快門的時候前面的質(zhì)量評價算法就開始給每一幀的質(zhì)量打分了。首先需要利用濾波器來處理閉眼、運動模糊或者表情識別錯誤等。算法會對表情的置信度評分進行短暫的分析，并使得機器學習模型的輸出較為穩(wěn)定和魯棒。隨后每一幀將進行更加細粒度的分析同時輸出整體幀的評分。評分包含了表情的質(zhì)量或者親吻的分數(shù)。針對親吻場景，算法將對整張圖像進行處理并直接生成評分。對于面部表情識別模型來說，會對每個個體的表情進行識別，并利用了注意力機制對視圖中所有的個體表情進行迭代識別，同為每張臉賦予一定的權值。這一權值十分重要，可以對照片中不同部分的主體進行突出和強調(diào)。在此基礎上計算出了用于評價幀質(zhì)量的全局質(zhì)量分數(shù)。

最終，基于注意力分數(shù)的加權表情評分和親吻評分將用于觸發(fā)相機快門。為了在最佳時刻進行記錄，算法將會進行一定時刻的觀察，并在幀評分超過歷史峰值后按下快門。

智能指示器

人們在利用前視攝像頭拍照的時候，需要與算法進行交互才能調(diào)整自己的表情獲取最佳姿勢。算法同時提供了一個質(zhì)量評分指示器來幫助用戶理解算法的輸出。下圖中可以看到屏幕上方的小白條指示了當前算法輸出的評分，主要包括了一下四種情況：視野中沒有清晰人臉；人沒有看相機；看了相機但是表情不到位；表情到位，開拍！為了讓指示器更便于理解，研發(fā)人員讓它在上面的四種情況中依次變換，同時加入了對評分質(zhì)量的平滑避免白條變化過快讓用戶無所適從。最終，當指示器的長度達到了高質(zhì)量的水平相機就自動為你記下完美時刻了。

會拍照的才是好手機！相機越來越智能，朋友圈也會越來越美麗。隨著計算機視覺技術的進步，像這樣貼近生活的實用技術將越來越多的出現(xiàn)在我們生活中。優(yōu)秀技術解決生活中的小痛點的微創(chuàng)新將會不斷引領技術的落地，為人們帶去更加便捷的生活。