隨著AR的逐漸興起，巨頭們追逐AR開發(fā)的趨勢(shì)已經(jīng)十分明顯，各家都開始推出自己的AR開發(fā)平臺(tái)，像蘋果的ARKit、谷歌的ARCore，還有我們這次的主角AR Studio。

作為一個(gè)發(fā)布已經(jīng)有一段時(shí)間的AR開發(fā)平臺(tái)，AR Studio可以提供的功能并不是很豐富，只提供開發(fā)者制作各種濾鏡、特效和貼圖的能力，甚至可以說，F(xiàn)acebook對(duì)AR的理解，更多地是停留在相機(jī)捕捉到的實(shí)際環(huán)境影像的基礎(chǔ)上，疊加一些濾鏡、貼圖、邊框效果，這與Snapchat的相機(jī)濾鏡功能并沒有太大的區(qū)別。

而最近，在F8 開發(fā)者會(huì)議上, Facebook宣布，將會(huì)更新AR Studio，集成 Sketchfab 的下載 API，同時(shí)，將使AR Studio具備更多功能。

先來說說Sketchfab，Sketchfab是最大的3D模型分享網(wǎng)站，提供大量非常精美的3D模型下載 鏈接。在集成API后，開發(fā)人員可以直接從 Facebook提供的API中添加Sketchfab 免費(fèi)內(nèi)容庫中的3D 模型,免于自建模型或另外渠道下載的麻煩。

Sketchfab 的共同創(chuàng)始人兼首席執(zhí)行官 Alban Denoyel 在博客文章中說，"與 Facebook 合作是我們實(shí)現(xiàn)下載 API 的一個(gè)重要里程碑。我們確實(shí)認(rèn)為 Facebook 是一個(gè)將該功能帶到用戶端的候選者?，F(xiàn)在, 將 API 集成到創(chuàng)建者端將使開發(fā)人員更容易地將3D 內(nèi)容導(dǎo)入到其 AR 體驗(yàn)中?！?/p>

關(guān)于AR Studio的更新， Facebook提供了兩個(gè)新的功能，一個(gè)是實(shí)現(xiàn)對(duì)身體和手部的追蹤；一個(gè)是對(duì)場(chǎng)景基于語義的理解，以此為基礎(chǔ)可以得到更高保真度的背景分割。

先看背景分割吧，背景分割是許多可視化應(yīng)用中重要操作。要求獨(dú)立提取特定對(duì)象的圖像，從技術(shù)上講，需要將動(dòng)態(tài)的前景與靜態(tài)的背景分離。

舉個(gè)例子，如果有一張沒有游客的房間或者沒有車輛的道路背景圖，那么很簡(jiǎn)單，只要將新圖和背景圖做減法，就能得到前景圖了。但是多數(shù)情況是沒有這樣的背景圖的。所有我們需要在任何情況下都可以提取背景圖。當(dāng)有車輛陰影時(shí)，就變得很復(fù)雜。陰影也是移動(dòng)的，簡(jiǎn)單的減法會(huì)把陰影算在前景里，這是一件比較麻煩的事。

Facebook對(duì)此有自己的解決方案。今年一月底，我們就發(fā)過一篇文章：Facebook新研究為未來全身AR打下基礎(chǔ)，在這篇文章中，說過Facebook發(fā)表了一篇論文，對(duì)原有的Mask R-CNN框架進(jìn)行了優(yōu)化，得到一個(gè)新的、占用內(nèi)存更小、效率更高的框架Mask R-CNN2Go，這個(gè)框架可以直接被應(yīng)用到智能手機(jī)上，而智能手機(jī)可以基于它實(shí)現(xiàn)對(duì)場(chǎng)景的語義理解，并且在此基礎(chǔ)上實(shí)現(xiàn)背景分割，識(shí)別人的整個(gè)身體。

從目前的信息來看，F(xiàn)acebook的新AR Studio提供的功能與這篇論文提到的功能非常相似，只是論文中比較關(guān)注利用背景分割對(duì)人整個(gè)身體的識(shí)別，而實(shí)際的功能則更為全面，將識(shí)別對(duì)象的選擇權(quán)交到了開發(fā)者的手中。

這么一來，新的AR Studio提供的身體和手部追蹤功能就好理解了，身體的追蹤就是完全還原了論文中提到的功能，手部追蹤也只是把分割的對(duì)象從身體變成了手而已。換句話說，本次AR Studio更新的功能可能都是來源于Facebook改進(jìn)的語義識(shí)別框架Mask R-CNN2Go。

當(dāng)然，對(duì)場(chǎng)景的語義理解不止做到背景分割這樣一個(gè)功能,還可以處理一些細(xì)節(jié)的問題。通過對(duì)場(chǎng)景進(jìn)行語義理解, AR 內(nèi)容將能夠更有意義地與現(xiàn)實(shí)世界中的對(duì)象交互，例如, 當(dāng)在場(chǎng)景中識(shí)別出杯子時(shí),虛擬的蒸汽從真正的杯子中升起，這將使Facebook的AR體驗(yàn)更加真實(shí)。

總之，F(xiàn)acebook對(duì)其AR開發(fā)平臺(tái)的更新將改善AR Studio功能上的豐富性，優(yōu)化其創(chuàng)造的AR體驗(yàn)。對(duì)AR Studio來說，將會(huì)是一個(gè)不小的進(jìn)步。