盡管深度攝像頭正在逐漸出現(xiàn)在許多手機手機品牌的高端機型上，但是單目、RGB攝像頭仍然是占據(jù)絕大多數(shù)設備的主流。這也就導致了現(xiàn)有的AR技術仍然是基于平面，很難去獲取環(huán)境的縱深。另外設備也很難捕捉并理解人體以及動作，無法表現(xiàn)更好的增強現(xiàn)實效果。

普及具備深度獲取能力的攝像頭仍需時日，而人們對于更好的AR體驗的追求已經(jīng)等不及了，如何在不添加傳感器的條件下，讓單目視覺設備具備對場景縱深的理解能力，對人物動作的追蹤能力，成為增強現(xiàn)實視頻公司Octi攻克的重點。

在iOS端，Octi推出了一款名為“Octi”的APP，已經(jīng)可以在App Store下載體驗

這款應用展示了他們的動態(tài)摳圖技術

識別動態(tài)的尬舞人體，選擇特效，例如變成透明人

將從別處摳下來的動態(tài)跳舞妹子放進同一個場景中

點擊邊框調(diào)出視頻工具條

和時下流行的短視頻結(jié)合起來似乎會有奇妙的效果。

在Octi的官網(wǎng)上能看到技術的簡要說明。

首先是移動實例分割。

所謂實例分割，就是機器自動從圖像中用目標檢測方法框出不同實例，再用語義分割方法在不同實例區(qū)域內(nèi)進行逐像素標記。換言之，就是當場景中出現(xiàn)很多人的情況下，實例分割能夠區(qū)分出那些像素屬于第一個人，哪些屬于第二個人。

而Octi專有的人員實例分割方法能夠?qū)崿F(xiàn)在移動設備（手機）上以高幀率運行。

為了讓機器具備理解人體及其運動的能力，Octi建立了成熟的機器學習和計算機視覺技術。

首先，它掃描人體，檢測關鍵點比如眼睛、鼻子、臀部肘部等。

然后利用這些點來構(gòu)建骨骼模型

Octi獨特的3D重建技術結(jié)合使用神經(jīng)網(wǎng)絡和運動學模型，比同類方法具有更高的精度。

使用人的姿勢、分割和一系列專有運動模型的先驗組合，Octi在移動端實現(xiàn)了人體的體積重建。

看來Octi采用的便是被丸子醬點名批評過的，通過在模擬出的骨骼模型上套上一個粗糙的人體外殼完成的人體3D模型重建（Facebook最新開源，普通RGB相機即可實時映射3D模型）考慮到在手機端各方條件都受限制，不能強求更多，實用就好。

為了讓單目RGB相機識別環(huán)境中的相對深度

Octi利用深度估計估計模型來區(qū)分圖像的前景和背景（即物體的遠近），這種能力加強了設備對于場景的語義理解，并且允許我們在不考慮背景噪聲的情況下提取人的詳細動作。

Octi日前確定了同NFL球員協(xié)會（美國國家橄欖球聯(lián)盟）確定了投資戰(zhàn)略和合作關系，球迷粉絲們可以通過Octi提供的技術同超過2000名橄欖球運動員進行視頻形象互動，就像我們在文章開頭看到的那樣。

動作捕捉似乎是個和我們普羅大眾相距甚遠的技術條目，Octi此舉卻告訴了我們，我們可以利用這項技術做很多有趣的事情，而且僅需要一個配備單目攝像頭的智能手機，就可以從場景中提取清晰人體動作，這將給AR技術的普及推廣進一步推波助瀾。

Octi不久前宣布獲得750萬美元投資，有了更多資金，Octi將繼續(xù)完善其計算機視覺科學家、機器學習工程師的研究人員團隊，或許能在技術上更進一步。