蘋果iOS 13代碼曝光：AR可穿戴設(shè)備仍在開發(fā)，“STARTester"支持設(shè)備功能的切換

根據(jù)MacRumors周末的一份報(bào)告表明，蘋果iOS 13內(nèi)部版本文檔中顯示蘋果頭戴式AR顯示設(shè)備仍在繼續(xù)開發(fā)。這是目前最明確的消息，盡管此前DigiTimes的報(bào)告聲稱該項(xiàng)目已被暫停，

據(jù)悉，iOS 13的內(nèi)部構(gòu)建中包括一個(gè)“STARTester”應(yīng)用程序，該應(yīng)用允許用戶訪問頭戴式顯示模式，這也可能是為了測(cè)試的目的，在iPhone上復(fù)制頭戴AR顯示設(shè)備的功能。根據(jù)內(nèi)部構(gòu)建的文檔信息，該應(yīng)用存在有兩個(gè)頭戴狀態(tài)用于測(cè)試，“佩戴”和“保持”。

此外iOS 13中還有一個(gè)內(nèi)部自述文件，用于描述支持立體聲AR的應(yīng)用程序“StarBoard”系統(tǒng)模式，這意味著是某種類型的設(shè)備。該文件還表明，蘋果正在開發(fā)一種代號(hào)為“Garta”的AR設(shè)備，這可能是“T288”計(jì)劃設(shè)計(jì)的幾種原型之一。

為了進(jìn)一步深入蘋果iOS 13內(nèi)部代碼，我們發(fā)現(xiàn)了許多與所謂的“StarBoard模式”和各種“視圖”和“場(chǎng)景”相關(guān)的字符串。許多字符串都引用了AR的代碼，包括“ARStarBoardViewController”和“ARStarBoardSceneManager”。

此前，多家媒體和消息人士聲稱蘋果計(jì)劃在2020年發(fā)布增強(qiáng)現(xiàn)實(shí)眼鏡。

蘋果首席執(zhí)行官蒂姆·庫(kù)克多次談到AR技術(shù)的前景，他認(rèn)為AR是“深刻的”，因?yàn)檫@項(xiàng)技術(shù)可以進(jìn)一步豐富人類的各方面能力。

大眾收購(gòu)3D全息技術(shù)企業(yè)SeeReal股權(quán)

據(jù)volkswagen報(bào)道，大眾汽車已收購(gòu)領(lǐng)先技術(shù)公司SeeReal Technologies的少數(shù)股權(quán)。確保大眾集團(tuán)能夠獲得汽車顯示技術(shù)領(lǐng)域面向未來(lái)的增強(qiáng)現(xiàn)實(shí)。該研究項(xiàng)目將為本集團(tuán)提供關(guān)鍵技術(shù)，使未來(lái)的駕駛更安全，更方便。

大眾表示，從 2020 年開始銷售的全電動(dòng)大眾ID.3，將通過增強(qiáng)現(xiàn)實(shí)平視顯示器將信息投射到駕駛員的視野中，并直接鏈接到駕駛員的環(huán)境。

該技術(shù)可以以3D形式，將路上的潛在危險(xiǎn)情況投射到駕駛員所處環(huán)境中，3D全息影像將實(shí)現(xiàn)與環(huán)境的無(wú)縫式銜接。汽車將通過虛擬開關(guān)及顯示屏完成操控。車內(nèi)所有駕乘者都能使用該款“可觸控”3D顯示屏，提供自然的視覺信息或人機(jī)交互。

其實(shí)，市場(chǎng)上已經(jīng)有可以在有限空間投射信息的抬頭顯示器，而從2020年開始銷售的純電動(dòng)車型大眾ID.31將通過增強(qiáng)現(xiàn)實(shí)型抬頭顯示器，將信息投射到駕駛員的視野中，與駕駛員所處環(huán)境直接聯(lián)系。

在未來(lái)幾代的抬頭顯示器中，3D影像將與周圍環(huán)境更加無(wú)縫連接，出現(xiàn)離駕駛員很近或者很遠(yuǎn)的創(chuàng)新型顯示器概念。未來(lái)，傳統(tǒng)的汽車儀表板可能會(huì)被淘汰，而車輛將通過虛擬開關(guān)和顯示器進(jìn)行控制。所有乘客都能夠使用“可觸控型”3D顯示器，以人類的自然視覺完成信息傳遞或交互。

SeeReal Technologies一直致力于該領(lǐng)域的技術(shù)研發(fā)。大眾集團(tuán)創(chuàng)新部門負(fù)責(zé)人Axel Heinrich表示：“增強(qiáng)現(xiàn)實(shí)將成為未來(lái)移動(dòng)出行及人機(jī)交互理念的核心部件，而這正是我們專注于全息技術(shù)等關(guān)鍵技術(shù)的原因。我們將為這款增強(qiáng)現(xiàn)實(shí)抬頭顯示屏提供車規(guī)級(jí)產(chǎn)品要求，而SeeReal則提供三維全息的技術(shù)支持。”

2018年底，大眾集團(tuán)創(chuàng)新部已經(jīng)與該技術(shù)公司在德累斯頓和盧森堡開始合作研發(fā)。

肖特發(fā)布300 mm RealView納米壓印玻璃晶圓，用于AR/MR智能眼鏡

EVG集團(tuán)是一家為MEMS系統(tǒng)、納米技術(shù)和半導(dǎo)體市場(chǎng)提供晶圓鍵合和光刻設(shè)備的國(guó)際領(lǐng)先供應(yīng)商。肖特與其合作，利用納米壓印工藝成功開發(fā)出基于300 mm（約12英寸）肖特RealView玻璃晶圓的波導(dǎo)片。肖特的大尺寸晶圓和EVG 的SmartNIL 技術(shù)對(duì)于大批量光波導(dǎo)片的生產(chǎn)和成本控制至關(guān)重要。

肖特RealView玻璃晶圓是下一代AR/MR穿戴式設(shè)備的關(guān)鍵部件。玻璃晶圓是多層RGB波導(dǎo)片的基板，是AR/MR顯示單元的一個(gè)重要組成部分，為用戶營(yíng)造沉浸式體驗(yàn)（更多信息）。

300mm玻璃晶圓的生產(chǎn)需要更大尺寸的AR/MR等級(jí)的光學(xué)玻璃塊料，這種大尺寸的光學(xué)玻璃塊料的生產(chǎn)極其困難，它需要全新的制造和熔煉工藝。肖特已具備生產(chǎn)大尺寸光學(xué)玻璃塊料的能力。同時(shí)保持RealView玻璃晶圓的優(yōu)異質(zhì)量。

據(jù)悉，肖特已經(jīng)為客戶提供300 mm的RealView高折射晶圓樣品，同時(shí)正在準(zhǔn)備提升大尺寸晶圓的批量生產(chǎn)能力。與此同時(shí)，在德國(guó)光學(xué)玻璃中心，肖特的玻璃專家和研發(fā)團(tuán)隊(duì)也在繼續(xù)提高其AR/MR級(jí)光學(xué)玻璃的質(zhì)量。

圖像

5G的殺手級(jí)應(yīng)用：手機(jī)AR游戲

AR是5G的殺手級(jí)應(yīng)用，它到來(lái)的速度將比任何人想象的都要快。 5月，蘋果與高通（領(lǐng)先的5G調(diào)制解調(diào)器生產(chǎn)商）達(dá)成和解，據(jù)彭博社報(bào)道，高通將獲得至少45億美元的訂單和6年的供應(yīng)商協(xié)議。 iPhone制造商對(duì)這些5G調(diào)制解調(diào)器有著大計(jì)劃，他們將從AR起步。 當(dāng)大多數(shù)精通技術(shù)的人想到AR時(shí)，首先會(huì)想到谷歌。谷歌的工程師們已經(jīng)在谷歌地圖中加入了漂亮的AR虛擬標(biāo)牌。據(jù)報(bào)道，下一代Pixel智能手機(jī)將通過后置攝像頭模塊上的TrueDepth傳感器以及Project Soli（一種微型雷達(dá)技術(shù)）來(lái)提升效果。

當(dāng)然蘋果的工程師們也正在AR上發(fā)力，據(jù)傳他們正在研發(fā)AR眼鏡。但撇開硬件，對(duì)于5G來(lái)說(shuō)真正的殺手級(jí)應(yīng)用正是移動(dòng)AR游戲。 5G能使AR更加身臨其境，圖形加載更快且效果更好，而較低的延遲也可以顯著改善游戲體驗(yàn)和玩法。 在2016年的夏天，《Pokemon Go》的熱潮席卷了全球，這款A(yù)R游戲通過使用手機(jī)上的攝像頭將虛擬與現(xiàn)實(shí)結(jié)合在一起，為玩家?guī)?lái)全新體驗(yàn)。這款游戲下載量已經(jīng)超過了10億次，在其最受歡迎的時(shí)候，每月能吸引1.47億活躍用戶，且收入高達(dá)30億美元。 該游戲由Google內(nèi)部的游戲團(tuán)隊(duì)Niantic開發(fā)而成，據(jù)谷歌博客中的文章，當(dāng)任天堂和谷歌在谷歌地圖上推出愚人節(jié)寵物小精靈挑戰(zhàn)的時(shí)候，這個(gè)想法就出現(xiàn)了。 Niantic現(xiàn)在也將進(jìn)入下一階段：5G AR游戲。 Niantic首席技術(shù)官Phil Keslin表示，5G將實(shí)現(xiàn)更高水平的游戲體驗(yàn)。該技術(shù)能將帶寬提高1000倍，延遲將降低10倍。為了做好準(zhǔn)備，Niantic正在計(jì)劃復(fù)雜的新游戲，并將與無(wú)線運(yùn)營(yíng)商合作以保證帶寬。 運(yùn)營(yíng)商需要一場(chǎng)勝利。智能手機(jī)業(yè)務(wù)停滯不前，消費(fèi)者對(duì)手機(jī)設(shè)備的需求正在降低。但5G再加上令人驚嘆的新AR體驗(yàn)，或許將能改變一切。 在《Pokemon Go》推出后，蘋果CEO Tim Cook在2016年開始公開談?wù)揂R。他告訴分析師，這個(gè)平臺(tái)會(huì)很龐大，蘋果也會(huì)進(jìn)行投資布局。從那以后，蘋果提出了多項(xiàng)AR專利，收購(gòu)了多家AR創(chuàng)企，聘請(qǐng)了新的員工，并推出了ARKit。 據(jù)彭博社報(bào)道，最新款iPhone將于9月10日上市。背面的3個(gè)攝像頭設(shè)置將配備一款激光3D攝像頭，能夠感知深度。當(dāng)蘋果在2020年推出5G設(shè)備時(shí)，所有的規(guī)劃都將非常有意義。 目前蘋果股票的預(yù)期市盈率僅為16.4倍，銷售額為3.7倍，市值為9610億美元，鑒于新iPhone產(chǎn)品周期的前景，該股票將進(jìn)入弱勢(shì)市場(chǎng)。

Facebook發(fā)布超現(xiàn)實(shí)虛擬形象新研究

Facebook Reality Labs研發(fā)團(tuán)隊(duì)發(fā)表了一項(xiàng)關(guān)于超現(xiàn)實(shí)虛擬形象方法的詳細(xì)研究論文，擴(kuò)展了公司之前名為“編解碼器化身”的工作項(xiàng)目。

.Facebook Reality Labs創(chuàng)建了一個(gè)系統(tǒng)，從簡(jiǎn)潔硬件中能夠以目前最高的逼真度實(shí)時(shí)制作出動(dòng)畫版的虛擬化身。頭顯內(nèi)只有三個(gè)標(biāo)準(zhǔn)攝像頭，定位用戶的眼睛和嘴巴，系統(tǒng)能夠更準(zhǔn)確地辨別出個(gè)體復(fù)雜的面部表情中的細(xì)微差別。

這項(xiàng)研究的重點(diǎn)不僅僅是如何將攝像機(jī)固定在頭顯上，還包括如何利用圖片還原用戶虛擬形象的深層技術(shù)。

系統(tǒng)方案主要依賴于機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺。“我們的系統(tǒng)是實(shí)時(shí)運(yùn)行的，它可以識(shí)別各種各樣的表情，包括鼓臉頰、張大嘴咬人、動(dòng)舌頭，以及還原皺紋這樣的細(xì)節(jié)，在之前，這些細(xì)節(jié)很難精確地動(dòng)畫化，”一位作者說(shuō)。

實(shí)驗(yàn)小組還發(fā)表了他們的完整研究論文，深入論述了系統(tǒng)背后的方法論和數(shù)學(xué)。這項(xiàng)名為《通過多視圖圖像翻譯的VR面部動(dòng)畫》（VR Facial Animation via Multiview Image Translation）的研究成果發(fā)表在《ACM圖形學(xué)報(bào)》（ACM Transactions on Graphics）上，這家雜志自詡為“圖形領(lǐng)域最重要的同行評(píng)審期刊”。

1.帶有9個(gè)攝像頭的訓(xùn)練頭顯。

2.帶有三個(gè)攝像頭的追蹤頭顯；紅色圈起的攝像頭可以與訓(xùn)練頭顯共享。

這篇論文解釋了項(xiàng)目為何要?jiǎng)?chuàng)建兩個(gè)獨(dú)立的實(shí)驗(yàn)耳機(jī)，一個(gè)“訓(xùn)練”耳機(jī)和一個(gè)“追蹤”耳機(jī)。

這款訓(xùn)練耳機(jī)體積較大，裝有9個(gè)攝像頭，可以收集用戶面部和眼睛的更寬范圍的視圖。這樣做可以簡(jiǎn)化輸入圖像和先前捕獲的用戶數(shù)據(jù)掃描之間的對(duì)應(yīng)過程（分析輸入圖像與輸出化身之間的對(duì)應(yīng)部分）。論文稱，這一過程可以“通過帶有自查功能的多視圖圖像翻譯系統(tǒng)自動(dòng)匹配，不需要人工注釋或域間逐個(gè)對(duì)應(yīng)”。

一旦對(duì)應(yīng)完成，就可以使用更緊湊的“追蹤”頭顯?！白粉櫋鳖^顯的三部相機(jī)恰好對(duì)應(yīng)著“訓(xùn)練”頭顯九部相機(jī)中的三部；根據(jù)“訓(xùn)練”頭顯收集的數(shù)據(jù)，這三部相機(jī)的視角可以得到更好的理解運(yùn)用，也就是說(shuō)，輸入圖像能夠準(zhǔn)確地驅(qū)動(dòng)動(dòng)畫化身。 論文著重研究了系統(tǒng)的精準(zhǔn)度。以前的輸出方式一到關(guān)鍵區(qū)域，用戶實(shí)際面部表情的準(zhǔn)確性就會(huì)下降，尤其是極端表情，以及眼部動(dòng)作和嘴部運(yùn)動(dòng)的關(guān)系。

與之前相比，新系統(tǒng)的精準(zhǔn)度明顯提升：對(duì)于臉基本被頭顯遮住的用戶來(lái)說(shuō)，近距離的鏡頭可以用來(lái)準(zhǔn)確地重建面部。

盡管功能進(jìn)步明顯，但現(xiàn)有方法仍然不容易被主流人群接受。因?yàn)榍捌谝獙?duì)用戶進(jìn)行詳細(xì)的初步掃描，以及使用專業(yè)的“訓(xùn)練”頭顯，這就需要“掃描中心”這類的機(jī)構(gòu)，用戶可以去那里掃描和練習(xí)使用虛擬化身效果（同時(shí)也會(huì)獲得一個(gè)定制的HRTF）?？墒窃谔摂M現(xiàn)實(shí)成為社會(huì)交流方式的重要組成部分之前，我們不太可能建立這樣的中心機(jī)構(gòu)。然而，先進(jìn)的傳感技術(shù)和不斷改進(jìn)的自動(dòng)通信建設(shè)或許可以讓我們?cè)诩抑型瓿蛇@一步驟。

谷歌發(fā)布實(shí)時(shí)移動(dòng)手部追蹤技術(shù)

日前，谷歌已經(jīng)向研究人員和開發(fā)團(tuán)隊(duì)發(fā)布了一種可用于移動(dòng)設(shè)備的手部追蹤方法，谷歌研究工程師Valentin Bazarevsky和范張（音譯）稱其為“手勢(shì)識(shí)別的新方法”。

早在今年6月份，谷歌就在CPVR 2019上首次發(fā)布了在線即時(shí)手部追蹤工具，供開發(fā)者們研究探索。這是一種開源的跨平臺(tái)工具，開發(fā)者們可以自己創(chuàng)建加工管道來(lái)處理視頻和音頻等感知數(shù)據(jù)。

據(jù)稱，這種方法可以通過機(jī)器實(shí)現(xiàn)高保真的手部和手指追蹤，僅從一幀圖像就可以推斷出手部的21個(gè)三維“關(guān)鍵點(diǎn)”。

Bazarevsky 和Zhang在一篇博客中說(shuō)到，“目前最先進(jìn)的追蹤方法依然要依賴強(qiáng)大的桌面環(huán)境來(lái)推斷手部動(dòng)作，但是我們的方法已經(jīng)可以在手機(jī)上實(shí)現(xiàn)實(shí)時(shí)識(shí)別，甚至可以擴(kuò)展到多個(gè)手?！惫雀栝_發(fā)團(tuán)隊(duì)希望這種手部追蹤方法能激發(fā)出“更有創(chuàng)造性的案例，以及新的應(yīng)用程序和新的研究途徑”。

Bazarevsky和Zhang解釋說(shuō)，在他們的手部跟蹤方法中主要有三個(gè)作用系統(tǒng)，一個(gè)手掌探測(cè)器模型(稱為Blaze Palm)，一個(gè)“手部標(biāo)識(shí)”模型，帶有高保真的三維手部關(guān)鍵點(diǎn)，以及一個(gè)手勢(shì)識(shí)別器，可以把手部關(guān)鍵點(diǎn)的布局圖劃分為獨(dú)立手勢(shì)集。

以下是從博客全文中提煉出來(lái)的幾個(gè)細(xì)節(jié)：

研究人員聲稱，在掌心檢測(cè)方面BlazePalm技術(shù)可以達(dá)到95.7%的平均檢測(cè)精準(zhǔn)度。

模型已經(jīng)存入一致的內(nèi)部手勢(shì)，甚至可以識(shí)別部分遮擋的手部動(dòng)作。

可以識(shí)別多種文化下的手勢(shì)含義，如美國(guó)、歐洲和中國(guó)，“拇指向上”、握拳、“OK”、“Rock”和“蜘蛛俠”等手勢(shì)。

Google是開源的，它在MediaPipe中的手部追蹤和手勢(shì)識(shí)別系統(tǒng)需要配合相關(guān)的首尾相連的使用場(chǎng)景和源代碼。

Bazarevsky和Zhang說(shuō)，谷歌未來(lái)的研究計(jì)劃仍將放在手部追蹤方面，探索更強(qiáng)大和更穩(wěn)定的追蹤功能，并希望擴(kuò)充可以檢測(cè)到的手勢(shì)數(shù)量。此外，他們還希望支持動(dòng)態(tài)手勢(shì)追蹤識(shí)別，可能會(huì)為機(jī)器手語(yǔ)翻譯和流體手勢(shì)控制帶來(lái)好處。 不僅如此，配備更可靠的手持追蹤設(shè)備是AR頭顯向前邁進(jìn)的必要條件；因?yàn)轭^顯依然需要外部攝像頭來(lái)呈現(xiàn)虛擬世界，所以如何讓機(jī)器理解這個(gè)世界將一直是個(gè)待解決的問題。