Magic Leap在Twitch上的幾次直播演示可以說(shuō)都在畫(huà)餅，對(duì)于實(shí)機(jī)以及操作并沒(méi)有進(jìn)行深入的講解，這也讓大家對(duì)于它如何運(yùn)作充滿(mǎn)了各種假設(shè)以及好奇心。

在前幾天，也就是6月21日的Unite Berlin大會(huì)上，Magic Leap講解了如何開(kāi)發(fā)Magic Leap One，在其中包含了諸多Magic Leap One工作及運(yùn)行的細(xì)節(jié)，那就讓我們一起來(lái)看看吧。最關(guān)鍵的是，Magic Leap終于向我們演示了通過(guò)Magic Leap One的AR。

首先他們提出的是通過(guò)他們的技術(shù)，Magic Leap One的AR會(huì)真實(shí)的融入到環(huán)境當(dāng)中去，可以讓用戶(hù)和平時(shí)一樣觀看，而不是與現(xiàn)在的AR眼鏡一樣疊加在視野的上方。不過(guò)他們并沒(méi)有講解他們用的是什么技術(shù)，就當(dāng)成他們畫(huà)的另外一張大餅算了。

不過(guò)得到了一張餅也要失去一張餅，這就是大餅守恒定律。

Magic Leap交互實(shí)驗(yàn)室的負(fù)責(zé)人Schwab表示，Magic Leap One的視場(chǎng)是有限的，并沒(méi)有此前宣稱(chēng)的那么神奇。不過(guò)他也沒(méi)有具體說(shuō)明有限到多少，而是告訴開(kāi)發(fā)者再知道Magic Leap One有限的視場(chǎng)后如何改變他們的開(kāi)發(fā)思路。

Schwab提出了四個(gè)觀點(diǎn)他認(rèn)為開(kāi)發(fā)者應(yīng)該注意的，分別為“Less is More”、“Respect The Real World”、“Getting your Attention”、“Reality Considerations”。

“少即是多”用在這里實(shí)在是太取巧了，Schwab提出的這三點(diǎn)其實(shí)都很中肯。在AR體驗(yàn)當(dāng)中，應(yīng)當(dāng)以讓用戶(hù)體驗(yàn)到虛擬與現(xiàn)實(shí)之間的融合，將AR作為現(xiàn)實(shí)世界的延伸，而在視場(chǎng)中過(guò)多的填充就會(huì)造成反效果。

不過(guò)考慮到這是對(duì)于MLO有限的視場(chǎng)而做出的策略改變，只能拍著手說(shuō)有道理了。

這條也是對(duì)于“少即是多”的闡述，Schwab做了一個(gè)比喻，AR就好比現(xiàn)實(shí)世界中的客人，主角任然是現(xiàn)實(shí)世界，AR不能喧賓奪主，可以使用更多的線(xiàn)索引導(dǎo)用戶(hù)。

不過(guò)對(duì)于有限的視場(chǎng)也可以用其他方法補(bǔ)救。通過(guò)眼動(dòng)追蹤我們可以知道用戶(hù)正在看什么，當(dāng)用戶(hù)視線(xiàn)不在目標(biāo)上的時(shí)候，我們可以通過(guò)空間化音頻或者是外圍視場(chǎng)中的運(yùn)動(dòng)來(lái)引導(dǎo)用戶(hù)的視線(xiàn)。

在設(shè)計(jì)的同時(shí)，也要考慮到用戶(hù)的安全。比如你正在走一個(gè)下坡路，而AR信息在上方，這就很容易造成事故。而且在沉浸感強(qiáng)烈的情境下，人們的聽(tīng)覺(jué)會(huì)下降，甚至什么都聽(tīng)不到，這將會(huì)造成十分嚴(yán)重的結(jié)果，這也是Schwab提醒開(kāi)發(fā)者需要十分注意的事情。

在用戶(hù)數(shù)據(jù)方面，MLO會(huì)從五方面進(jìn)行收集。分別是頭部姿勢(shì)、雙手、雙眼、語(yǔ)音還有地理/臨時(shí)信息。

頭部姿勢(shì)能夠搜集不僅能分析搖頭和點(diǎn)頭和其他的頭部運(yùn)動(dòng)，還能檢測(cè)心跳、步姿和你走路的速度等。

對(duì)于眼睛的眼動(dòng)追蹤和語(yǔ)音命令這兩個(gè)功能，除了本職工作以外，還能夠通過(guò)眼睛的形態(tài)和聲調(diào)的高低大小來(lái)判斷用戶(hù)的情緒。

通過(guò)眼睛收集的信息主要來(lái)自于眼睛停止轉(zhuǎn)動(dòng)的時(shí)刻，我們的眼睛一直在不斷地轉(zhuǎn)動(dòng)（這期間的速度很快，幾乎采集不到什么信息），如果它沒(méi)動(dòng)說(shuō)明我們正在經(jīng)歷某些事情。這時(shí)就會(huì)采用到心理學(xué)的知識(shí)，比如眼睛向下看說(shuō)明在思考，向左上方看時(shí)在思考。

最令人意外的還是第一次被透露的地理信息和臨時(shí)信息的收集，通過(guò)收集用戶(hù)之間交互的地理信息與臨時(shí)信息來(lái)分析趨勢(shì)，來(lái)為用戶(hù)判斷更好的選擇。不過(guò)如何運(yùn)行這項(xiàng)功能，并未透露。

至于手部姿勢(shì)，MLO可以識(shí)別八種手勢(shì)，如下圖所示。

在識(shí)別手勢(shì)時(shí)，將會(huì)先由頭部姿勢(shì)判斷，然后開(kāi)啟深度攝像頭掃描近場(chǎng)來(lái)識(shí)別手勢(shì)，能夠同時(shí)識(shí)別雙手的手勢(shì)。在手勢(shì)識(shí)別的時(shí)候，會(huì)有八個(gè)點(diǎn)跟蹤，這將會(huì)把八個(gè)特定的手勢(shì)和平常的手勢(shì)區(qū)分開(kāi)來(lái)。

說(shuō)到這里就要談一下MLO的交互模式了。MLO對(duì)于指令的輸入是對(duì)綜合頭部、眼動(dòng)追蹤、手勢(shì)信息進(jìn)行的綜合，將頭部姿勢(shì)與視線(xiàn)還有手勢(shì)相結(jié)合。

比如眼前有三個(gè)方塊，通過(guò)頭部姿勢(shì)和眼動(dòng)追蹤能夠知道你正在看的是哪一個(gè)方塊，然后再識(shí)別手勢(shì)例如Thumb就能夠選中那個(gè)方塊了，也就是說(shuō)能夠預(yù)判用戶(hù)的選擇。

通過(guò)之前所講對(duì)于用戶(hù)心理的分析，MLO可以判斷用戶(hù)是有目的的選擇，而不是隨便瞎選，從而達(dá)到準(zhǔn)確的預(yù)判。

這種操作設(shè)置其實(shí)也比較符合人本身的運(yùn)動(dòng)規(guī)律，在同一時(shí)間是多個(gè)器官同時(shí)運(yùn)作的。

而與之配套的，Magic Leap開(kāi)發(fā)了一套多式交互模型——TAMDI。

代表著五個(gè)步驟，分別為T(mén)argeting（目標(biāo)）、Activation（獲?。?、Manipulation（操縱）、Deactivation（失活）、Integration（整合），五個(gè)步驟構(gòu)成一個(gè)循環(huán)過(guò)程，對(duì)頭、眼、手三個(gè)部位的信息進(jìn)行整合判斷。

說(shuō)了半天終于要講到MLO的演示視頻了，不過(guò)在此之前我們先來(lái)看看公布的Magic Leap的工具包——Magic Kit。受限于信息與篇幅（最主要還是丸子醬不懂），就不介紹具體的使用教程，讓我們一起來(lái)看看這個(gè)工具包里面都有些什么。

首先是Environment Toolkit，能夠說(shuō)明現(xiàn)實(shí)空間中物體的位置，識(shí)別遮掩物背后被藏起來(lái)的識(shí)別點(diǎn)，還有房間的角落。

使得虛擬內(nèi)容能夠更符合現(xiàn)實(shí)世界規(guī)則，增強(qiáng)沉浸感。源代碼則會(huì)放在在GitHub上，供開(kāi)發(fā)者下載。

空間中那些點(diǎn)是Magic Leap提出的環(huán)境映射概念——BlockMesh，這是Lumin SDK for Unity中MLSpatialMapper預(yù)制件的可用網(wǎng)絡(luò)類(lèi)型。

網(wǎng)格在內(nèi)部重建，物體都將會(huì)表現(xiàn)為互聯(lián)的三角形網(wǎng)格。但這些網(wǎng)格之間并沒(méi)有相互連接，是為了在轉(zhuǎn)換目標(biāo)的時(shí)候能夠快速更新網(wǎng)格。同時(shí)帶來(lái)的好處是MLO的識(shí)別更加緊密、貼近邊界，你可以看到虛擬對(duì)象是結(jié)結(jié)實(shí)實(shí)的踩在地上的，這會(huì)帶來(lái)更好的沉浸感。

在揮手時(shí)，虛擬人也能夠同樣向我們揮手，MLO的姿勢(shì)API有以下這些。

SDK API則有一下幾種。

開(kāi)發(fā)包包括的工具以下。

這些就是大致的內(nèi)容了，除此之外他們還透露控制器將會(huì)繼續(xù)保留，在手勢(shì)與控制器之間，控制器能夠帶來(lái)更好的觸感和反饋。在一項(xiàng)Magic Leap的專(zhuān)利里面我們可以找到控制器的樣子。

這次大會(huì)上給我們帶來(lái)了諸多MLO的信息，雖說(shuō)戳穿了餅并沒(méi)有畫(huà)的那么大，但是更加的真實(shí)了，最終效果如何還是讓我們一起期待吧。