Magic Leap在本周終于在Magic Leap's Creator端口上發(fā)布了自己的Lumin SDK文件，我們也有機(jī)會(huì)了解到設(shè)備更多的功能，以及如何哪些軟件是可以使用的。

以下就是對(duì)Lumin OS、SDK和開(kāi)發(fā)者端口的一些解讀。

Lumin OS

我們知道Magic Leap的操作系統(tǒng)被稱(chēng)作Lumin。這個(gè)系統(tǒng)是基于Linux和安卓開(kāi)源項(xiàng)目所打造的。應(yīng)用將會(huì)基于Magic Leap自己的Lumin Runtime引擎打造，同時(shí)在Lumin上運(yùn)行。除了Lumin Runtime之外，尋常的3D引擎如Unity和UE4引擎也都可以用來(lái)開(kāi)發(fā)Magic Leap內(nèi)容。

Magic Leap軟件棧

Magic Leap One軟件棧的下一層級(jí)是OS服務(wù)層。在這一層,利用OS Core我們會(huì)進(jìn)入更高層次。例如，輸入管理、通信管理（藍(lán)牙和Wi-Fi）以及電源管理等功能都在此進(jìn)行處理。

在這一層，Magic Leap也包含了該公司名為Perception的服務(wù)。這些子系統(tǒng)處理一些更復(fù)雜的輸入，例如用戶(hù)和環(huán)境感應(yīng)，以及圖形渲染管道，其中包括Magic Leap實(shí)現(xiàn)異步時(shí)間扭曲（ATW）。

使用可移植操作系統(tǒng)接口（POSIX）API標(biāo)準(zhǔn)，平臺(tái)API層作為開(kāi)發(fā)人員與空間計(jì)算功能之間的看門(mén)人，具有用戶(hù)設(shè)置權(quán)限系統(tǒng)。這一層還包括常用于Android OS中作為進(jìn)程間的通信系統(tǒng)的Binder框架，允許應(yīng)用程序相交互（HoloLens在這一點(diǎn)上尤其缺失這一功能）。

Lumin Runtime引擎

目前，很多基于其他引擎打造的沉浸式應(yīng)用都必須獨(dú)立運(yùn)行，但Lumin Runtime可以讓?xiě)?yīng)用在運(yùn)行的同時(shí)，也能夠進(jìn)行交互，展示出一種“單一的、連續(xù)性的體驗(yàn)”。開(kāi)發(fā)者可以獲取13種平臺(tái)上的API來(lái)打造不同的交互，包括場(chǎng)景圖（用于確定空間中的坐標(biāo)和等級(jí)）、碰撞物理效果、手勢(shì)、實(shí)時(shí)立體計(jì)算技術(shù)（用于渲染物體）、控制、光影以及在現(xiàn)實(shí)世界中的遮蔽效果。這種單場(chǎng)景中多應(yīng)用的形式，聽(tīng)上去和2016年的“Waking Up with Mixed Reality”的demo很相似。

在某一時(shí)刻，我們現(xiàn)在知道的Windows計(jì)算機(jī)是由MS-DOS操作系統(tǒng)組成的，Windows是一個(gè)在操作系統(tǒng)之上運(yùn)行的圖形用戶(hù)界面（GUI），因此GUI+可能是查看關(guān)于Lumin Runtime是什么的簡(jiǎn)單方法。但Lumin Runtime除了提供簡(jiǎn)單的GUI外，還提供了一些更重要的功能。

跳出來(lái)看，Magic Leap One使用客戶(hù)端/服務(wù)器模式，允許多個(gè)設(shè)備共享應(yīng)用程序。根據(jù)文檔中的內(nèi)容，這看起來(lái)像是自動(dòng)處理的。如果是這樣，它將帶來(lái)能控制基礎(chǔ)元素共享或不共享的問(wèn)題，這對(duì)于那些已經(jīng)在HoloLens中開(kāi)發(fā)出共享體驗(yàn)的人來(lái)說(shuō)就像是一片新鮮空氣一般。

Lumin Runtime的其他基礎(chǔ)元素：

帶有材質(zhì)的3D模型和骨骼3D模型動(dòng)畫(huà)

2D圖片精靈動(dòng)畫(huà)

用于空間計(jì)算的高保真空間化文本渲染

2D和聲場(chǎng)音頻

2D和立體視頻

剛體碰撞物理

實(shí)時(shí)粒子特效

輸入事件和觸覺(jué)控制

手勢(shì)

語(yǔ)音識(shí)別

時(shí)空間計(jì)算技術(shù)，用于渲染對(duì)象、照明、陰影和真實(shí)世界的遮擋

看起來(lái)，Lumin Runtime旨在提供類(lèi)似Unreal或Unity 那樣的3D引擎所能提供的設(shè)施，包括諸如Lumin Editor和UI Toolkit等。也就是說(shuō)，Lumin Runtime層也支持這兩種引擎。

Lumin Runtime應(yīng)用可以平行運(yùn)作，也可以協(xié)同工作，而Unreal和Unity應(yīng)用只能夠以獨(dú)立的應(yīng)用運(yùn)行，因?yàn)樗鼈儠?huì)對(duì)設(shè)備有獨(dú)立的控制。當(dāng)然，它們?cè)谄渌脚_(tái)也是以這種形式運(yùn)作的，因此不是什么新鮮事了。但開(kāi)發(fā)者們肯定還是非常期待能夠做出一些改變的。

從這方面來(lái)看，Magic Leap的確有對(duì)Lumin OS和一系列軟件做出深思熟慮的設(shè)計(jì)。但是要到我們真正拿到設(shè)備的的時(shí)候才能知曉能做和不能做的事。

平臺(tái)API

SDK發(fā)布筆記中，包含了多款驚人的API。眼球追蹤API能夠用于確定用戶(hù)注視點(diǎn)的方向、眼部的中央，還可以監(jiān)測(cè)眨眼的動(dòng)作。這一SDK同時(shí)支持硬件遮蔽，擁有一個(gè)交互界面來(lái)給平臺(tái)提供深度信息。

頭部姿勢(shì)

Magic Leap One（ML1）能夠整合其一系列傳感器所收集的數(shù)據(jù)，同時(shí)還有用戶(hù)視覺(jué)上的觀察。如果用戶(hù)的視野被昏暗的環(huán)境或者被遮擋的相機(jī)所影響的話，ML1會(huì)自動(dòng)啟用陀螺儀追蹤，直到系統(tǒng)重新收集足夠的視覺(jué)數(shù)據(jù)。

圖像追蹤

ML1可以持續(xù)的捕捉視覺(jué)數(shù)據(jù)來(lái)建造一個(gè)周?chē)h(huán)境的地圖，而且在回到之前已經(jīng)建模的環(huán)境時(shí)，會(huì)自動(dòng)識(shí)別并且給出之前的內(nèi)容。所以在房間中玩追逐小機(jī)器人的游戲時(shí)，它們會(huì)停留在你之前看到過(guò)它們的地方。

這項(xiàng)技術(shù)聽(tīng)上去和Magic Leap工程師此前發(fā)布的研究非常相似，使用了一對(duì)神經(jīng)網(wǎng)絡(luò)系統(tǒng)來(lái)給圖像上確定“SLAM-ready”的點(diǎn)，可以用于追蹤。具體形式如下圖所示。

手勢(shì)

Lumin SDK支持8種不同的手勢(shì)。微軟HoloLens支持3種手勢(shì)（可以通過(guò)Mixed Reality Toolkit實(shí)現(xiàn)第4種），而Meta 2可以實(shí)現(xiàn)7種不同的抓取手勢(shì)。

鑒于Magic Leap最近申請(qǐng)了一個(gè)翻譯手語(yǔ)的專(zhuān)利，我們能夠期待接下來(lái)還會(huì)在開(kāi)發(fā)者平臺(tái)上看到更多的手勢(shì)識(shí)別功能。

聲場(chǎng)音頻

就在上周，Magic Leap申請(qǐng)了一份立體聲專(zhuān)利，聽(tīng)上去正是ML1上具備的聲場(chǎng)音頻功能。

現(xiàn)在我們已經(jīng)確定，公司這項(xiàng)獨(dú)家的技術(shù)將會(huì)向開(kāi)發(fā)者開(kāi)放。基于聲場(chǎng)音頻技術(shù)的立體聲方案或許會(huì)在不久之后就登陸Unity和UE4引擎，同時(shí)聲場(chǎng)API也很快能夠被原生C++應(yīng)用和公司自己的Lumin Runtime引擎所調(diào)用。除此之外，Magic Leap也有計(jì)劃支持更多的中間件，包括Wwise和FMOD Studio，大概在GDC結(jié)束之后就會(huì)實(shí)現(xiàn)。同時(shí)，開(kāi)發(fā)者還可以將谷歌Resonance Audio項(xiàng)目的SDK進(jìn)行調(diào)用。

光照

Lumin OS能夠?qū)崿F(xiàn)環(huán)繞式光線追蹤。應(yīng)用可以對(duì)一個(gè)場(chǎng)景增加光線，但是不能在沒(méi)有光的情況下渲染。盡管如此，開(kāi)發(fā)者可以用明亮的色彩來(lái)對(duì)沖昏暗的色彩，來(lái)制造出昏暗的感覺(jué)。同時(shí)，由于物體不會(huì)投射陰影，開(kāi)發(fā)者需要從上方照亮物體。Lumin同時(shí)支持虛擬物體的自我陰影。

接近裁切平面

Magic Leap官方表示，距離用戶(hù)一臂遠(yuǎn)的內(nèi)容能夠?qū)崿F(xiàn)最佳的體驗(yàn)，同時(shí)也提醒開(kāi)發(fā)者不要長(zhǎng)時(shí)間將虛擬物體置于用戶(hù)30厘米的范圍之內(nèi)。公司還鼓勵(lì)開(kāi)發(fā)者在用戶(hù)過(guò)于接近虛擬物體的時(shí)候，讓這些物體“逐漸消失”，而不是突然的讓景象消失。

總的來(lái)說(shuō)，為Magic Leap進(jìn)行開(kāi)發(fā)對(duì)于習(xí)慣于開(kāi)發(fā)Unity的的人來(lái)說(shuō)并沒(méi)有太大不同，只不過(guò)增加了一些額外的功能，比如眼球追蹤。我們很期待開(kāi)發(fā)者們能夠用Lumin Runtime引擎做出來(lái)什么樣的作品。