在Facebook更名為Meta前，Meta公司就一直致力于Codec Avatars項目，旨在使VR實現(xiàn)“如照片般逼真”的虛擬化身。這一系統(tǒng)結(jié)合AI處理和設(shè)備上的眼動追蹤、嘴巴追蹤等傳感器，將使用者的臉以最接近真實的方式投射進(jìn)虛擬世界。

近日有外媒ROAD TOVR報道稱，Meta Reality Labs的研究人員已經(jīng)制造了一款VR頭戴設(shè)備原型機(jī)，該原型機(jī)可以支持Codec Avatars項目的渲染，搭載了專門用于AI處理的定制加速器芯片。

Meta上個月發(fā)表在IEEE CICC會議上的一篇論文中透露，它正在設(shè)計一個采用7nm工藝的定制芯片用于作為Codec Avatars的加速器。

該芯片的占位面積僅為 1.6mm2，該小組在芯片設(shè)計過程中，設(shè)計人員考慮了生成Codec Avatars 模型所需要的數(shù)據(jù)。

“測試芯片采用7nm制程，具有神經(jīng)網(wǎng)絡(luò)加速器，由1024乘法累加陣列、2MB片上SRAM和32位RISC-V CPU組成?！毖芯咳藛T說。

反過來，他們還重建了 Codec Avatars AI 模型的一部分，以配合芯片的特定架構(gòu)。

“我們通過重新構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的眼睛注視模型并針對硬件進(jìn)行定制，使得模型更加適合芯片。這降低了片外內(nèi)存訪問的能耗和延遲?！?Reality Labs研究人員寫道?！巴ㄟ^在電路級有效地加速卷積運(yùn)算，所展示的原型芯片實現(xiàn)了每秒 30 幀的性能，并且功耗低且外形小巧?！?/p>

通過加速 Codec Avatars 工作負(fù)載的密集部分，該芯片不僅加快了進(jìn)程，而且還降低了功率及發(fā)熱。由于芯片的定制設(shè)計，它能夠比通用 CPU 更有效地做到這一點，然后為 Codec Avatars 的眼動追蹤組件的重新架構(gòu)軟件設(shè)計提供信息。

雖然定制芯片處理部分 Codec Avatars 編碼過程，但 XR2 管理解碼過程并渲染化身的實際視覺效果。

目前我們不知道虛擬化身的視覺渲染效果如何。在非一體機(jī)上運(yùn)行時，該模型將用戶建模掃描的非常詳細(xì)，這可能過于復(fù)雜，不能在Quest2等一體機(jī)上得到完整的呈現(xiàn)。目前還不知道Codec Avatars強(qiáng)大的“逼真”畫面在這客觀條件的限制下最終呈現(xiàn)的效果會如何。

英偉達(dá)正與斯坦福大學(xué)合作，研發(fā)VR超薄全息眼鏡

根據(jù)IDC表示，2021年是AR/VR頭顯市場繼2016年后再度爆發(fā)的一年，相較于5年前，從硬件設(shè)備、技術(shù)水平、內(nèi)容生態(tài)、創(chuàng)作環(huán)境上來說，相較五年前已經(jīng)有了大幅度的提升，行業(yè)生態(tài)更加健康，產(chǎn)業(yè)基礎(chǔ)更為牢固。

根據(jù)IDC《全球AR/VR頭顯市場季度跟蹤報告，2021年第四季度》，預(yù)計2022年，全球VR頭顯出貨1，573萬臺，同比增長43.6%。再加之受到元宇宙概念的推動，使得VR廠商接連推出新品，迭代節(jié)奏明顯加快。

近日，在一份名為《Ultra-thin （2.5 mm） glasses-form factor VR display supporting 3D holographic images》的論文中，英偉達(dá)與斯坦福大學(xué)展示了一種用于VR的超薄全息眼鏡構(gòu)思。

據(jù)悉，該眼鏡可將3D全息圖像所需的技術(shù)封裝到厚度僅有2.5mm的超薄VR顯示器原型。這個名為Holographic Glasses的全息眼鏡由一個光瞳復(fù)制波導(dǎo)、一個空間光調(diào)制器和一個幾何相位透鏡組成，可以以輕薄的形狀參數(shù)產(chǎn)生全息圖像。

此外，這款全息眼鏡提供22.8 °的對角視場，2.3毫米靜態(tài)和8毫米動態(tài)眼盒，并支持3D 焦點提示，體積更小，而且非常輕巧。

據(jù)外媒稱，該全息眼鏡目前仍處于原型研究階段，圖像質(zhì)量、光瞳直徑與控制以及系統(tǒng)集成方面依然存在提升空間，所以接下來研究人員將繼續(xù)致力于優(yōu)化迭代。

VR頭顯引進(jìn)游戲領(lǐng)域

據(jù)悉，游戲開發(fā)商Render Cube透露其動作冒險游戲《Medieval Dynasty》的VR版本正在制作中，游戲?qū)⒌顷慚eta Quest 2、PCVR和PSVR 2平臺，預(yù)定的發(fā)售時間為2023年第一季度。

獨立團(tuán)隊Better Than Life近日宣布其皮劃艇模擬游戲《Kayak VR：Mirage》將于6月29日登陸Steam平臺，支持Valve Index、HTC Vive、Oculus Rift和Windows MR頭顯，發(fā)布時將包含一些地圖、競賽模式和自由漫游選項。

位于美國佛羅里達(dá)州，集購物、餐飲和娛樂于一體的綜合型設(shè)施的迪士尼之泉（Disney Springs）在5月2日～7月21日期間，為來訪游客提供免費(fèi)的VR游戲《星球大戰(zhàn) 銀河邊緣的故事》（Star Wars： Tales from the Galaxy‘s Edge）體驗?！缎乔虼髴?zhàn) 銀河邊緣的故事》是由美國工作室ILMxLAB開發(fā)的動作冒險游戲，于2020年11月發(fā)售。

IDC中國終端系統(tǒng)研究部分析師趙思泉認(rèn)為，VR一體機(jī)產(chǎn)品在2022年的出貨仍將依賴游戲內(nèi)容的吸引，廠商需重點關(guān)注內(nèi)容生態(tài)建設(shè)，提升消費(fèi)者購買意愿以及購買后持續(xù)在應(yīng)用商店消費(fèi)的能動性。

VR頭顯引進(jìn)汽車領(lǐng)域

近日，微軟正式宣布在HoloLens 2推出“移動平臺”功能，該功能由微軟與大眾汽車合作開發(fā)，旨在讓這個VR頭顯在汽車等地方工作。

大眾汽車一直嘗試引入頭顯設(shè)備作為車輛的平視顯示器，HoloLens 2一直在迭代優(yōu)化的移動平臺模式克服了將混合現(xiàn)實設(shè)備應(yīng)用到車輛船舶等移動平臺的限制，并創(chuàng)造了以新方式使用所述技術(shù)的潛力。

車輛引入AR眼鏡難點在于傳感器數(shù)據(jù)的沖突。此前微軟一篇博文透露，AR眼鏡使用相機(jī)傳感器以及慣性測量單元（IMU）來實現(xiàn)運(yùn)動追蹤。但是在汽車?yán)?，這兩個傳感器的讀數(shù)可能會發(fā)生沖突，因為頭顯看到的是靜態(tài)環(huán)境，而IMU感知到的則是運(yùn)動場景。

此外，據(jù)ETtoday報道，Meta還宣布在中國臺灣成立全亞洲第一座“元宇宙 XR Hub Taiwan”，展開 AR 與 VR 計劃，Meta指出，元宇宙是未來社群科技的核心，Meta將透過 3D 沉浸式互動體驗增強(qiáng)社群。由于臺灣的硬件、網(wǎng)絡(luò)等公共基礎(chǔ)架構(gòu)普及，還有優(yōu)秀開發(fā)者，Meta選定臺灣為發(fā)展元宇宙重要據(jù)點。

這次元宇宙 XR Hub Taiwan 為 Meta 與資策會一同設(shè)立的社群空間。未來將結(jié)合臺灣藝術(shù)家與 AR 創(chuàng)作者，透過AR功能，呈現(xiàn)臺灣文化藝術(shù)、經(jīng)濟(jì)商業(yè)、社會公益等三大領(lǐng)域的社群互動。

本文參考自新浪VR、環(huán)球網(wǎng)、cnBeta、VR陀螺、Disney Springs、IDC等