今天我們將把視線延伸至XR。

XR的出現(xiàn)為新一輪人機交互帶來了豐富內涵，虛實相間的沉浸式體驗一直是產(chǎn)業(yè)共同努力的方向。那么“沉浸式”究竟指什么？我們離沉浸式的XR還有多遠？本期為你解答。

自計算機技術出現(xiàn)之后，人與硬件開始建立起交互的關系。站在人機交互的視角回看硬件發(fā)展的歷史，過去的50年，硬件的形態(tài)大致經(jīng)歷了從游戲主機到個人電腦，再到智能手機的過程，分別對應的是垂直計算硬件、通用計算硬件，進而趨向小型化硬件的發(fā)展路徑。XR的出現(xiàn)為新一輪人機交互帶來了豐富內涵。

由XR技術和設備持續(xù)迭代所產(chǎn)生的內容-硬件-生態(tài)正向循環(huán)鏈，將我們帶到了元宇宙的入口處。對 XR 產(chǎn)業(yè)來說，支撐其發(fā)展的三大核心底層技術包括視覺和智能計算技術、大屏顯示技術和高速連接技術。

紫光展銳長期投入IP 集成能力、音視頻多媒體 IP 等核心技術，在5G/Wi-Fi 等通訊基礎、沉浸式大屏顯示所需的高動態(tài)（HDR）、廣色域（WCG）、高幀率（HFR）等方面擁有持續(xù)創(chuàng)新的先進技術。除產(chǎn)品研發(fā)外，紫光展銳深度參與了XR行業(yè)標準，并積極與生態(tài)合作伙伴為XR技術研究和產(chǎn)業(yè)推進作貢獻。

隨著產(chǎn)業(yè)生態(tài)各方融合創(chuàng)新的加速，XR及其涵蓋的關鍵技術能力逐漸融入消費級日常生活的方方面面。在市場蓬勃發(fā)展中，隨時隨地感知、傳遞信息，體驗虛實之間的多元世界離我們將不再遙遠。

XR是什么？

擴展現(xiàn)實技術（eXtended Reality，XR）包括了虛擬現(xiàn)實（Virtual Reality，VR）、增強現(xiàn)實（Augmented Reality，AR）、混合現(xiàn)實（Mixed Reality，MR）等多種形式。它將計算和AI技術、音視頻處理技術、仿真技術、通信技術等集于一體，通過模擬真實世界構建虛擬環(huán)境或創(chuàng)造全新的虛擬空間，帶來三維的沉浸感和多感官的虛擬交互體驗。

圍繞視覺沉浸感、物理沉浸感、認知沉浸感三方面，XR匯集了不同的數(shù)字技術，打造多維化的沉浸體驗。具體來說，視覺沉浸感依托于超高清顯示技術、超高軟硬件算力、高數(shù)據(jù)傳輸技術等支撐性技術，物理沉浸感旨在打破物理與數(shù)字空間的界限，包括多模態(tài)交互、空間計算、三維重建、定位與地圖構建等核心技術，認知沉浸感進一步拓展了XR對現(xiàn)實場景的語義與幾何理解，指向更多包括：腦機接口、裸眼3D、光場等未來發(fā)展前景廣闊的技術。

XR關鍵技術有哪些？

視覺質量是XR提供極致體驗的關鍵。人體所接收的80%的信息都來自于視覺感知，接近人眼的視覺體驗需要超高像素密度和合適的視場角FOV。其中像素密度取決于衡量圖像精細程度的圖像分辨率和顯示分辨率，高分辨率可以改善“紗窗效應”1，使得清晰度達到與真實世界無限接近的程度。視場角的大小影響到XR的沉浸感和清晰度，一般來說視場角越大，圖像需要渲染更多畫面，視覺沉浸感也就越強，相應也需要更高算力的支持。

人眼視場角范圍定義

多模態(tài)感知交互融合了面部追蹤、眼球追蹤、語音識別、手勢交互、觸覺模擬等多類技術，使人們能夠以最適合自己當前場景與業(yè)務流程的方式進行接入和交互。

以語音識別為例，不同場景下對設備語音識別和處理能力的要求不同。家居場景中，噪聲類型多、聲源位置復雜，拾音距離遠、信噪比差是提升用戶體驗優(yōu)先考慮的問題；在游戲場景中，要強化音頻感知能力，結合AI降噪、AI增強等技術，增添臨場感……

從沉浸式體驗出發(fā)，紫光展銳推出了支持從清晰語音、高效視頻編解碼到超高清智能顯示，覆蓋智能終端領域全場景的音視頻系統(tǒng)方案，進一步推動XR產(chǎn)品與應用落地，實現(xiàn)從移動到沉浸式的體驗升級。

如首款搭載NPU的智能顯示芯片平臺M6780中，集成了完整端側智能語音方案，通過紫光展銳自研的多麥克風陣列音頻捕捉算法、智能語音喚醒、端側命令詞識別等技術，讓芯片可以聽得清、聽得懂、能執(zhí)行。

5G催生XR豐富體驗

XR業(yè)務的流量特性，如非整數(shù)周期性、抖動、高速率、嚴格的包時延需求等，對通信系統(tǒng)的節(jié)能、容量等帶來了巨大挑戰(zhàn)。受手持設備、可穿戴設備的電池容量影響，終端的能耗優(yōu)化也尤其需要考慮。在保障XR服務質量的前提下，實現(xiàn)節(jié)能和容量等方面的優(yōu)化，將推動擴展現(xiàn)實應用更快落地。

5G技術支持高速率、低時延和高可靠性，同時基于XR流量特性也引入節(jié)能和容量優(yōu)化機制，不僅滿足了XR業(yè)務的通信需求，更拓展了用戶使用場景，為用戶提供了更靈活的使用方式。結合AI、云計算等技術，沉浸式內容傳輸?shù)男屎唾|量大大提升，用戶不再是信息被動接受者，而可以通過實時互動“主動”選擇和創(chuàng)造新的體驗。

從2018年開始，3GPP將XR作為5G標準中的重要內容，標準涵蓋了XR概念、關鍵技術、設備類型和性能指標等全面梳理。面向5G-A和6G，除了XR基礎業(yè)務場景的滿足，元宇宙其他更多場景的需求會變成重點，在感知+計算+網(wǎng)絡融合發(fā)展大趨勢下，實現(xiàn)最終“智能無所不及”的愿景。

3GPP TR26.928? 不同類型擴展現(xiàn)實技術及其應用

今天，我們已經(jīng)可以在文娛展覽、工業(yè)制造、社交聊天、醫(yī)療手術等場景下感受到智能化的沉浸交互體驗。從長期行業(yè)發(fā)展看，目前的XR還需克服交互流暢性、響應速度、認知沉浸、內容生產(chǎn)等方面的諸多挑戰(zhàn)。但不可否認，借助技術融合性和普及廣度，XR技術的探索也會伴隨內容生態(tài)的擴容，滲透進更多元的場景，不斷為行業(yè)拓寬新的視野和商業(yè)市場空間。

備注：

“紗窗效應”是指由于顯示器分辨率的原因，人眼會直接看到顯示屏的像素點，就好像隔著紗窗看東西一樣。