借助 NVIDIA CloudXR 以及 RTX 虛擬工作站（vWS），沙核科技（Sandman Studios）研發(fā)的虛擬社交娛樂(lè)平臺(tái)“大千”（VAST）實(shí)現(xiàn)了從應(yīng)用部署、算力編排、按需分配虛擬化、低延遲編解碼與低帶寬的云端圖形計(jì)算與 XR 體驗(yàn)推流。

沙核科技讓泛終端跨全球統(tǒng)一上線，高質(zhì)量實(shí)時(shí)虛擬娛樂(lè)體驗(yàn)成功落地 2022 砂之盒沉浸藝術(shù)季（SIF, Sandbox Immersive Festival）。

VR 體驗(yàn)升級(jí)面臨實(shí)時(shí)內(nèi)容傳輸挑戰(zhàn)

大千（VAST）為了提供給用戶更加身臨其境和逼真的內(nèi)容體驗(yàn)，選擇 VR 設(shè)備作為應(yīng)用運(yùn)行和用戶體驗(yàn)的首要載體。在這類場(chǎng)景下，技術(shù)對(duì)設(shè)備性能要求較高，一次性采購(gòu)設(shè)備的成本也相應(yīng)提高。特別是新技術(shù)迭代周期短，很多端用戶設(shè)備并不能完全兼容應(yīng)用的運(yùn)行。

同時(shí)，VR 硬件種類眾多——包括了 PC VR 頭顯與 VR 一體機(jī)等，各個(gè)平臺(tái)間存在著較大的性能差異。

VR 應(yīng)用和常規(guī)游戲、視頻、直播應(yīng)用場(chǎng)景一樣，需要通過(guò) GPU 服務(wù)器渲染好畫(huà)面后發(fā)送到端用戶：采集畫(huà)面一般是增加額外采集卡，后轉(zhuǎn)至相應(yīng)的軟件來(lái)接受畫(huà)面。增設(shè)采集卡也意味著數(shù)據(jù)傳輸過(guò)程中會(huì)有額外延遲，一般在 10ms-100ms。

如果是將原始畫(huà)面通過(guò)網(wǎng)絡(luò)傳輸?shù)蕉擞脩?，意味著網(wǎng)絡(luò)帶寬需要支持超大體積的數(shù)據(jù)包。普通用戶所使用的帶寬不足以低延遲接受原始畫(huà)面數(shù)據(jù)；因此需要在網(wǎng)絡(luò)傳輸畫(huà)面數(shù)據(jù)之前，重新編碼來(lái)壓縮數(shù)據(jù)體積，同時(shí)還要保留較好的畫(huà)面質(zhì)量。

與常規(guī)云推流方案不同，VR 應(yīng)用需要轉(zhuǎn)發(fā)的端用戶操作數(shù)據(jù)更多也更復(fù)雜。包括 VR 頭顯設(shè)備的姿態(tài)數(shù)據(jù)，手柄的姿態(tài)和按鍵操作數(shù)據(jù)，甚至是動(dòng)作捕捉設(shè)備數(shù)據(jù)。相應(yīng)在轉(zhuǎn)發(fā)數(shù)據(jù)到云端后，要求服務(wù)器準(zhǔn)確復(fù)現(xiàn)操作也是具備一定的困難。

VR 應(yīng)用為了提供用戶更好的沉浸感，一定離不開(kāi)音頻輸出和語(yǔ)音輸入，如果音頻的傳輸延遲不能控制在較低的水平下，同樣會(huì)讓用戶體驗(yàn)大打折扣。

NVIDIA CloudXR 賦能云推流解決方案

為了使更多用戶可以體驗(yàn)到統(tǒng)一化的極致體驗(yàn)，以及較低的使用成本，沙核科技選擇 NVIDIA CloudXR 云推流作為解決方案，為業(yè)務(wù)帶來(lái)了巨大的升維。

結(jié)合 VR 應(yīng)用和以往經(jīng)驗(yàn)，為解決以上挑戰(zhàn)，沙核科技決定選擇基于 NVIDIA CloudXR 平臺(tái)來(lái)構(gòu)建解決方案。在 SIF 2022 期間， 方案為大千（VAST）和與電氣櫻桃合作的虛擬演唱會(huì)，提供了穩(wěn)定的推流技術(shù)支持和 VR 體驗(yàn)提升。

SIF 展會(huì)上，無(wú)需采購(gòu)和提前測(cè)試提供渲染服務(wù)的高配主機(jī)，而是按照使用需求啟用云廠商提供的虛擬實(shí)例。NVIDIA A10 Tensor Core GPU 配合 NVIDIA CloudXR 與 RTX 虛擬工作站（vWS），極大降低了投入成本和設(shè)備維護(hù)的人力成本。并且在高峰時(shí)期，可支持快速啟用新實(shí)例來(lái)滿足峰值用戶需求。

借助 NVIDIA CloudXR 提供的流式視頻傳輸功能，減少了視頻流的帶寬占用，進(jìn)一步提升了同一網(wǎng)絡(luò)環(huán)境下能夠支持的終端設(shè)備數(shù)量，同時(shí)保證了較好的畫(huà)面效果。

在 VR 設(shè)備上，NVIDIA CloudXR 提供了精確的用戶操作數(shù)據(jù)捕捉，同時(shí)在云端服務(wù)器準(zhǔn)確還原端用戶操作，讓用戶收獲完整的沉浸體驗(yàn)。

虛擬娛樂(lè)平臺(tái)豐富用戶視聽(tīng)體驗(yàn)

NVIDIA CloudXR 全面提升了大千（VAST）平臺(tái)的用戶體驗(yàn)，為擴(kuò)展元宇宙虛擬娛樂(lè)領(lǐng)域其他業(yè)務(wù)打下了良好的基礎(chǔ)。

“NVIDIA CloudXR 省去了我們從零開(kāi)始研發(fā)云推流方案的時(shí)間和成本，也讓我們更加堅(jiān)信多元化虛擬娛樂(lè)的未來(lái)發(fā)展前景。”

開(kāi)發(fā)一個(gè)優(yōu)質(zhì)的 VR 虛擬社交娛樂(lè)內(nèi)容平臺(tái)、需要耗時(shí)兩至三年，甚至可能收效甚微。

NVIDIA CloudXR 針對(duì)實(shí)時(shí)圖形推流的解決方案，將 VR 上云的速度提升了一個(gè)量級(jí)，滿足了處理海量圖形計(jì)算的需求，極大地降低了用戶的接入門檻，將原宇宙概念落地時(shí)間縮短到當(dāng)下，而不是未來(lái) 5-10 年，極大地減少了時(shí)間成本，市場(chǎng)教育成本，更有利于用戶抓住下一個(gè)時(shí)代的網(wǎng)絡(luò)紅利新趨勢(shì)。

在網(wǎng)絡(luò)傳輸環(huán)節(jié)，配合網(wǎng)絡(luò)實(shí)施團(tuán)隊(duì)搭建的 WIFI 環(huán)境，實(shí)現(xiàn)了超乎預(yù)期的結(jié)果。在 SIF 2022 落地展示做到了業(yè)界創(chuàng)紀(jì)錄的在同一狹小空間內(nèi) 15 臺(tái)無(wú)線 VR 設(shè)備同時(shí)上線（此前在實(shí)驗(yàn)室階段的記錄為 6 臺(tái)），并且穩(wěn)定流暢地保障了全場(chǎng)觀眾完整的觀看和虛擬直播演出的全程體驗(yàn)。

砂之盒策展人兼沙核科技創(chuàng)始人 Eddie 表示：“大千（Vast）作為 NVIDIA 初創(chuàng)計(jì)劃會(huì)員沙核科技的突破性平臺(tái)產(chǎn)品，在 NVIDIA CloudXR 技術(shù)的支持下，激發(fā)出更多可能性——我們將與廣大虛擬娛樂(lè)創(chuàng)作者繼續(xù)嘗試不同虛擬演出的形式和內(nèi)容，更有信心在未來(lái)做出完整的互動(dòng)音樂(lè)演出和音樂(lè)節(jié)，讓每一個(gè)用戶都有機(jī)會(huì)體驗(yàn)虛擬空間表演的魅力。”

審核編輯：湯梓紅