NVIDIA在夏季的多場頂級圖形大會上展示其如何為藝術(shù)家、創(chuàng)作者和游戲玩家推動實(shí)時路徑追蹤和內(nèi)容創(chuàng)作工具的發(fā)展。

計(jì)算機(jī)圖形和AI是NVIDIA的基石，兩者的強(qiáng)強(qiáng)結(jié)合助力創(chuàng)作者距離實(shí)現(xiàn)實(shí)時渲染影院級3D圖像的目標(biāo)邁進(jìn)。

在今年夏天舉行的一系列圖形學(xué)大會上，NVIDIA研究團(tuán)隊(duì)分享了實(shí)時路徑追蹤和內(nèi)容創(chuàng)建方面的開創(chuàng)性工作，其中的大部分工作都是基于最先進(jìn)的AI技術(shù)。這些項(xiàng)目使用推動實(shí)時渲染技術(shù)發(fā)展的新工具解決圖形學(xué)領(lǐng)域最棘手的問題。

其中一個項(xiàng)目的目標(biāo)是提高渲染光線在穿過毛皮或霧氣等復(fù)雜素材時的真實(shí)性。另一個目標(biāo)是幫助藝術(shù)家更輕松地將他們的創(chuàng)意設(shè)想轉(zhuǎn)化為栩栩如生的模型和場景。

在本周舉行的SIGGRAPH 2021大會以及最近舉行的高性能圖形學(xué)大會和歐洲圖形學(xué)渲染研討會上，這些研究進(jìn)展突顯了NVIDIA RTX GPU如何繼續(xù)推進(jìn)逼真實(shí)時圖形學(xué)的前沿。

要想實(shí)時渲染逼真的圖像，就必須對光線進(jìn)行精準(zhǔn)的模擬，按照物理世界中的光線規(guī)律進(jìn)行建模。目前，路徑追蹤是已知的最有效的方法，而這需要消耗大量的計(jì)算資源，不過可以呈現(xiàn)出美輪美奐的圖像。

NVIDIA RTX平臺帶有專門的光線追蹤硬件和高性能Tensor Core，能夠高效評估AI模型，堪稱為這項(xiàng)任務(wù)的量身定制。但在有些情況下，創(chuàng)建高清渲染圖像仍具有挑戰(zhàn)性。

比如一只在樹林中潛行的老虎。

看清光線：實(shí)時路徑追蹤

為了使一個場景完全逼真，創(chuàng)作者必須渲染復(fù)雜的照明效果，如反射、陰影和可見的薄霧。

在森林場景中，斑駁的陽光透過樹葉，與濃霧中懸浮的水分子交織成朦朧的畫面。之前的技術(shù)無法實(shí)時渲染云層、塵土飛揚(yáng)的地面或霧氣等逼真的圖像。但是NVIDIA研究人員開發(fā)了一些技術(shù)，通常能夠?qū)⑦@些現(xiàn)象的視覺效果計(jì)算效率提高10倍。

老虎本身既被陽光照耀，又被樹木遮擋。當(dāng)它穿過樹林時，其倒影在下面的池塘中清晰可見。為了實(shí)現(xiàn)這種具有直接和間接反射的豐富視覺效果照明，需要為場景中的每個像素計(jì)算數(shù)千條路徑。

這項(xiàng)任務(wù)耗費(fèi)的資源過多，因此無法實(shí)時完成。為此，NVIDIA研究團(tuán)隊(duì)創(chuàng)建了一種路徑采樣算法，這種算法優(yōu)先考慮最有可能對最終圖像作出貢獻(xiàn)的光線路徑和反射，并且其圖像渲染速度比之前快了100倍以上。

老虎的AI：神經(jīng)輻射緩存

另外一組NVIDIA研究人員利用一種名為神經(jīng)輻射緩存的新技術(shù)在全局照明方面取得了突破。這種方法同時使用了用于光線追蹤的NVIDIA RT Core和用于AI加速的Tensor Core，在渲染動態(tài)場景的同時現(xiàn)場訓(xùn)練一個微小的神經(jīng)網(wǎng)絡(luò)。

該神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)光線在整個場景中的分布情況。當(dāng)在NVIDIA GeForce RTX 3090 GPU上運(yùn)行時，它每秒可評估超過10億次全局照明查詢，以交互式幀率描繪老虎致密的皮毛，具有之前無法實(shí)現(xiàn)的豐富的光照細(xì)節(jié)。

完美創(chuàng)建難以實(shí)現(xiàn)的紋理

隨著渲染算法的進(jìn)步，現(xiàn)有的3D內(nèi)容必須跟上算法所能達(dá)到的復(fù)雜性和豐富性，這一點(diǎn)至關(guān)重要。

NVIDIA研究人員正在深入探索這一領(lǐng)域，開發(fā)各種支持內(nèi)容創(chuàng)作者建立豐富、逼真3D環(huán)境模型的技術(shù)。其中的一個重點(diǎn)領(lǐng)域是具有高度幾何復(fù)雜性的素材，而使用傳統(tǒng)技術(shù)可能難以模擬這些材質(zhì)。

Polo衫的編織式樣、地毯的紋理或草葉的特征往往比一個像素小得多，因此很難有效地存儲和渲染它們的表現(xiàn)形式。NVIDIA研究人員正在用NeRF-Tex解決這個問題，該方法使用神經(jīng)網(wǎng)絡(luò)來表現(xiàn)這些具有挑戰(zhàn)性的素材并對它們對照明的反應(yīng)進(jìn)行編碼。

見樹亦見林

復(fù)雜的幾何物體在外觀上也有差異，這取決于它們與觀察者的距離。以一棵枝繁葉茂的樹為例：距離近時，可以看到樹枝、樹葉和樹皮上的大量細(xì)節(jié)；而距離遠(yuǎn)時，可能只能看到一團(tuán)綠色。

雖然為場景中森林另一端的樹渲染樹皮和樹葉細(xì)節(jié)消耗了大量時間，但在放大畫面時，模型應(yīng)盡可能地真實(shí)。

這是計(jì)算機(jī)圖形學(xué)中的一個經(jīng)典問題——LOD。藝術(shù)家們經(jīng)常被這一挑戰(zhàn)所困擾，他們?yōu)槊總€3D物體手動建立多個版本的模型以實(shí)現(xiàn)高效渲染。

NVIDIA研究人員開發(fā)了一種可以基于逆向渲染方法自動生成簡化模型的新方法。通過該方法，創(chuàng)作者可以生成簡化的模型。這些模型經(jīng)過優(yōu)化，看起來與原來的模型沒有區(qū)別，但其幾何復(fù)雜性卻大大降低。

NVIDIA 在SIGGRAPH 2021大會上的風(fēng)采

由全球200多名科學(xué)家組成的NVIDIA研究團(tuán)隊(duì)專注于AI、計(jì)算機(jī)圖形、計(jì)算機(jī)視覺、自動駕駛汽車、機(jī)器人技術(shù)等領(lǐng)域。在8月9日至13日舉行的SIGGRAPH會議上，NVIDIA研究人員將發(fā)表以下論文：

● 用于路徑追蹤的實(shí)時神經(jīng)輻射緩存

● 神經(jīng)場景圖渲染

● 無偏移光線行進(jìn)透射率估算器

● StrokeStrip：筆劃簇的關(guān)節(jié)參數(shù)化和擬合

編輯：jq