1. rendering path 的技術(shù)基礎(chǔ)

在介紹各種光照渲染方式之前，首先必須介紹一下現(xiàn)代的圖形渲染管線。這是下面提到的幾種 Rendering Path 的技術(shù)基礎(chǔ)。

目前主流的游戲和圖形渲染引擎，包括底層的 API（如 DirectX 和 OpenGL）都開始支持現(xiàn)代的圖形渲染管線?，F(xiàn)代的渲染管線也稱為可編程管線（Programmable Pipeline），簡(jiǎn)單點(diǎn)說就是將以前固定管線寫死的部分（比如頂點(diǎn)的處理，像素顏色的處理等等）變成在 GPU上可以進(jìn)行用戶自定義編程的部分，好處就是用戶可以自由發(fā)揮的空間增大，缺點(diǎn)就是必須用戶自己實(shí)現(xiàn)很多功能。

下面簡(jiǎn)單介紹下可編程管線的流程。以 OpenGL 繪制一個(gè)三角形舉例。首先用戶指定三個(gè)頂點(diǎn)傳給 Vertex Shader。然后用戶可以選擇是否進(jìn)行 Tessellation Shader（曲面細(xì)分可能會(huì)用到）和 Geometry Shader（可以在 GPU 上增刪幾何信息）。緊接著進(jìn)行光柵化，再將光柵化后的結(jié)果傳給 Fragment Shader 進(jìn)行 pixel 級(jí)別的處理。最后將處理的像素傳給FrameBuffer 并顯示到屏幕上。

2. 幾種常用的 Rendering Path

Rendering Path 其實(shí)指的就是渲染場(chǎng)景中光照的方式。由于場(chǎng)景中的光源可能很多，甚至是動(dòng)態(tài)的光源。所以怎么在速度和效果上達(dá)到一個(gè)最好的結(jié)果確實(shí)很困難。以當(dāng)今的顯卡發(fā)展為契機(jī)，人們才衍生出了這么多的 Rendering Path 來處理各種光照。

2.1 Forward Rendering

Forward Rendering 是絕大數(shù)引擎都含有的一種渲染方式。要使用 Forward Rendering，一般在 Vertex Shader 或 Fragment Shader 階段對(duì)每個(gè)頂點(diǎn)或每個(gè)像素進(jìn)行光照計(jì)算，并且是對(duì)每個(gè)光源進(jìn)行計(jì)算產(chǎn)生最終結(jié)果。下面是 Forward Rendering 的核心偽代碼。

比如在 Unity3D 4.x 引擎中，對(duì)于下圖中的圓圈（表示一個(gè) Geometry），進(jìn)行 Forward Rendering 處理。

將得到下面的處理結(jié)果

也就是說，對(duì)于 ABCD 四個(gè)光源我們?cè)?Fragment Shader 中我們對(duì)每個(gè) pixel 處理光照，對(duì)于 DEFG 光源我們?cè)?Vertex Shader 中對(duì)每個(gè) vertex 處理光照，而對(duì)于 GH 光源，我們采用球調(diào)和（SH）函數(shù)進(jìn)行處理。

Forward Rendering 優(yōu)缺點(diǎn)

很明顯，對(duì)于 Forward Rendering，光源數(shù)量對(duì)計(jì)算復(fù)雜度影響巨大，所以比較適合戶外這種光源較少的場(chǎng)景（一般只有太陽光）。

但是對(duì)于多光源，我們使用 Forward Rendering 的效率會(huì)極其低下。因?yàn)槿绻?vertex shader 中計(jì)算光照，其復(fù)雜度將是O(num_geometry_vertexes ? num_lights)，而如果在fragment shader 中計(jì)算光照，其復(fù)雜度為O(num_geometry_fragments ? num_lights) ?？梢姽庠磾?shù)目和復(fù)雜度是成線性增長(zhǎng)的。

對(duì)此，我們需要進(jìn)行必要的優(yōu)化。比如

1、多在 vertex shader 中進(jìn)行光照處理，因?yàn)橛幸粋€(gè)幾何體有 10000 個(gè)頂點(diǎn)，那么對(duì)于 n 個(gè)光源，至少要在 vertex shader 中計(jì)算 10000n 次。而對(duì)于在 fragment shader 中進(jìn)行處理，這種消耗會(huì)更多，因?yàn)閷?duì)于一個(gè)普通的 1024x768 屏幕，將近有 8 百萬的像素要處理。所以如果頂點(diǎn)數(shù)小于像素個(gè)數(shù)的話，盡量在 vertex shader 中進(jìn)行光照。

2、如果要在 fragment shader 中處理光照，我們大可不必對(duì)每個(gè)光源進(jìn)行計(jì)算時(shí)，把所有像素都對(duì)該光源進(jìn)行處理一次。因?yàn)槊總€(gè)光源都有其自己的作用區(qū)域。比如點(diǎn)光源的作用區(qū)域是一個(gè)球體，而平行光的作用區(qū)域就是整個(gè)空間了。對(duì)于不在此光照作用區(qū)域的像素就不進(jìn)行處理。但是這樣做的話，CPU 端的負(fù)擔(dān)將加重。

3、對(duì)于某個(gè)幾何體，光源對(duì)其作用的程度是不同，所以有些作用程度特別小的光源可以不進(jìn)行考慮。典型的例子就是 Unity 中只考慮重要程度最大的 4 個(gè)光源。

2.2 Deferred Rendering

Deferred Rendering（延遲渲染）顧名思義，就是將光照處理這一步驟延遲一段時(shí)間再處理。具體做法就是將光照放在已經(jīng)將三維物體生成二維圖片之后進(jìn)行處理。也就是說將物空間的光照處理放到了像空間進(jìn)行處理。要做到這一步，需要一個(gè)重要的輔助工具——G-Buffer。G-Buffer 主要是用來存儲(chǔ)每個(gè)像素對(duì)應(yīng)的 Position，Normal，Diffuse Color 和其他 Material parameters。根據(jù)這些信息，我們就可以在像空間中對(duì)每個(gè)像素進(jìn)行光照處理[3]。下面是Deferred Rendering 的核心偽代碼。

下面簡(jiǎn)單舉個(gè)例子。

首先我們用存儲(chǔ)各種信息的紋理圖。比如下面這張 Depth Buffer，主要是用來確定該像素距離視點(diǎn)的遠(yuǎn)近的。

根據(jù)反射光的密度/強(qiáng)度分度圖來計(jì)算反射效果。

下圖表示法向數(shù)據(jù)，這個(gè)很關(guān)鍵。進(jìn)行光照計(jì)算最重要的一組數(shù)據(jù)。

下圖使用了 Diffuse Color Buffer。

這是使用 Deferred Rendering 最終的結(jié)果。

Deferred Rendering 的最大的優(yōu)勢(shì)就是將光源的數(shù)目和場(chǎng)景中物體的數(shù)目在復(fù)雜度層面上完全分開。也就是說場(chǎng)景中不管是一個(gè)三角形還是一百萬個(gè)三角形，最后的復(fù)雜度不會(huì)隨光源數(shù)目變化而產(chǎn)生巨大變化。從上面的偽代碼可以看出 deferred rendering 的復(fù)雜度為O(screen_resolution + num_lights)。

但是 Deferred Rendering 局限性也是顯而易見。比如我在 G-Buffer 存儲(chǔ)以下數(shù)據(jù)

這樣的話，對(duì)于一個(gè)普通的 1024x768 的屏幕分辨率?？偣驳檬褂?1024x768x128bit=20MB，對(duì)于目前的動(dòng)則上 GB 的顯卡內(nèi)存，可能不算什么。但是使用 G-Buffer 耗費(fèi)的顯存還是很多的。一方面，對(duì)于低端顯卡，這么大的顯卡內(nèi)存確實(shí)很耗費(fèi)資源。另一方面，如果要渲染更酷的特效，使用的 G-Buffer 大小將增加，并且其增加的幅度也是很可觀的。順帶說一句，存取 G-Buffer 耗費(fèi)的帶寬也是一個(gè)不可忽視的缺陷。

對(duì)于 Deferred Rendering 的優(yōu)化也是一個(gè)很有挑戰(zhàn)的問題。下面簡(jiǎn)單介紹幾種降低Deferred Rendering 存取帶寬的方式。最簡(jiǎn)單也是最容易想到的就是將存取的 G-Buffer 數(shù)據(jù)結(jié)構(gòu)最小化，這也就衍生除了 light pre-pass 方法。另一種方式是將多個(gè)光照組成一組，然后一起處理，這種方法衍生了 Tile-based deferred Rendering。

2.2.1 Light Pre-Pass

Light Pre-Pass 最早是由 Wolfgang Engel 在他的博客[2]中提到的。

具體的做法是：

（1）只在G-Buffer 中存儲(chǔ) Z 值和 Normal 值。對(duì)比 Deferred Render，少了 Diffuse Color， Specular Color 以及對(duì)應(yīng)位置的材質(zhì)索引值。

（2）在 FS 階段利用上面的 G-Buffer 計(jì)算出所必須的 light properties，比如 Normal*LightDir,LightColor,Specular 等 light properties。將這些計(jì)算出的光照進(jìn)行 alpha-blend 并存入 LightBuffer（就是用來存儲(chǔ) light properties 的 buffer）。

（3）最后將結(jié)果送到 forward rendering 渲染方式計(jì)算最后的光照效果。

相對(duì)于傳統(tǒng)的 Deferred Render，使用 Light Pre-Pass 可以對(duì)每個(gè)不同的幾何體使用不同的 shader 進(jìn)行渲染，所以每個(gè)物體的 material properties 將有更多變化。這里我們可以看出對(duì)于傳統(tǒng)的 Deferred Render，它的第二步（見偽代碼）是遍歷每個(gè)光源，這樣就增加了光源設(shè)置的靈活性，而 Light Pre-Pass 第三步使用的其實(shí)是 forward rendering，所以可以對(duì)每個(gè)mesh 設(shè)置其材質(zhì)，這兩者是相輔相成的，有利有弊。另一個(gè) Light Pre-Pass 的優(yōu)點(diǎn)是在使用MSAA 上很有利。雖然并不是 100%使用上了 MSAA（除非使用 DX10/11 的特性），但是由于使用了 Z 值和 Normal 值，就可以很容易找到邊緣，并進(jìn)行采樣。

下面這兩張圖，左邊是使用傳統(tǒng) Deferred Render 繪制的，走遍是使用 Light Pre-Pass 繪制的。這兩張圖在效果上不應(yīng)該有太大區(qū)別。

2.2.2 Tile-Based Deferred Rendering

TBDR 主要思想就是將屏幕分成一個(gè)個(gè)小塊 tile。然后根據(jù)這些 Depth 求得每個(gè) tile 的bounding box。對(duì)每個(gè) tile 的 bounding box 和 light 進(jìn)行求交，這樣就得到了對(duì)該 tile 有作用的 light 的序列。最后根據(jù)得到的序列計(jì)算所在 tile 的光照效果。

對(duì)比 Deferred Render，之前是對(duì)每個(gè)光源求取其作用區(qū)域 light volume，然后決定其作用的的 pixel，也就是說每個(gè)光源要求取一次。而使用 TBDR，只要遍歷每個(gè) pixel，讓其所屬tile 與光線求交，來計(jì)算作用其上的 light，并利用 G-Buffer 進(jìn)行 Shading。一方面這樣做減少了所需考慮的光源個(gè)數(shù)，另一方面與傳統(tǒng)的 Deferred Rendering 相比，減少了存取的帶寬。

2.3 Forward+

Forward+ == Forward + Light Culling[6]。Forward+很類似 Tiled-based Deferred Rendering。其具體做法就是先對(duì)輸入的場(chǎng)景進(jìn)行 z-prepass，也就是說關(guān)閉寫入 color，只向 z-buffer 寫入 z 值。注意此步驟是 Forward+必須的，而其他渲染方式是可選的。接下來來的步驟和 TBDR 很類似，都是劃分 tiles，并計(jì)算 bounding box。只不過 TBDR 是在 G-Buffer 中完成這一步驟的，而 Forward+是根據(jù) Z-Buffer。最后一步其實(shí)使用的是 forward 方式，即在 FS 階段對(duì)每個(gè)pixel 根據(jù)其所在 tile 的 light 序列計(jì)算光照效果。而 TBDR 使用的是基于 G-Buffer 的 deferred rendering。

實(shí)際上，forward+比 deferred 運(yùn)行的更快。我們可以看出由于 Forward+只要寫深度緩存就可以，而 Deferred Render 除了深度緩存，還要寫入法向緩存。而在 Light Culling 步驟，F(xiàn)orward+只需要計(jì)算出哪些 light 對(duì)該 tile 有影響即可。而 Deferred Render 還在這一部分把光照處理給做了。而這一部分，F(xiàn)orward+是放在 Shading 階段做的。所以 Shading階段 Forward+耗費(fèi)更多時(shí)間。但是對(duì)目前硬件來說，Shading 耗費(fèi)的時(shí)間沒有那么多。

Forward+的優(yōu)勢(shì)還有很多，其實(shí)大多就是傳統(tǒng) Forward Rendering 本身的優(yōu)勢(shì)，所以Forward+更像一個(gè)集各種 Rendering Path 優(yōu)勢(shì)于一體的 Rendering Path。

3. 總結(jié)

首先我們列出 Rendering Equation，然后對(duì)比 Forward Rendering，Deferred Rendering 和Forward+ Rendering。

3.1 Rendering Equation

其中點(diǎn) x 處有一入射光，其光強(qiáng)為L(zhǎng)e，入射角度為 wi。根據(jù)函數(shù) f 和 Le來計(jì)算出射角為 wo)。注意此處的 n 為場(chǎng)景中總共有 n 個(gè)光源。

3.2 Forward Renderng

由于 Forward 本身對(duì)多光源支持力度不高，所以此處對(duì)于每個(gè)點(diǎn) x 的處理不再考慮所有的 n 個(gè)光源，僅僅考慮少量的或者說經(jīng)過挑選的 m 個(gè)光源?？梢钥闯鲞@樣的光照效果并不完美。另外，每個(gè)光線的V'(wo)是計(jì)算不了的。

3.3 Deferred Rendering

由于 Deferred Rendering 使用了 light culling，所以不用遍歷場(chǎng)景中的所有光源，只需遍歷經(jīng)過 light culling 后的 n 個(gè)光源即可。并且 Deferred Rendering 將計(jì)算 BxDF 的部分單獨(dú)分出來了。

3.4 Forward+ Rendering

可以看出 Forward+和 Forward 最大區(qū)別就是光源的挑選上有了很到改進(jìn)。