如果您看過NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛在GPU技術大會的主題演講，一定會被其中提到的成果震撼，這背后離不開NVIDIA研究人員的努力。

黃仁勛在GTC 2018上披露了兩項深度學習發(fā)現(xiàn)，有可能顛覆傳統(tǒng)計算機圖形技術。兩者都可以幫助游戲開發(fā)商以更少的時間和更低的成本創(chuàng)造更豐富的游戲體驗。其中一項可以通過輕松創(chuàng)建數(shù)據(jù)，訓練車輛適應更廣泛的道路狀況、環(huán)境和地點，加速自動駕駛車輛的開發(fā)。

一直以來，NVIDIA致力于將深度學習引入計算機圖形領域以推動行業(yè)發(fā)展。這兩個研究項目正是我們的最新成果。NVIDIA的研究團隊有200多人，分布在全球11個地點，致力于推動機器學習、計算機視覺、自動駕駛汽車、機器人、圖形處理、計算機架構(gòu)以及編程系統(tǒng)等領域的前沿技術發(fā)展。

黃仁勛表示：“這個團隊的生產(chǎn)力簡直不可思議。他們橫跨整個計算領域進行基礎研究?！?/p>

這兩幅圖是同一噪聲圖像的清晰版本。左邊的去噪圖像由神經(jīng)網(wǎng)絡經(jīng)過訓練從對應的清晰圖像和噪聲圖像生成。右邊的去噪圖像由研究人員使用單純噪聲圖像訓練模型生成。

噪聲圖像清晰化

你可能不知道噪聲圖像是什么，但你可能已經(jīng)見過它了。當用攝像頭對焦光線昏暗的場景時，圖像會呈現(xiàn)顆粒、異常的彩色斑點、或像螢火蟲一樣的白色斑點。

去除圖像噪聲是很困難的，因為這個過程本身可能會受人為因素影響或使圖像更模糊。深度學習實驗可以提供解決方案，但也存在一個重要缺點：實驗需要配對的清晰圖像和噪聲圖像來訓練神經(jīng)網(wǎng)絡。

普通的AI去噪需要配對的清晰圖像和噪聲圖像。但是，對于MRI和其他醫(yī)學圖像，通常無法獲得清晰圖像。有了“噪聲到噪聲”技術，將不再需要清晰圖像。

只要有好的照片就可以去噪，但要達到理想效果也可能很難，甚至不可能達到。NVIDIA在芬蘭和瑞典的研究人員開發(fā)了一種稱為“噪聲到噪聲”(Noise2Noise) 的解決方案，解決了這個問題。

基于噪聲圖像生成清晰圖像成為可能

如何生成清晰的圖像是醫(yī)學成像檢測（如MRI）和遠程恒星或行星天文圖像中的共同問題，因為這些場景根本沒有足夠的時間和光線來拍攝清晰圖像。

時間在計算機圖形技術中也是一個問題。生成清晰的圖像數(shù)據(jù)來訓練降噪器的任務可能需要幾天或幾周的時間。

“噪聲到噪聲”看起來似乎不太可能。因為它不是基于配對的清晰圖像和噪聲圖像來訓練網(wǎng)絡，而是基于配對的噪聲圖像來訓練網(wǎng)絡，并且只需要噪聲圖像。然而，“噪聲到噪聲”產(chǎn)生的結(jié)果卻等同于或幾乎等同于老方法可實現(xiàn)的網(wǎng)絡訓練結(jié)果。

NVIDIA研究部門副總裁David Luebke表示：“我們發(fā)現(xiàn)，通過正確建立網(wǎng)絡，可以做到一些看似不可能的事情。搞清楚整個過程后，會發(fā)現(xiàn)這是一個非常令人驚喜的事情?！?/p>

通過語義操作輕松改變圖像

黃仁勛演示的第二個項目代表了構(gòu)建虛擬世界的全新方法。它利用深度學習，從繁重且高代價的游戲3D建模任務中抽離出來，并為自動駕駛汽車捕獲訓練數(shù)據(jù)。

這種被稱為“語義操作”的技術就好像樂高積木，孩子們可以搭建出任何想要的東西。

在語義操作中，用戶可以從一張帶標簽的地圖開始操作。每一個場景中的像素都相當于一張帶有標簽的藍圖，切換圖上的某些標簽就能改變圖像。還可以編輯對象的樣式，例如選擇不同類型的汽車、樹木或道路。

NVIDIA研究人員的深度學習圖像合成技術可以通過改變語義標簽輕松改變道路的外觀。

加速游戲開發(fā)

研究團隊所采用的方法依靠生成式對抗網(wǎng)絡(GAN)技術。這是一種深度學習技術，通常用于在數(shù)據(jù)匱乏時創(chuàng)建訓練數(shù)據(jù)。

雖然GAN通常難以生成逼真的高分辨率圖像，但NVIDIA研究員能夠通過改變GAN架構(gòu)使之成為可能。

目前，為了創(chuàng)建計算機游戲的虛擬環(huán)境，美術師需要數(shù)千小時的時間來創(chuàng)建和更改模型，每個游戲的花費可能高達上億美元。這些模型經(jīng)過渲染，轉(zhuǎn)換為我們在屏幕上所看到的游戲。

如果能減少所需要的工作量，游戲美術師和工作室就可以創(chuàng)建更多角色、更多故事情節(jié)和更復雜的游戲。

優(yōu)化自動駕駛汽車訓練

獲取數(shù)據(jù)訓練自動駕駛汽車同樣很麻煩。通常需要在道路上投放配備傳感器和攝像頭的車隊。汽車采集的數(shù)據(jù)必須手動標注，用于訓練自動駕駛汽車。

采用NVIDIA的方法，可以在舊金山收集數(shù)據(jù)，然后應用于另一個山地城市，例如巴塞羅那。甚至可以把一條鵝卵石街道變成一條石砌路，或者把一條林蔭大道變成停滿汽車的道路。

這樣可以更有效地訓練汽車處理不同情況。還可以開發(fā)圖形渲染引擎，用現(xiàn)實世界的數(shù)據(jù)進行訓練，并用生成模型渲染。

黃仁勛表示：“我為NVIDIA研究團隊感到驕傲。歡迎與我們一起探討，共同取得更大進步?！?/p>