近二十年來，NVIDIA Research 的研究成果催生了包括 NVIDIA DLSS、NVLink 和 Cosmos 在內(nèi)的標(biāo)志性產(chǎn)品。

NVIDIA 眾多具有里程碑意義的創(chuàng)新（驅(qū)動 AI、加速計算、實時光線追蹤以及無縫連接數(shù)據(jù)中心提供支持的基礎(chǔ)性技術(shù)），其根源都可以追溯其研究機(jī)構(gòu)——NVIDIA Research。這個團(tuán)隊由全球約 400 名專家組成，其研究領(lǐng)域包括計算機(jī)架構(gòu)、生成式 AI、圖形和機(jī)器人等。

NVIDIA Research 成立于 2006 年，自 2009 年起由斯坦福大學(xué)計算機(jī)科學(xué)系前系主任 Bill Dally 領(lǐng)導(dǎo)。在企業(yè)設(shè)立的研究機(jī)構(gòu)中，NVIDIA Research 獨(dú)樹一幟，其使命是攻克復(fù)雜的技術(shù)難題的同時對公司和世界產(chǎn)生深遠(yuǎn)影響。

NVIDIA Research 首席科學(xué)家兼高級副總裁 Bill Dally 表示：“在開展卓越研究的同時我們努力確保研究工作與公司業(yè)務(wù)緊密相關(guān)。只做到其中一點(diǎn)很容易，兩者兼顧則頗具挑戰(zhàn)。”

在 NVIDIA GTC 大會上，Dally 和 NVIDIA Research 的團(tuán)隊領(lǐng)導(dǎo)們分享了該團(tuán)隊的創(chuàng)新成果。NVIDIA GTC 是 AI 領(lǐng)域的頂尖開發(fā)者大會，上周在美國加州圣何塞舉行。

在描述使命時，許多研究機(jī)構(gòu)會表示其研究項目的時間跨度比產(chǎn)品團(tuán)隊的項目更長，但 NVIDIA 研究人員尋求的是具有更大“風(fēng)險跨度”的項目。一旦成功，這些項目便有可能獲得巨大回報。

圖形研究副總裁、NVIDIA 首位研究員 David Luebke 表示：“我們的使命是做對公司有益的事。這不是為了打造一個陳列最佳論文獎的榮譽(yù)室或為了建立研究人員名人堂。我們是一小群人，有幸能夠研究可能失敗的想法。因此，我們有責(zé)任不浪費(fèi)機(jī)會，在那些一旦成功就能產(chǎn)生重大影響的項目上全力以赴?！?/p>

作為一個團(tuán)隊進(jìn)行創(chuàng)新

NVIDIA 的核心價值觀之一是“one team”，這體現(xiàn)了對協(xié)作的高度重視，有助于研究人員與產(chǎn)品團(tuán)隊和業(yè)內(nèi)相關(guān)人士緊密合作，將他們的想法轉(zhuǎn)化為對現(xiàn)實世界的影響。

NVIDIA 應(yīng)用深度學(xué)習(xí)研究副總裁 Bryan Catanzaro 表示：“NVIDIA 的每個人都積極尋求合作，因為 NVIDIA 所做的加速計算工作需要進(jìn)行全棧優(yōu)化。如果每項技術(shù)都孤立存在，每個人都各自為政，就無法實現(xiàn)這一目標(biāo)。大家必須作為一個團(tuán)隊齊心協(xié)力，才能實現(xiàn)加速?！?/p>

在評估潛在項目時，NVIDIA 的研究人員會考慮其更適合研究團(tuán)隊還是產(chǎn)品團(tuán)隊、相關(guān)工作是否值得在頂級會議上發(fā)表，以及對整個公司是否有明顯的潛在益處。如果決定推進(jìn)該項目，就會與關(guān)鍵利益相關(guān)者進(jìn)行合作。

Catanzaro 表示：“我們與他人合作，將想法變?yōu)楝F(xiàn)實。我們在這個過程中常常發(fā)現(xiàn)，在實驗室里看似很棒的想法在現(xiàn)實世界中并非一定有效。在這種緊密的合作中，研究團(tuán)隊需要保持謙遜，向公司其它部門學(xué)習(xí)，了解如何才能讓自己的想法變成現(xiàn)實。”

通過論文、技術(shù)會議以及 GitHub 和 Hugging Face 等開源平臺，該團(tuán)隊分享了大量成果。但他們的重點(diǎn)始終放在對行業(yè)的影響上。

Luebke 表示：“我們認(rèn)為，發(fā)表論文是我們工作的一個重要附帶成果，但這并非我們的核心目的?！?/p>

NVIDIA Research 的首個工作重點(diǎn)是光線追蹤，經(jīng)過十年的持續(xù)努力，最終直接催生了 NVIDIA RTX，這一發(fā)布重新定義了實時計算機(jī)圖形。如今，NVIDIA Research 包含多個專業(yè)團(tuán)隊，涉及芯片設(shè)計、網(wǎng)絡(luò)、編程系統(tǒng)、LLM、基于物理學(xué)的模擬、氣候科學(xué)、人形機(jī)器人和自動駕駛汽車等領(lǐng)域，并且還在不斷拓展研究領(lǐng)域并吸納全球?qū)I(yè)人才。

改變 NVIDIA 與整個行業(yè)

NVIDIA Research 不僅為公司一些最知名的產(chǎn)品奠定了基礎(chǔ)，其創(chuàng)新成果還推動并開啟了如今的 AI 和加速計算時代。

這一切始于 2006 年推出的 CUDA，它是一個并行計算軟件平臺和編程模型，使研究人員能夠利用 GPU 加速多種應(yīng)用。通過 CUDA，開發(fā)者可以輕松地利用 GPU 的并行處理能力，從而加快科學(xué)模擬、游戲軟件以及 AI 模型創(chuàng)建的速度。

Luebke 表示：“對于 NVIDIA 而言，開發(fā) CUDA 是最具變革性的一件事。這發(fā)生在我們成立正式研究團(tuán)隊之前，最終大獲成功是因為我們聘請了頂尖的研究人員，并讓他們與頂尖架構(gòu)師合作?！?/p>

讓光線追蹤成為現(xiàn)實

NVIDIA Research 成立后，其研究人員便開始致力于研究 GPU 加速的光線追蹤技術(shù)，花費(fèi)數(shù)年時間開發(fā)了相關(guān)算法和硬件，最終實現(xiàn)了這項技術(shù)。2009 年，該項目由已故的實時光線追蹤先驅(qū)、NVIDIA 專業(yè)圖形副總裁 Steven Parker 領(lǐng)導(dǎo)，隨著 NVIDIA OptiX 應(yīng)用框架進(jìn)入產(chǎn)品階段，并在 2010 年的 SIGGRAPH 論文中進(jìn)行了詳細(xì)介紹。

研究人員的工作不斷拓展，通過與 NVIDIA 架構(gòu)團(tuán)隊合作，最終成功地開發(fā)了 NVIDIA RTX 光線追蹤技術(shù)，其中包括為游戲玩家和專業(yè)創(chuàng)作者實現(xiàn)實時光線追蹤的 RT Core。

2018 年推出的 NVIDIA RTX 還標(biāo)志著 NVIDIA Research 另一項創(chuàng)新成果的誕生：NVIDIA DLSS（深度學(xué)習(xí)超級采樣）。借助 DLSS 技術(shù)，圖形渲染工作流不再需要繪制視頻中的所有像素。相反，只需繪制一小部分像素，然后由 AI 工作流根據(jù)這些信息生成清晰的高分辨率圖像。

為幾乎所有應(yīng)用加速 AI

在 AI 軟件領(lǐng)域，NVIDIA 研究人員的貢獻(xiàn)始于面向 GPU 加速神經(jīng)網(wǎng)絡(luò)的 NVIDIA cuDNN 庫。它是在深度學(xué)習(xí)尚處于起步階段時作為研究項目開發(fā)出來的，于 2014 年作為產(chǎn)品發(fā)布。

隨著深度學(xué)習(xí)迅速普及并發(fā)展出生成式 AI，NVIDIA Research 始終站在最前沿。NVIDIA StyleGAN 便是一個典型例子，這是一個開創(chuàng)性的視覺生成式 AI 模型，展示了神經(jīng)網(wǎng)絡(luò)如何快速地生成逼真的圖像。

雖然生成對抗網(wǎng)絡(luò)（GAN）已于 2014 年首次提出，但“StyleGAN 是第一個生成的圖像能夠符合照片視覺效果完全以假亂真的模型。這是一個具有分水嶺意義的重大時刻，”Luebke 說道。

NVIDIA 的研究人員推出了一系列廣受歡迎的 GAN 模型，例如 AI 繪畫工具 GauGAN，它后來發(fā)展成為 NVIDIA Canvas 應(yīng)用程序。隨著擴(kuò)散模型、神經(jīng)輻射場和高斯濺射技術(shù)的興起，他們?nèi)栽谕七M(jìn)視覺生成式 AI 的發(fā)展，包括最近推出的 3D 模型 Edify 3D 和 3DGUT。

在 LLM 領(lǐng)域，Megatron-LM 是一項應(yīng)用研究計劃，它能夠高效地訓(xùn)練和推理大規(guī)模語言模型，用于內(nèi)容生成、翻譯和對話式 AI 等語言類任務(wù)。它已經(jīng)被集成到用于開發(fā)定制生成式 AI 的 NVIDIA NeMo 平臺中，該平臺還包含起源于 NVIDIA Research 的語音識別和語音合成模型。

在芯片設(shè)計、網(wǎng)絡(luò)、量子等領(lǐng)域不斷取得突破

AI 和圖形只是 NVIDIA Research 涉足的部分領(lǐng)域，其多個團(tuán)隊在芯片架構(gòu)、電子設(shè)計自動化、編程系統(tǒng)、量子計算等領(lǐng)域也取得了諸多突破。

2012 年，Dally 提交了一份研究提案，該項目后來發(fā)展出了 NVIDIA NVLink 和 NVSwitch。這是一種高速互連技術(shù)，能夠在加速計算系統(tǒng)中實現(xiàn) GPU 和 CPU 處理器之間的快速通信。

2013 年，電路研究團(tuán)隊發(fā)表了關(guān)于芯片間鏈路的研究成果，其中引入了一種與該互連技術(shù)聯(lián)合設(shè)計的信令系統(tǒng)，實現(xiàn)了裸片之間的高速、小面積、低功耗連接。該項目最終成為了 NVIDIA Grace CPU 和 NVIDIA Hopper GPU 之間的連接技術(shù)。

2021 年，ASIC 和 VLSI 研究小組開發(fā)了一種名為 VS-Quant 的 AI 加速器軟硬件協(xié)同設(shè)計技術(shù)，使許多機(jī)器學(xué)習(xí)模型能夠以 4 位權(quán)重和 4 位激活精度高效地運(yùn)行。他們的工作影響了 NVIDIA Blackwell 架構(gòu)中 FP4 精度支持的開發(fā)。

今年 CES 上發(fā)布的 NVIDIA Cosmos 平臺也是 NVIDIA Research 開發(fā)的，旨在加速開發(fā)面向新一代機(jī)器人和自動駕駛汽車的物理 AI。詳細(xì)信息，請閱讀相關(guān)研究論文并收聽關(guān)于Cosmos 的 AI 播客節(jié)目。

歡迎在 GTC 大會上了解關(guān)于 NVIDIA Research 的更多信息。