NVIDIA 平臺(tái)是最成熟、最完整的加速計(jì)算平臺(tái)。在這篇文章中，我將介紹最簡(jiǎn)單、最高效、最可移植的加速計(jì)算方法。有三種編程方法 GPU （圖 1 ）。

圖 1 。NVIDIA 平臺(tái)編程的三種方法

CUDA C ++ Fortran 是 NVIDIA 可以展示新硬件和軟件創(chuàng)新的創(chuàng)新平臺(tái)，在這里，您可以調(diào)整應(yīng)用程序以在 NVIDIA GPU 上實(shí)現(xiàn)最佳性能。許多開(kāi)發(fā)人員認(rèn)為這就是 NVIDIA 希望每個(gè)人為 GPU 編程的方式。

相反，我們預(yù)計(jì)，開(kāi)發(fā)者首次來(lái)到NVIDIA平臺(tái)將使用標(biāo)準(zhǔn)的并行編程語(yǔ)言，如 ISO C ++、 ISO Fortran 和 Python 。在這篇文章中，我強(qiáng)調(diào)了使用這種方法進(jìn)行并行編程的一些成功，以證明進(jìn)入NVIDIA CUDA 生態(tài)系統(tǒng)的最有成效的途徑。

NVIDIA 戰(zhàn)略的基礎(chǔ)是提供一套豐富、成熟的 SDK 和庫(kù)，在這些數(shù)據(jù)庫(kù)上可以構(gòu)建應(yīng)用程序。 NVIDIA 已經(jīng)提供了高度優(yōu)化的數(shù)學(xué)庫(kù)，如 cuBLAS 、 cuSolver 和 cuFFT ；核心庫(kù)，如 Thrust 和 libcu++ ；和通信庫(kù)，如 NCCL 和 NVSHMEM ，以及其他可用于構(gòu)建應(yīng)用程序的包和框架。

除此之外， NVIDIA 還將三種不同的編程方法分層：

標(biāo)準(zhǔn)語(yǔ)言并行性，這是本文的主題

用于平臺(tái)專業(yè)化的語(yǔ)言，如 CUDA C ++和 CUDA FORTRAN ，以獲得NVIDIA 平臺(tái)上的最佳性能

編譯器指令，通過(guò)啟用增量性能優(yōu)化來(lái)彌合這兩種方法之間的差距

每種方法都在性能、生產(chǎn)率和代碼可移植性方面進(jìn)行權(quán)衡。因?yàn)樗鼈兌伎梢曰ゲ僮?，所以您不必使用特定的模型，但可以根?jù)需要混合任何或所有模型。

如果您開(kāi)始使用標(biāo)準(zhǔn)編程語(yǔ)言中的并行性編寫代碼，那么您可以來(lái)到NVIDIA 平臺(tái)或任何其他已經(jīng)具有并行運(yùn)行能力的基線代碼平臺(tái)。這就是為什么我們?cè)跇?biāo)準(zhǔn)語(yǔ)言委員會(huì)中投入了十多年的時(shí)間來(lái)合作，采用特性來(lái)支持并行編程，而不需要額外的擴(kuò)展或 API 。標(biāo)準(zhǔn)語(yǔ)言并行性是一股興起的潮流，它讓所有人都感到振奮。

ISO C ++

在編程趨勢(shì)的最近研究中， C ++編程語(yǔ)言一直是最高級(jí)的編程語(yǔ)言之一。它在科學(xué)計(jì)算中的應(yīng)用有了顯著的增長(zhǎng)。其標(biāo)準(zhǔn)模板庫(kù)的豐富性使其成為新代碼開(kāi)發(fā)的高效語(yǔ)言，自 C ++ 17 發(fā)布以來(lái)，它支持并行編程的幾個(gè)重要特性。

我看到幾個(gè)應(yīng)用程序從傳統(tǒng)的循環(huán)中重構(gòu)，有利于這些 C ++并行算法。下面是其中幾個(gè)的結(jié)果。

Lulesh

Lulesh 是勞倫斯 LIVEMOR 國(guó)家實(shí)驗(yàn)室（ LLNL ）的流體動(dòng)力學(xué)迷你應(yīng)用程序，用 C++ 編寫。 mini 應(yīng)用程序有幾個(gè)版本用于評(píng)估不同的編程方法，包括代碼質(zhì)量和性能。我們與開(kāi)發(fā)人員一起工作，以重寫他們現(xiàn)有的基于 OpenMP 的代碼，使用 C ++并行算法。圖 2 顯示了應(yīng)用程序重要功能之一的示例。

圖 2 。從 OpenMP 到 ISOC ++并行重構(gòu) Lulesh 會(huì)導(dǎo)致代碼更簡(jiǎn)單、更容易閱讀、 ISO 標(biāo)準(zhǔn)，并可移植到支持 ISOC ++的所有編譯器中。

左邊的代碼使用 OpenMP 跨 CPU 線程并行化代碼中的循環(huán)。為了維護(hù)串行和并行版本的代碼，開(kāi)發(fā)人員使用了#ifdef宏和編譯器雜注。結(jié)果是重復(fù)代碼，并在源代碼中引入額外的 API OpenMP 。

右邊的代碼是相同的例程，但是使用 C ++ transform_reduce算法重寫。生成的代碼更加緊湊，不易出錯(cuò)，更易于閱讀，更易于維護(hù)。它還移除了 OpenMP 的依賴性，依賴于 C ++標(biāo)準(zhǔn)模板庫(kù)，同時(shí)為所有平臺(tái)維護(hù)單個(gè)源代碼。此代碼完全符合 ISO C ++，能夠由支持 C ++ 17 的任何 C ++編譯器構(gòu)建。事實(shí)證明，它也更快！

圖 3 。 ISOLC ++版本的 Lulesh 比原始 OpenMP 代碼和便攜式多編譯器和 CPU 和 GPU 之間的速度快。

作為性能基準(zhǔn)，我們使用運(yùn)行在 AMD EPYC 7742 處理器所有核心上的 OpenMP 代碼，并使用 GCC 構(gòu)建。使用 NVIDIA nvc++編譯器重建此基線代碼在 CPU 上實(shí)現(xiàn)了基本相同的性能。

如果您使用同一版本的 GCC 來(lái)構(gòu)建 ISO C ++代碼，并在同一 CPU 上運(yùn)行，則性能將提高約 50% ，這是由于編譯器的各種改進(jìn)開(kāi)銷和機(jī)會(huì)來(lái)更好地優(yōu)化代碼。

當(dāng)使用nvc++構(gòu)建此代碼并在同一 CPU 上運(yùn)行時(shí)，這將使性能提高 2 倍。這已經(jīng)是一項(xiàng)激動(dòng)人心的成就，但最重要的是，您可以構(gòu)建相同的代碼，只需將編譯器選項(xiàng)更改為針對(duì) NVIDIA GPU 而不是多核 CPU 。現(xiàn)在，同樣的代碼在 NvidiaA100 GPU 上運(yùn)行速度快了 13 倍以上。從原始代碼中得到 13.5x 性能改進(jìn)，在 CPU 和 GPU 上并行運(yùn)行，使用嚴(yán)格的 ISO C ++代碼。

STLBM

應(yīng)用 C ++標(biāo)準(zhǔn)并行性的另一個(gè)例子是 STLBM ，來(lái)自日內(nèi)瓦大學(xué)的格子 Boltzmann 求解器。 Jonas Latt 教授在幾次 GTC 會(huì)議上討論了這一應(yīng)用 顯示了如何在沒(méi)有任何外部 SDK 依賴關(guān)系的情況下編寫代碼在 ISO C ++中運(yùn)行，可以使用多個(gè)編譯器和多個(gè)硬件平臺(tái)，包括 NVIDIA GPU 。有關(guān)詳細(xì)信息，請(qǐng)參閱 基于 C ++并行算法的 GPU 流體力學(xué)：一種硬件無(wú)關(guān)方法的最新進(jìn)展 和 利用 C++ 標(biāo)準(zhǔn)并行技術(shù)在 GPU 中移植科學(xué)應(yīng)用

他的應(yīng)用程序使用 GPU 實(shí)現(xiàn)了超過(guò) 12 倍的性能改進(jìn)。值得注意的是，他的比較基準(zhǔn)是默認(rèn)情況下并行的源代碼，使用 C ++ 17 標(biāo)準(zhǔn)模板庫(kù)中的并行算法來(lái)表示應(yīng)用程序中固有的并行性。

他將使用ISO C++作為GPU編程的經(jīng)驗(yàn)歸類為“跨平臺(tái)CPU/GPU編程的范式轉(zhuǎn)換”。他的團(tuán)隊(duì)沒(méi)有編寫一個(gè)默認(rèn)為串行的應(yīng)用程序，然后再添加并行性，而是編寫了一個(gè)適用于他們希望運(yùn)行的任何并行平臺(tái)的應(yīng)用程序。

圖 4 。 STLBM 能夠在多核 CPU 節(jié)點(diǎn)和 NVIDIA GPU 上運(yùn)行相同的源代碼

NVIDIA 在 C ++中并行開(kāi)發(fā)和并發(fā)性的大量投資，并為即將到來(lái)的 C ++ 23 規(guī)范編寫了各種建議，以進(jìn)一步提高您編寫并行的代碼的能力。

ISO Fortran

Fortran 仍然是一種主要關(guān)注科學(xué)和高性能計(jì)算的語(yǔ)言。最初， Fortran 是公式轉(zhuǎn)換器，它為開(kāi)發(fā)人員和編譯器提供了多種優(yōu)勢(shì)，并且還擁有用于建模和仿真代碼的龐大現(xiàn)有代碼庫(kù)。

Fortran 在 2008 年開(kāi)始添加支持并行編程的功能，在 2018 年增強(qiáng)了這些功能，并在即將發(fā)布的版本（目前稱為 Fortran 202X ）中繼續(xù)完善這些功能。與 ISOC ++一樣， NVIDIA 也一直在與應(yīng)用程序開(kāi)發(fā)人員一起使用 FORTRAN 中的標(biāo)準(zhǔn)語(yǔ)言并行化來(lái)實(shí)現(xiàn)它們的應(yīng)用程序的現(xiàn)代化，并使它們并行。

計(jì)算化學(xué)

我的同事杰夫·哈蒙德在他的 FortranCon2021:GPU 上的標(biāo)準(zhǔn) Fortran 及其在量子化學(xué)代碼中的應(yīng)用 session 在 NWChem 應(yīng)用程序和另一個(gè)計(jì)算化學(xué)應(yīng)用程序 GAMESS 的內(nèi)核中使用 Fortran do concurrent循環(huán)，給出了一些有希望的結(jié)果。

對(duì)于 NWChem ，他分離了幾個(gè)執(zhí)行張量收縮的性能關(guān)鍵循環(huán)，并使用幾個(gè)編程模型編寫了它們。在多核 CPU 上，這些張量收縮使用 OpenMP 跨 CPU 核進(jìn)行線程。對(duì)于 GPU ，有使用 OpenACC 、 OpenMP 目標(biāo)卸載和現(xiàn)在的 Fortran do concurrent循環(huán)的版本可用。

圖 5 顯示了do concurrent循環(huán)的性能與 NVIDIA GPU 上的 OpenACC 和 OpenMP 目標(biāo)卸載相同，但不需要在應(yīng)用程序中包含這些附加 API 。這都是標(biāo)準(zhǔn)的 Fortran 。

圖 5 使用幾種編程模型的一系列 NWChem 應(yīng)用程序內(nèi)核的性能

高性能通量傳輸

在 SC21 會(huì)議的最近一次加速器編程使用指令研討會(huì)（ WACCPD ）上， 預(yù)測(cè)科學(xué)公司。 的一組開(kāi)發(fā)人員展示了他們重構(gòu)其中一個(gè)生產(chǎn)代碼的結(jié)果，該代碼以前使用 OpenACC 在 NVIDIA GPU 上運(yùn)行，使用do concurrent循環(huán)。

他們比較了使用 NVIDIA nvfortran、gfortran和ifort構(gòu)建這個(gè)純 ISO Fortran 應(yīng)用程序的結(jié)果。他們得出結(jié)論，在使用nvfortran編譯器的應(yīng)用程序中，純 Fortran 提供了他們所需的性能，而不需要任何指令。此外，此代碼可以在 GPU 和多核 CPU 上并行運(yùn)行，無(wú)需修改。

圖 6 。使用 nvfortran compiler

這篇論文在研討會(huì)上獲得了最佳論文獎(jiǎng)，盡管它根本不需要加速器編程的指導(dǎo)。當(dāng)被問(wèn)及他們是否會(huì)在其他應(yīng)用程序中繼續(xù)采用標(biāo)準(zhǔn)語(yǔ)言并行方法時(shí)，演示者回答說(shuō)，他們已經(jīng)計(jì)劃在公司的其他重要應(yīng)用程序中采用這種方法。

Python 帶有連字符和楔形文字

Python 語(yǔ)言在過(guò)去十年中迅速流行起來(lái)。它現(xiàn)在通常用于機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)，甚至是傳統(tǒng)的建模和仿真應(yīng)用。雖然 Python 不是 ISO 編程語(yǔ)言，像 C ++和 FORTRAN ，但是我們也在 Python 語(yǔ)言中實(shí)現(xiàn)標(biāo)準(zhǔn)語(yǔ)言并行性的精神。

在 GTC ‘ 21 秋季的基調(diào)演講中， NVIDIA 首席執(zhí)行官 Jensen Huang 介紹了 cuNumeric 的 alpha 版本，該庫(kù)是在 NumPy 之后建模的，它能夠?qū)崿F(xiàn)與我所討論的關(guān)于 ISO C ++和 FORTRAN 的特性。 NumPy 包在 Python 開(kāi)發(fā)中非常普遍，幾乎可以肯定，任何用 Python 編寫的 HPC 應(yīng)用程序都會(huì)使用它。

在名為 Legate 的包之上編寫的cuNumeric包使 NumPy 應(yīng)用程序不僅能夠在 GPU 上，而且能夠在大型集群中跨 GPU 自動(dòng)擴(kuò)展其工作。我已經(jīng)看到了幾個(gè)例子，簡(jiǎn)單地替換代碼中的NumPy引用，而不是引用cuNumeric，我可以將該應(yīng)用程序弱地縮放到 NVIDIA 內(nèi)部集群的完整大小， Selene，這是世界上10個(gè)最快的超級(jí)計(jì)算機(jī)之一。

結(jié)論

我希望這篇文章能讓你看到 GPU 編程并不像你可能聽(tīng)說(shuō)的那么困難。如果使用標(biāo)準(zhǔn)語(yǔ)言并行性，甚至可能不需要任何代碼更改。

NVIDIA 鼓勵(lì)您先編寫并行應(yīng)用程序，這樣就不需要將應(yīng)用程序“移植”到新平臺(tái)，而標(biāo)準(zhǔn)語(yǔ)言并行是實(shí)現(xiàn)這一點(diǎn)的最佳方法，因?yàn)樗恍枰?ISO 標(biāo)準(zhǔn)語(yǔ)言。這就是為什么我們繼續(xù)投資于 ISO 編程語(yǔ)言，并為這些語(yǔ)言帶來(lái)更多并行和并發(fā)特性。

總之，使用標(biāo)準(zhǔn)語(yǔ)言并行性有以下好處：

完全符合 ISO 語(yǔ)言，從而產(chǎn)生更可移植的代碼

更緊湊、更易于閱讀、不易出錯(cuò)的代碼

默認(rèn)情況下是并行的代碼，因此它可以在更多平臺(tái)上運(yùn)行而無(wú)需修改

關(guān)于作者

Jeff Larkin 是 NVIDIA HPC 軟件團(tuán)隊(duì)的首席 HPC 應(yīng)用程序架構(gòu)師。他熱衷于高性能計(jì)算并行編程模型的發(fā)展和采用。他曾是 NVIDIA 開(kāi)發(fā)人員技術(shù)小組的成員，專門從事高性能計(jì)算應(yīng)用程序的性能分析和優(yōu)化。 Jeff 還是 OpenACC 技術(shù)委員會(huì)主席，曾在 OpenACC 和 OpenMP 標(biāo)準(zhǔn)機(jī)構(gòu)工作。在加入NVIDIA 之前，杰夫在位于橡樹(shù)嶺國(guó)家實(shí)驗(yàn)室的克雷超級(jí)計(jì)算卓越中心工作。

審核編輯：郭婷