本文將介紹亞馬遜如何使用 NVIDIA NeMo 框架、GPU

以及亞馬遜云科技的 EFA 來(lái)訓(xùn)練其

最大的新一代大語(yǔ)言模型（LLM）。

大語(yǔ)言模型的一切都很龐大——巨型模型是在數(shù)千顆 NVIDIA GPU 和海量的數(shù)據(jù)集上所訓(xùn)練而成。

不過(guò)這可能會(huì)給想要使用生成式 AI 的企業(yè)帶來(lái)很多巨大的挑戰(zhàn)。NVIDIA NeMo（一個(gè)用于構(gòu)建、自定義和運(yùn)行 LLM 的框架）能夠幫助企業(yè)克服上述挑戰(zhàn)。

亞馬遜云科技（AWS）有一支由資深科學(xué)家和開(kāi)發(fā)者組成的團(tuán)隊(duì)，致力于為 Amazon Bedrock（一項(xiàng)用于基礎(chǔ)模型的生成式 AI 服務(wù)）創(chuàng)建 Amazon Titan 基礎(chǔ)模型。該團(tuán)隊(duì)在過(guò)去幾個(gè)月中一直在使用 NVIDIA NeMo。

亞馬遜云科技高級(jí)應(yīng)用科學(xué)家 Leonard Lausen 表示：“我們使用 NeMo 的一大原因是它具有可擴(kuò)展性，其優(yōu)化功能使我們能夠以較高的 GPU 利用率運(yùn)行，同時(shí)能夠擴(kuò)展到更大的集群，進(jìn)而能夠更快地訓(xùn)練出模型，并向客戶交付。”

實(shí)現(xiàn)真正的大規(guī)模訓(xùn)練

NeMo 的并行技術(shù)可實(shí)現(xiàn)高效的大規(guī)模 LLM 訓(xùn)練。當(dāng)與亞馬遜云科技的 Elastic Fabric Adapter（EFA）配合使用時(shí)，團(tuán)隊(duì)可以將 LLM 擴(kuò)展到多顆 GPU 上，從而加快訓(xùn)練速度。

EFA 為亞馬遜云科技客戶提供了一個(gè) UltraCluster 聯(lián)網(wǎng)基礎(chǔ)設(shè)施，可直接連接 1 萬(wàn)多顆 GPU，并使用 NVIDIA GPUDirect 繞過(guò)操作系統(tǒng)和 CPU。

這一結(jié)合使亞馬遜云科技的科學(xué)家們能夠提供出色的模型質(zhì)量，這是只依靠其他數(shù)據(jù)并行方法無(wú)法大規(guī)模實(shí)現(xiàn)的。

通用框架

Lausen 表示：“NeMo 的靈活性支持亞馬遜云科技根據(jù)新的 Titan 模型、數(shù)據(jù)集和基礎(chǔ)設(shè)施的具體情況來(lái)定制訓(xùn)練軟件。

亞馬遜云科技的創(chuàng)新成果包括從 Amazon Simple Storage Service（Amazon S3）到 GPU 集群的高效流式傳輸。Lausen 表示：“由于 NeMo 本身就是基于標(biāo)準(zhǔn)化 LLM 訓(xùn)練管線組件的常用程序庫(kù)（如 PyTorch Lightning）所構(gòu)建的，因此整合這些改進(jìn)很容易?！?/p>

亞馬遜云科技和 NVIDIA 的共同目標(biāo)是將雙方的合作經(jīng)驗(yàn)融入到 NVIDIA NeMo 等產(chǎn)品和 Amazon Titan 等服務(wù)中，最終造福客戶。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國(guó)加州圣何塞會(huì)議中心舉行，線上大會(huì)也將同期開(kāi)放。掃描下方海報(bào)二維碼，立即注冊(cè) GTC 大會(huì)。