據(jù)路透社報(bào)道，Cerebras Systems 周四表示，已簽署一項(xiàng)價(jià)值約 1 億美元的協(xié)議，為阿拉伯聯(lián)合酋長(zhǎng)國(guó)科技集團(tuán) G42 提供三臺(tái)人工智能 (AI) 超級(jí)計(jì)算機(jī)中的第一臺(tái)。

此次交易達(dá)成之際，世界各地的云計(jì)算提供商正在尋找 Nvidia 公司芯片的替代品。Nvidia 公司是人工智能計(jì)算市場(chǎng)的領(lǐng)導(dǎo)者，由于 ChatGPT 和其他服務(wù)的迅速普及，其產(chǎn)品供不應(yīng)求。Cerebras 是幾家尋求挑戰(zhàn) Nvidia 的初創(chuàng)公司之一。

總部位于硅谷的 Cerebras 表示，G42 已同意購(gòu)買三套其所謂的 Condor Galaxy 系統(tǒng)，所有這些系統(tǒng)都將在美國(guó)建造，以加快部署速度。第一個(gè)將于今年上線，另外兩個(gè)將于 2024 年初上線。

總部位于阿布扎比的 G42 是一家科技集團(tuán)，擁有 9 家運(yùn)營(yíng)公司，其中包括數(shù)據(jù)中心和云服務(wù)業(yè)務(wù)，該公司表示計(jì)劃使用 Cerebras 系統(tǒng)向醫(yī)療保健和能源公司出售人工智能計(jì)算服務(wù)。G42 已從美國(guó)科技投資公司 Silver Lake 籌集了 8 億美元，該公司得到了阿聯(lián)酋主權(quán)財(cái)富基金 Mudabala 的支持。

G42 Cloud 首席執(zhí)行官 Talal AlKaissi 告訴路透社，“Cerebras 擁有他們所謂的‘白手套’服務(wù)，讓我們可以輕松”在其機(jī)器上構(gòu)建人工智能系統(tǒng)。

“我們希望將一些過(guò)剩產(chǎn)能與 Cerebras 批發(fā)給來(lái)自世界各地的開(kāi)源人工智能社區(qū)的客戶，特別是在美國(guó)的生態(tài)系統(tǒng)中?！?/p>

Cerebras 首席執(zhí)行官安德魯·費(fèi)爾德曼 (Andrew Feldman) 表示，完成周四宣布的三個(gè)系統(tǒng)中第一個(gè)系統(tǒng)的合同價(jià)值約 1 億美元。

“我們想說(shuō)的是，這份價(jià)值 1 億美元的合同將帶領(lǐng)我們完成禿鷹銀河 1 號(hào)項(xiàng)目……這就是整個(gè)單元、構(gòu)建模塊?！?/p>

G42 Cloud 的 AlKaissi 拒絕就交易條款發(fā)表評(píng)論。

Cerebras 對(duì)大型人工智能芯片有宏偉計(jì)劃

炒作人工智能芯片是一回事，但證明其在商業(yè)市場(chǎng)上的可用性是一個(gè)更大的挑戰(zhàn)。?

一些仍在證明其芯片可行性的人工智能芯片公司正在建立自己的人工智能計(jì)算基礎(chǔ)設(shè)施，以教育客戶并證明其芯片的可行性。Cerebras Systems 則締造了世界上最大的芯片，他們目前正在建立人工智能數(shù)據(jù)中心，將其實(shí)驗(yàn)性人工智能巨型處理器從實(shí)驗(yàn)室提供給商業(yè)客戶

Cerebras 去年因其硬件協(xié)助 Covid-19 研究而獲得了令人垂涎的戈登貝爾獎(jiǎng)，該公司的硬件在學(xué)術(shù)界和國(guó)家實(shí)驗(yàn)室中享有盛譽(yù)，但商業(yè)擴(kuò)張將使其硬件與基于英偉達(dá) GPU 構(gòu)建的計(jì)算基礎(chǔ)設(shè)施展開(kāi)競(jìng)爭(zhēng)。主要云提供商包括谷歌、亞馬遜、微軟和甲骨文。?

這家只有幾百名員工的公司正在尋求中東云提供商 G42（一家人工智能和云計(jì)算公司）的幫助，以創(chuàng)建人工智能基礎(chǔ)設(shè)施。兩家公司正在合作，到今年年底在美國(guó)本土建立三個(gè)商業(yè)人工智能數(shù)據(jù)中心。?

Group 42 在審查了 Cerebras 的初創(chuàng)公司后才從該公司購(gòu)買了人工智能系統(tǒng)。?

“我們?cè)跇?gòu)建和管理大型超級(jí)計(jì)算機(jī)方面擁有豐富的經(jīng)驗(yàn)。我們擁有實(shí)施大規(guī)模生成式人工智能模型的經(jīng)驗(yàn)。我們?cè)诓僮髑謇砗凸芾睚嫶髷?shù)據(jù)集方面擁有深厚的專業(yè)知識(shí)，”Cerebras 首席執(zhí)行官安德魯·費(fèi)爾德曼 (Andrew Feldman) 告訴 HPCwire。

但 Cerebras 在為其系統(tǒng)吸引商業(yè)客戶方面面臨著艱巨的道路。它很難取代英偉達(dá)，因?yàn)橛ミ_(dá)在人工智能市場(chǎng)的軟件和硬件領(lǐng)域占據(jù)主導(dǎo)地位。包括微軟和 Facebook 在內(nèi)的大型商業(yè)企業(yè)都將人工智能的未來(lái)押在了 Nvidia 的 GPU 上。

Nvidia 還擁有自己的 GPU 數(shù)據(jù)中心，稱為 Launchpad，開(kāi)發(fā)人員可以在這里制作人工智能應(yīng)用程序的原型。英特爾還利用自己的人工智能芯片建立了云服務(wù)，供開(kāi)發(fā)人員和客戶進(jìn)行原型設(shè)計(jì)和運(yùn)行應(yīng)用程序。英特爾的開(kāi)發(fā)云最近添加了數(shù)據(jù)中心 GPU Max 1100，供開(kāi)發(fā)人員測(cè)試人工智能應(yīng)用程序。?

Cerebras 和 G42 建造的三個(gè)數(shù)據(jù)中心將提供 12 exaflops FP-16 性能的聚合 AI 計(jì)算能力。Cerebras 在 Condor Galaxy 品牌下創(chuàng)建了三個(gè)新系統(tǒng)，每個(gè)系統(tǒng)都將提供 4 exaflops 的性能。

第一個(gè)系統(tǒng)名為 Condor Galaxy-1 (CG-1)，已部署在加州數(shù)據(jù)中心，將擁有 5400 萬(wàn)個(gè)核心。該公司將在明年增加更多的數(shù)據(jù)中心。

Feldman 表示，“到 2024 年底，它將擴(kuò)展到……9 臺(tái) exaflops 機(jī)器，總共 36 exaflops”。

CG-1 AI 巨型集群匯集了 64 個(gè) CS-2 系統(tǒng)，這是在 Cerebras 的 AI 芯片上運(yùn)行的現(xiàn)有服務(wù)器產(chǎn)品。CS-2 已在美國(guó)能源部阿貢國(guó)家實(shí)驗(yàn)室和匹茲堡超級(jí)計(jì)算中心使用。

G42 被認(rèn)為是中東云和人工智能領(lǐng)域的重量級(jí)企業(yè)，它將向想要訓(xùn)練大型語(yǔ)言模型的公司出售計(jì)算能力。G42 的目標(biāo)客戶是醫(yī)療保健、金融服務(wù)和制造等垂直行業(yè)的商業(yè)客戶。

去年年底，OpenAI 的LLM ChatGPT 證明了大模型的前景，該項(xiàng)目在幾個(gè)月內(nèi)就獲得了 1 億用戶。從那時(shí)起，谷歌、微軟和其他公司都爭(zhēng)先恐后地在搜索和生產(chǎn)力應(yīng)用程序中實(shí)現(xiàn)自己的大語(yǔ)言模型。

大公司正在構(gòu)建自己的模型，但由于 Nvidia GPU 短缺，計(jì)算能力稀缺。這為 Cerebras 這樣的公司創(chuàng)造了機(jī)會(huì)，其人工智能芯片已被商業(yè)組織研究人員撰寫的許多學(xué)術(shù)論文使用和引用。

“我們支持多達(dá) 6000 億個(gè)參數(shù)，可擴(kuò)展至 100 萬(wàn)億個(gè)參數(shù)，”Feldman 說(shuō)。谷歌和微軟尚未報(bào)告LLM中支持其搜索和生產(chǎn)力應(yīng)用程序的參數(shù)數(shù)量。

G42 得到穆巴達(dá)拉的支持，穆巴達(dá)拉由阿聯(lián)酋政府資助。穆巴達(dá)拉在 2019 年大規(guī)模拋售之前還擁有 AMD 的股權(quán)。費(fèi)爾德曼在他的服務(wù)器初創(chuàng)公司 SeaMicro 于 2014 年被該芯片制造商吸收后，曾受雇于 AMD。

考慮到半導(dǎo)體和人工智能在貿(mào)易和政策中的重要性，阿聯(lián)酋政府與 Cerebras-G42 伙伴關(guān)系的潛在聯(lián)系會(huì)帶來(lái)陰謀論，但費(fèi)爾德曼表示，沒(méi)有任何擔(dān)憂。

“我們構(gòu)建了最快的人工智能處理器，我們構(gòu)建了最快的人工智能系統(tǒng)。當(dāng)然，我們與[美國(guó)]商務(wù)部和監(jiān)管機(jī)構(gòu)合作。我們正在與他們合作。我們了解規(guī)則是什么，”費(fèi)爾德曼說(shuō)。

Cerebras 的 CG-1 執(zhí)行模型依賴于一種稱為“權(quán)重流”的技術(shù)，該技術(shù)將內(nèi)存、計(jì)算和網(wǎng)絡(luò)分解為單獨(dú)的集群。AI計(jì)算主要取決于模型的大小，系統(tǒng)擁有內(nèi)存和計(jì)算技術(shù)可以分別擴(kuò)展。所有數(shù)據(jù)處理均在 Cerebras 的主 AI 芯片 WSE-2 上完成，該芯片擁有 850,000 個(gè)內(nèi)核、2.6 萬(wàn)億個(gè)晶體管、40GB SRAM 內(nèi)存和每秒 20 PB 的帶寬。

Feldman 表示，解耦使得 CG-1 系統(tǒng)能夠隨著更多系統(tǒng)的添加而以線性方式擴(kuò)展。線性擴(kuò)展是可能的，因?yàn)閮?nèi)存和計(jì)算元件獨(dú)立運(yùn)行，這與 GPU 的大型部署不同，在 GPU 中，每個(gè)芯片都有自己的內(nèi)存和緩存。稱為 MemoryX 的系統(tǒng)級(jí)技術(shù)單獨(dú)存儲(chǔ)模型參數(shù)，并將其傳送到計(jì)算核心。

“你有數(shù)千個(gè)小型 GPU，每個(gè) GPU 都有不同的參數(shù)塊。因此，您已經(jīng)獲取了 1000 億個(gè)參數(shù)，您必須跟蹤它們的位置。我們有一個(gè)集中的參數(shù)存儲(chǔ)，”費(fèi)爾德曼說(shuō)。

一種名為 SwarmX 的類似技術(shù)在集群級(jí)別協(xié)調(diào)計(jì)算和內(nèi)存管理 - 它從 MemoryX 獲取參數(shù)并通過(guò)互連結(jié)構(gòu)將其廣播到多個(gè) CS-2，互連結(jié)構(gòu)是芯片中的多個(gè) 100GbE 通道。

Cerebras 的 AI 芯片與 GPU 一樣，具有許多可加速傳統(tǒng)科學(xué)計(jì)算的理想屬性。G42 客戶使用 Cerebras 系統(tǒng)進(jìn)行傳統(tǒng) HPC 存在風(fēng)險(xiǎn)，這可能會(huì)擾亂該初創(chuàng)公司對(duì)人工智能市場(chǎng)的關(guān)注。

但費(fèi)爾德曼堅(jiān)稱該芯片是為人工智能計(jì)算而設(shè)計(jì)的，而不是傳統(tǒng)的高性能計(jì)算。

“我們?yōu)槿斯ぶ悄艽蛟炝诉@臺(tái)機(jī)器。我們不支持 64 位雙精度。我們確實(shí)做了一些 HPC 工作……而這正是人工智能和 HPC 的交叉點(diǎn)?！盕eldman 說(shuō)道。

在美國(guó)，能源部的國(guó)家能源技術(shù)實(shí)驗(yàn)室正在使用 Cerebras 系統(tǒng)來(lái)實(shí)施脫碳計(jì)劃，但該芯片為他們提供了在其計(jì)算堆棧中測(cè)試人工智能的借口。

“我們與他們進(jìn)行了一些合作，他們正在對(duì)計(jì)算流體動(dòng)力學(xué)進(jìn)行大型模擬。但我認(rèn)為我們確實(shí)做到了這一點(diǎn)，并針對(duì)人工智能進(jìn)行了優(yōu)化，”費(fèi)爾德曼說(shuō)。

Cerebras 還發(fā)布了許多開(kāi)源大語(yǔ)言模型，試圖為其芯片構(gòu)建底層軟件基礎(chǔ)設(shè)施。Nvidia 還擁有強(qiáng)大的軟件實(shí)力，許多 AI 代碼庫(kù)都轉(zhuǎn)向其專有的 CUDA 軟件堆棧，該堆?？梢岳脙H在 A100 和 H100 GPU 中提供的功能。?

在硬件方面，Cerebras 還面臨來(lái)自 AMD（最近推出了用于 AI 的 MI300X GPU）和英特爾（擁有名為 Gaudi 的 AI 加速器）的挑戰(zhàn)。這些芯片都沒(méi)有獲得大量的商業(yè)銷售。

審核編輯：劉清