電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）隨著AI技術(shù)的飛速發(fā)展，大模型的訓(xùn)練和推理任務(wù)對算力的需求日益增長。然而，單一品牌的芯片往往難以滿足所有需求，且可能存在供應(yīng)鏈風(fēng)險(xiǎn)。因此，異構(gòu)芯片混訓(xùn)成為了一種重要的解決方案。通過混合使用多種異構(gòu)芯片，可以充分利用不同芯片的優(yōu)勢，提高算力利用率，降低算力成本，并推動(dòng)AI技術(shù)的廣泛應(yīng)用。

異構(gòu)混訓(xùn)能夠整合不同架構(gòu)芯片資源

在2024年世界人工智能大會(huì)AI基礎(chǔ)設(shè)施論壇上，無問芯穹聯(lián)合創(chuàng)始人兼CEO夏立雪發(fā)布了全球首個(gè)千卡規(guī)模異構(gòu)芯片混訓(xùn)平臺(tái)，千卡異構(gòu)混合訓(xùn)練集群算力利用率最高達(dá)到了97.6%。

同時(shí)，無問芯穹Infini-AI云平臺(tái)已集成大模型異構(gòu)千卡混訓(xùn)能力，是全球首個(gè)可進(jìn)行單任務(wù)千卡規(guī)模異構(gòu)芯片混合訓(xùn)練的平臺(tái)，具備萬卡擴(kuò)展性，支持包括AMD、華為昇騰、天數(shù)智芯、沐曦、摩爾線程、NVIDIA六種異構(gòu)芯片在內(nèi)的大模型混合訓(xùn)練。通過Infini-AI云平臺(tái)，用戶可以在異構(gòu)算力資源上實(shí)現(xiàn)高效的模型訓(xùn)練和推理，從而加速AI應(yīng)用的開發(fā)和部署。

據(jù)稱，已有智譜AI、月之暗面、生數(shù)科技等大模型公司客戶在Infini-AI上穩(wěn)定使用異構(gòu)算力，還有20余家AI Native應(yīng)用創(chuàng)業(yè)公司在Infini-AI上持續(xù)調(diào)用各種預(yù)置模型。

異構(gòu)混訓(xùn)平臺(tái)具有多樣化算力資源、高效算力分配、靈活性與可擴(kuò)展性、降低總體擁有成本（TCO）、推動(dòng)技術(shù)創(chuàng)新和生態(tài)整合等特點(diǎn)。

具體來看，異構(gòu)混訓(xùn)平臺(tái)能夠整合來自不同廠商、不同架構(gòu)的芯片資源，這些芯片在各自擅長的領(lǐng)域具有不同的性能優(yōu)勢。通過智能的調(diào)度算法和任務(wù)分發(fā)機(jī)制，異構(gòu)混訓(xùn)平臺(tái)能夠根據(jù)任務(wù)的特性和需求，將最適合的算力資源分配給相應(yīng)的芯片，從而實(shí)現(xiàn)算力資源的最大化利用。

異構(gòu)混訓(xùn)平臺(tái)支持多種芯片和算法的組合使用，能夠靈活應(yīng)對不同規(guī)模、不同復(fù)雜度的訓(xùn)練任務(wù)。同時(shí)，它也具備較高的可擴(kuò)展性，能夠根據(jù)實(shí)際需求進(jìn)行算力資源的動(dòng)態(tài)擴(kuò)展。通過整合不同架構(gòu)的芯片資源，避免對單一硬件平臺(tái)的過度依賴，異構(gòu)混訓(xùn)平臺(tái)能夠降低供應(yīng)鏈風(fēng)險(xiǎn)，并通過提高算力利用率和訓(xùn)練效率來降低總體擁有成本。

異構(gòu)混訓(xùn)平臺(tái)為AI技術(shù)創(chuàng)新提供了更加廣闊的舞臺(tái)，通過整合不同芯片和算法的優(yōu)勢資源，可以激發(fā)更多的創(chuàng)新靈感和技術(shù)突破。同時(shí)，它也有助于打破不同硬件生態(tài)系統(tǒng)之間的壁壘，促進(jìn)生態(tài)整合與協(xié)同發(fā)展。

異構(gòu)混訓(xùn)在AI領(lǐng)域的需求日益凸顯

近年來，隨著人工智能技術(shù)的不斷發(fā)展，大模型的參數(shù)量急劇增加，從十億、百億到千億甚至萬億級(jí)別。以ChatGPT、LLama等為代表的大模型技術(shù)正持續(xù)推動(dòng)社會(huì)變革，引發(fā)新一輪人工智能熱潮。這些大模型具有數(shù)千億甚至上萬億參數(shù)規(guī)模，單個(gè)計(jì)算節(jié)點(diǎn)無法滿足訓(xùn)練需求，訓(xùn)練過程耗時(shí)巨大。

面對如此龐大的模型，傳統(tǒng)的同構(gòu)算力集群已經(jīng)無法滿足訓(xùn)練需求。即使采用分布式訓(xùn)練框架，也需要充分整合可調(diào)動(dòng)的算力資源進(jìn)行分布式并行加速。然而，由于不同廠商的智算芯片之間存在計(jì)算架構(gòu)、緩存資源、互聯(lián)方式等諸多差異，以及AI計(jì)算框架與各廠商基礎(chǔ)軟件棧深度綁定，導(dǎo)致多種智算芯片難以協(xié)同工作，限制了算力資源的充分利用。

異構(gòu)芯片混訓(xùn)成了解決算力限制的重要方式，目前已經(jīng)有諸多應(yīng)用案例。如，醫(yī)療機(jī)構(gòu)采用異構(gòu)芯片混訓(xùn)平臺(tái)，將NVIDIA GPU、Intel CPU以及華為昇騰AI處理器等多種芯片混合使用。通過平臺(tái)的高效調(diào)度和算力分配，實(shí)現(xiàn)了對醫(yī)學(xué)影像數(shù)據(jù)的快速處理和分析。

異構(gòu)芯片混訓(xùn)平臺(tái)能夠顯著提高了醫(yī)療影像分析系統(tǒng)的處理速度和精度，為醫(yī)生提供了更加準(zhǔn)確和及時(shí)的診斷支持。

自動(dòng)駕駛汽車研發(fā)公司采用異構(gòu)芯片混訓(xùn)平臺(tái)，將AMD GPU、NVIDIA GPU以及專用AI加速器等多種芯片混合使用。通過平臺(tái)的異構(gòu)并行訓(xùn)練能力，實(shí)現(xiàn)了對自動(dòng)駕駛算法模型的高效訓(xùn)練和優(yōu)化。

異構(gòu)芯片混訓(xùn)平臺(tái)能顯著提高自動(dòng)駕駛算法模型的訓(xùn)練速度和精度，為自動(dòng)駕駛汽車的研發(fā)提供了有力支持。同時(shí)，通過降低算力成本和提高資源利用率，也可以幫助公司加快自動(dòng)駕駛技術(shù)的商業(yè)化進(jìn)程。

寫在最后

當(dāng)然，在異構(gòu)芯片混訓(xùn)過程中，可能會(huì)面臨一些技術(shù)挑戰(zhàn)，如不同芯片間的通信問題、性能差異等。為了解決這些問題，可以采取相應(yīng)的措施，如建立通用的集合通信庫，實(shí)現(xiàn)不同種芯片的高效通信，兼容多種硬件；提出基于流水線并行的非均勻拆分方案，解決不同硬件效率不一樣的問題，針對自身情況分配最適合的任務(wù)等。