近日，在高效適配Qwen3系列模型推理后，壁仞科技宣布完成旗艦版Qwen3-235B-A22B模型的訓(xùn)練適配和優(yōu)化。由此，壁仞科技已實(shí)現(xiàn)Qwen3系列模型在國(guó)產(chǎn)GPU平臺(tái)的高效全棧式訓(xùn)練與推理支持。

近日，阿里巴巴通義千問(wèn)正式發(fā)布并開(kāi)源8款新版Qwen3系列“混合推理模型”。從官方披露的數(shù)據(jù)來(lái)看，旗艦?zāi)Ｐ蚎wen3-235B-A22B在代碼、數(shù)學(xué)、通用能力等基準(zhǔn)測(cè)試中，與DeepSeek-R1等頂級(jí)模型相比，表現(xiàn)出極具競(jìng)爭(zhēng)力的結(jié)果。

壁仞科技在Qwen3發(fā)布后數(shù)小時(shí)內(nèi)完成了全系列模型的推理支持。受益于前期適配DeepSeek-V3滿血版訓(xùn)練的關(guān)鍵技術(shù)和成功經(jīng)驗(yàn)，壁仞科技進(jìn)一步升級(jí)快速實(shí)現(xiàn)Qwen3-235B-A22B旗艦版最大參數(shù)量模型的訓(xùn)練適配與優(yōu)化支持?；诒谪鹂萍甲匝蠱egatron-LM-BR訓(xùn)練插件，用戶可實(shí)現(xiàn)大模型零代碼修改下無(wú)縫運(yùn)行，開(kāi)箱即用。

值得關(guān)注的是，Megatron-LM-BR融合了壁仞科技自主知識(shí)產(chǎn)權(quán)的三大核心技術(shù)：虛擬層+動(dòng)態(tài)重排、Async Offload、多維算子融合，實(shí)現(xiàn)了適配通用性與訓(xùn)練性能的雙重保障。

01業(yè)界首創(chuàng)"虛擬層+動(dòng)態(tài)重排"技術(shù)

顯著降低流水線氣泡

阿里開(kāi)源的Pai-Megatron-Patch發(fā)布了Qwen3 MoE 模型的最佳實(shí)踐，但Qwen3-235B-A22B模型包含94個(gè)Transformer Layer，其默認(rèn)的策略如PP8無(wú)法均衡切分Layer導(dǎo)致無(wú)法使用Interleave with Virtual Pipeline高效流水線機(jī)制，因此造成流水線等待問(wèn)題。壁仞科技基于Megatron-LM-BR自主研發(fā)了"虛擬層+動(dòng)態(tài)重排"技術(shù)：通過(guò)插入兩個(gè)虛擬層將總層數(shù)擴(kuò)展至96層，實(shí)現(xiàn)均勻切分以支持Interleave with Virtual Pipeline機(jī)制；同時(shí)對(duì)部分Layer進(jìn)行動(dòng)態(tài)重排，使流水線計(jì)算通信負(fù)載均衡，從而顯著降低流水線氣泡率。

02業(yè)界首創(chuàng)Async Offload技術(shù)

實(shí)現(xiàn)精度無(wú)損極速預(yù)訓(xùn)練

為發(fā)揮算力優(yōu)勢(shì)和提升顯存效率，壁仞科技自主研發(fā)Async Offload（異步卸載）機(jī)制：將大量激活張量和優(yōu)化器狀態(tài)異步遷移至CPU內(nèi)存，僅使用64張GPU卡即可支持Qwen3-235B-A22B精度無(wú)損的全參模型高效預(yù)訓(xùn)練；而業(yè)界其他已發(fā)布案例至少需要256卡，另外其他方案如FP8可以降低顯存消耗，但容易對(duì)精度產(chǎn)生影響。壁仞科技同時(shí)還支持智能重計(jì)算策略，動(dòng)態(tài)識(shí)別顯存瓶頸層，實(shí)現(xiàn)"算力換空間"智能決策。通過(guò)Async Offload和重計(jì)算顯存優(yōu)化雙擎技術(shù)，壁仞科技實(shí)現(xiàn)了算力開(kāi)銷和顯存節(jié)約的最佳均衡。

03融合算子多維加速體系

充分釋放算力潛能

針對(duì)GroupedMLP、Permutation、Unpermutation等關(guān)鍵耗時(shí)算子，壁仞科技基于其GPU架構(gòu)特點(diǎn)實(shí)現(xiàn)了泛化的圖算/通算融合優(yōu)化。支持多計(jì)算操作極致的片上融合、張量處理器與矢量處理器極致異步融合、多級(jí)緩存的流水融合、以及計(jì)算與通信融合，并進(jìn)一步引入自動(dòng)化的Kernel Selection技術(shù)，基于硬件計(jì)算/通信/訪存建模的Cost Model針對(duì)不同工作負(fù)載自適應(yīng)選擇最優(yōu)內(nèi)核實(shí)現(xiàn)，將芯片綜合能效發(fā)揮到極致，同時(shí)也確保了通用的泛化能力。在保持精度無(wú)損的同時(shí)，達(dá)成計(jì)算效率、硬件利用率與內(nèi)存帶寬的多維度協(xié)同優(yōu)化。