DeepSeek在開源周開源了部分關(guān)鍵模塊的代碼及推理系統(tǒng)參考架構(gòu)，再次引發(fā)行業(yè)震動(dòng)，但目前尚未開源DeepSeek-V3 滿血版完整訓(xùn)練代碼。壁仞科技憑借八大自主創(chuàng)新技術(shù)，實(shí)現(xiàn)DeepSeek-V3滿血版在國(guó)產(chǎn)GPU平臺(tái)的高效全棧式訓(xùn)練與推理，實(shí)現(xiàn)國(guó)產(chǎn)大模型與國(guó)產(chǎn)GPU的深度融合優(yōu)化，開啟國(guó)產(chǎn)算力新篇章。

01.首個(gè)國(guó)產(chǎn)化Megatron-LM

深度適配方案

DeepSeek業(yè)界首次提出了Multi-head Latent Attention (MLA) 、Multi-Token Prediction (MTP)、Auxiliary-Loss-Free Load Balancing等新特性，但并未開放訓(xùn)練代碼，且Megatron-LM初期也未支持DeepSeek-V3。壁仞科技充分利用自研的Megatron-LM-BR插件、訓(xùn)練框架BR-PyTorch以及高性能加速庫(kù)suDNN、suBLAS、suCCL等，在Megatron-LM框架上率先支持了這些新特性。針對(duì)DeepSeek-V3預(yù)訓(xùn)練，壁仞支持四大并行策略（TP/EP/PP/DP）靈活組合，較原生方案（TP1PP16EP64DP2）更容易適應(yīng)不同規(guī)模節(jié)點(diǎn)的靈活擴(kuò)展。實(shí)現(xiàn)"Attention-MoE異構(gòu)TP"技術(shù)，大幅降低了Attention顯存需求。

02.突破海外GPU高度依賴，

實(shí)現(xiàn)關(guān)鍵技術(shù)國(guó)產(chǎn)替代

DeepSeek基于海外GPU做了大量算法和軟硬件協(xié)同優(yōu)化，其實(shí)現(xiàn)高度依賴海外GPU微架構(gòu)、NVLink互連、IB交換機(jī)等?；谧匝蠦IREN大算力TCore、高速互連BLink等技術(shù)，壁仞科技在DeepSeek開源周之前就已經(jīng)實(shí)現(xiàn)了FlashMLA、DeepGEMM、DeepEP等核心模塊類似功能和優(yōu)化技術(shù)，并進(jìn)行了軟硬協(xié)同深度優(yōu)化，端到端打通了訓(xùn)練全流程，實(shí)現(xiàn)了關(guān)鍵技術(shù)的國(guó)產(chǎn)自主可控。

03.業(yè)界首創(chuàng)顯存優(yōu)化雙擎技術(shù)，

實(shí)現(xiàn)滿血版高效訓(xùn)練

DeepSeek-V3滿血版有671B參數(shù)，官方推薦方案至少需要1024個(gè)H800（TP1PP16EP64DP1）才能進(jìn)行全參訓(xùn)練。為了應(yīng)對(duì)顯存挑戰(zhàn)，壁仞科技自主創(chuàng)新Async Offload、GPU-based Chunk Optimizer等精度無(wú)損的顯存優(yōu)化技術(shù)，將大量激活值及優(yōu)化器狀態(tài)異步卸載至CPU內(nèi)存，實(shí)現(xiàn)僅需4096GB顯存（8-16臺(tái)單機(jī)8卡GPU機(jī)器）即可支持DeepSeek-V3全參高效訓(xùn)練。與此同時(shí)，通過(guò)巧妙地重疊計(jì)算與通信，上述顯存優(yōu)化技術(shù)幾乎沒(méi)有帶來(lái)訓(xùn)練性能的損失。另外支持智能重計(jì)算策略，自動(dòng)識(shí)別顯存瓶頸層，實(shí)現(xiàn)"算力換空間"智能決策。通過(guò)Async Offload和重計(jì)算顯存優(yōu)化雙擎技術(shù)，實(shí)現(xiàn)算力開銷和顯存節(jié)約的最佳均衡。

04.業(yè)界首創(chuàng)"虛擬層+動(dòng)態(tài)重排"技術(shù)，

大幅降低流水線氣泡

DeepSeek的DualPipe技術(shù)能掩蓋部分傳輸開銷及大幅降低流水線氣泡，但DualPipe需要GPU微架構(gòu)層面對(duì)計(jì)算單元進(jìn)行精確控制才能實(shí)現(xiàn)計(jì)算和通信的高效并發(fā)，相比1F1B，DualPipe需要增加1倍的模型權(quán)重及部分激活值顯存消耗。相比1F1B，Interleave with Virtual Pipeline技術(shù)可以在不增加顯存消耗的情況下大幅降低流水線氣泡，但是要求每個(gè)PP Stage的layer數(shù)是均衡的。DeepSeek-V3有61個(gè)Layer，PP8/PP16都無(wú)法均衡切分Layer導(dǎo)致無(wú)法使能Virtual Pipeline，壁仞科技業(yè)界首創(chuàng)"虛擬層+動(dòng)態(tài)重排"技術(shù)，通過(guò)插入3個(gè)虛擬層實(shí)現(xiàn)64層均勻切分，重排部分層實(shí)現(xiàn)負(fù)載均衡，避免流水線等待，最終實(shí)現(xiàn)高效PP并行。

05.融合算子加速體系，

釋放國(guó)產(chǎn)GPU性能潛力

針對(duì)DeepSeek-V3的Linear、Attention、YaRN RoPE、Dispatch、Combine等關(guān)鍵耗時(shí)算子，壁仞科技基于其GPU架構(gòu)特點(diǎn)做了極致的圖算/通算融合優(yōu)化，從多計(jì)算操作極致的片上融合，張量處理器與矢量處理器極致異步融合，多級(jí)緩存的流水融合，到計(jì)算與通信融合，并進(jìn)一步引入自動(dòng)化的Kernel Selection技術(shù)，基于硬件計(jì)算/通信/訪存建模的CostModel針對(duì)不同工作負(fù)載自適應(yīng)選擇最優(yōu)內(nèi)核實(shí)現(xiàn)，將芯片綜合能效發(fā)揮到極致。

06.整合關(guān)鍵技術(shù)模塊，實(shí)現(xiàn)DeepSeek-

V3滿血版端到端高效預(yù)訓(xùn)練

壁仞科技壁礪TM系列產(chǎn)品如壁礪TM106M、106B等產(chǎn)品具備高算力、高能效、高通用性等優(yōu)勢(shì)，訓(xùn)推一體，已在多個(gè)行業(yè)完成大規(guī)模商業(yè)化落地，其中在中國(guó)電信落地了國(guó)內(nèi)少有的真正實(shí)現(xiàn)市場(chǎng)化建設(shè)和運(yùn)營(yíng)的國(guó)產(chǎn)千卡集群，連續(xù)訓(xùn)練30天不中斷，斷點(diǎn)續(xù)訓(xùn)小于5分鐘，支持客戶完成大模型訓(xùn)練，穩(wěn)定性、性能、精度各項(xiàng)指標(biāo)達(dá)到客戶要求。此次基于壁礪TM106系列產(chǎn)品，壁仞科技快速高效完成了DeepSeek-V3各項(xiàng)關(guān)鍵技術(shù)落地，基于RedPajama-Data-1T-Sample主流開源數(shù)據(jù)集實(shí)現(xiàn)了端到端高效預(yù)訓(xùn)練，Loss收斂正常。

07.實(shí)現(xiàn)W4A16細(xì)粒度量化技術(shù)，支持

DeepSeek-V3/R1滿血版高效推理

壁仞科技在此前已經(jīng)支持了BF16、INT8等版本的DeepSeek-V3/R1滿血版推理，此次新提出W4A16等細(xì)粒度混合量化技術(shù)，進(jìn)一步降低了處理延時(shí)，提升了總吞吐。另外針對(duì)DeepSeek官方最新發(fā)布的推理系統(tǒng)參考架構(gòu)，壁仞科技已初步實(shí)現(xiàn)了分布式EP以及PD分離架構(gòu)，將進(jìn)一步提供更高性價(jià)比的推理集群解決方案。

08.One More Thing

業(yè)界首創(chuàng)大模型彈性訓(xùn)推一體架構(gòu)，

實(shí)現(xiàn)集群最佳利用效率

DeepSeek 開放周最后一天公布了One More Thing-DeepSeek-V3/R1推理系統(tǒng)參考方案，為行業(yè)展示了如何實(shí)現(xiàn)高性能、低成本的分布式推理集群。其提到“由于白天的服務(wù)負(fù)荷高，晚上的服務(wù)負(fù)荷低，因此我們實(shí)現(xiàn)了一套機(jī)制，在白天負(fù)荷高的時(shí)候，用所有節(jié)點(diǎn)部署推理服務(wù)。晚上負(fù)荷低的時(shí)候，減少推理節(jié)點(diǎn)，以用來(lái)做研究和訓(xùn)練”，在計(jì)算推理成本時(shí)，其將釋放給訓(xùn)練使用的資源排除在外，因此降低了推理成本（大概20%= 100% - 226節(jié)點(diǎn)/278節(jié)點(diǎn)）。但如何實(shí)現(xiàn)訓(xùn)練和推理任務(wù)高效共享資源呢？

此前在落地千卡集群時(shí)，壁仞科技已業(yè)界首創(chuàng)了大模型3D并行訓(xùn)練任務(wù)自動(dòng)彈性伸縮機(jī)制，可以在大模型訓(xùn)練任務(wù)不中斷的情況下，根據(jù)集群的資源情況自動(dòng)進(jìn)行在線擴(kuò)縮容。根據(jù)業(yè)務(wù)流量情況自動(dòng)進(jìn)行削峰填谷，對(duì)大模型推理服務(wù)進(jìn)行實(shí)例縮容、擴(kuò)容，相應(yīng)的訓(xùn)練任務(wù)則自動(dòng)進(jìn)行擴(kuò)容、縮容。通過(guò)這套彈性訓(xùn)推一體架構(gòu)，可以將集群資源的使用率保持在近100%，大幅降低資源空閑浪費(fèi)成本。

壁仞科技打造了軟硬一體、全棧優(yōu)化、異構(gòu)協(xié)同、開源開放的大規(guī)模智算集群全棧解決方案，憑借其技術(shù)創(chuàng)新能力和商業(yè)化落地成果，先后獲得環(huán)球時(shí)報(bào)新質(zhì)生產(chǎn)力產(chǎn)業(yè)實(shí)踐“人工智能”示范標(biāo)桿等多個(gè)權(quán)威技術(shù)獎(jiǎng)項(xiàng)，技術(shù)方案和產(chǎn)品已在運(yùn)營(yíng)商、智算中心、行業(yè)AI、金融、電力等多個(gè)行業(yè)規(guī)模落地。此次通過(guò)八大核心技術(shù)賦能DeepSeek-V3滿血版全棧式訓(xùn)練推理，進(jìn)一步提升壁仞科技軟硬一體、開箱即用的產(chǎn)品實(shí)力，支持客戶利用好DeepSeek的新質(zhì)生產(chǎn)力實(shí)現(xiàn)業(yè)務(wù)創(chuàng)新落地！