一、前言

隨著大模型的廣泛應用，作為人工智能三大支柱之一的AI算力，已經(jīng)成為競爭的焦點。從模型訓練到推理，算力存在于大模型生命周期的每一環(huán)，極大程度地影響著模型在實際業(yè)務場景的性能與效果。面對京東海量數(shù)據(jù)的各種場景，缺乏堅實的算力基礎就猶如高樓大廈沒有穩(wěn)固的地基，上層的算法/數(shù)據(jù)無法發(fā)揮其作用。

而隨著美國相繼出臺的高端AI芯片禁令，如何保障集團的算力安全成為一個我們無法回避的問題。2024年12月3日，中國半導體行業(yè)協(xié)會、中國汽車工業(yè)協(xié)會、中國互聯(lián)網(wǎng)協(xié)會、中國通信企業(yè)協(xié)會集體發(fā)布聲明，針對美國對華采取的出口限制表示堅決反對，認為美國相關(guān)芯片產(chǎn)品不再安全、不再可靠。四協(xié)會建議相關(guān)企業(yè)謹慎采購美國芯片，擴大與其他國家和地區(qū)芯片企業(yè)合作，積極使用內(nèi)外資企業(yè)在華生產(chǎn)制造的芯片，呼吁中國政府支持可靠半導體產(chǎn)品供應商的穩(wěn)定發(fā)展。

如何在京東業(yè)務場景讓國產(chǎn)芯片可用、好用，是一個亟需解決的問題。然而，我們發(fā)現(xiàn)這并非易事，存在著以下挑戰(zhàn)：

1. 硬件架構(gòu)差異顯著

在過去，京東底層算力集群主要圍繞GPU進行建設，而國產(chǎn)NPU與GPU硬件架構(gòu)差異大，且京東零售業(yè)務場景訴求多樣、數(shù)據(jù)與模型體量龐大，需提升集群對多種異構(gòu)芯片的兼容性及統(tǒng)一靈活調(diào)度能力，充分挖掘國產(chǎn)芯片算力，從而保障集群中不同類型的國產(chǎn)芯片被最大化利用的同時，能夠有序、高效地為業(yè)務提供算力支持。

2. 軟件生態(tài)尚未成熟

當前各開源模型或訓練推理框架并不直接提供針對國產(chǎn)NPU的解決方案，而國產(chǎn)NPU軟件生態(tài)尚不成熟。這意味著開發(fā)人員從 GPU 遷移至國產(chǎn)NPU包含精度校驗、性能調(diào)優(yōu)等復雜的適配工作，面臨著巨大的遷移成本，嚴重影響算法開發(fā)與業(yè)務迭代效率。

我們看到，GPU芯片能成為大多數(shù)人第一選擇的原因，核心并不在于其產(chǎn)品硬件性能更強，而是因為他們構(gòu)建了十分完善的CUDA生態(tài)。開發(fā)人員基于GPU的開發(fā)工作無需感知底層硬件的架構(gòu)，能夠更加關(guān)注模型開發(fā)與業(yè)務邏輯。

3. 業(yè)務場景需求多樣且復雜

京東零售業(yè)務場景豐富復雜，各場景在模型選型、性能要求等方面差異巨大，解決方案不僅需要高效、統(tǒng)一，還必須能夠靈活適配各業(yè)務場景，實現(xiàn)“1套方案、N種應用”。

?

以PyTorch為例，通用模型從GPU遷移至華為昇騰NPU流程示例，圖像來自昇騰官網(wǎng)模型開發(fā)文檔?

?

以上痛點的核心在于，缺乏一套基于國產(chǎn)NPU的端到端訓練推理解決方案，支持算法人員無感知地從GPU遷移至國產(chǎn)NPU。在此背景下，九數(shù)算法中臺從集群網(wǎng)絡到訓練推理引擎建設，推出了高效、統(tǒng)一、靈活的基于國產(chǎn)芯片的AI引擎技術(shù)。在接下來的章節(jié)，將為您詳細介紹九數(shù)算法中臺如何搭建起這樣的生態(tài)系統(tǒng)，使得國產(chǎn)芯片在京東零售“落地有聲”。

?

二、基于國產(chǎn)芯片的AI引擎技術(shù)

2.1 整體技術(shù)架構(gòu)

項目架構(gòu)圖

?

2.2 GPU與NPU異構(gòu)混合調(diào)度系統(tǒng)

為了保障京東零售業(yè)務場景多樣復雜的芯片使用訴求，九數(shù)算法中臺基于高性能計算網(wǎng)絡搭建千卡規(guī)模集群，支持國產(chǎn)NPU與GPU相同的調(diào)度能力，通過統(tǒng)一的配額分配、調(diào)撥體系支持開發(fā)人員無感知靈活調(diào)度國產(chǎn)NPU與GPU。由于算力資源長期處于滿負荷運行狀態(tài)，九數(shù)算法中臺采取了多種措施來最大程度助力算法同學極致利用算力資源、更高效地完成算法工作，在保證業(yè)務穩(wěn)定、易用基礎上提升資源利用率，節(jié)約集團IT資源成本，充分挖掘NPU硬件能力，實現(xiàn)國產(chǎn)NPU芯片到從“單片可用”跨越至“集群好用”：

?千卡集群：為保障千卡規(guī)模以及RDMA互聯(lián)網(wǎng)絡模式下的集群穩(wěn)定性，九數(shù)算法中臺支持了全面的可視化監(jiān)控系統(tǒng)，涵蓋了NPU卡、網(wǎng)卡、光模塊等關(guān)鍵組件，還支持了NPU卡健康檢查、故障自動隔離，故障上報業(yè)務容器與自動告警能力，以便業(yè)務可以及時干預和解決問題。另外持續(xù)跟進新版本HDK，不斷提升集群的穩(wěn)定性。

?調(diào)度優(yōu)化 ：調(diào)度算法在NPU服務器獨特的卡互聯(lián)拓撲結(jié)構(gòu)上兼容了原有GPU上的優(yōu)化，兼顧算法任務性能、集群利用率與業(yè)務公平。關(guān)鍵特性如：

?NUMA感知和網(wǎng)絡拓撲感知調(diào)度：識別CPU NUMA和網(wǎng)絡拓撲，確保任務被分配到最優(yōu)的計算和網(wǎng)絡資源上，從而最大化任務的執(zhí)行效率。

?資源碎片最小化：采用了多種調(diào)度策略，如Gang、BinPack和節(jié)點資源預留，來減少資源的碎片化，提高集群的整體占用率。

?可配置的優(yōu)先級驅(qū)逐機制：該機制為用戶提供了配額保障和搶占能力，確保重要任務能夠及時執(zhí)行。同時，它也支持根據(jù)任務的優(yōu)先級隊列來維護業(yè)務之間的公平性，提供更好的用戶體驗。

?高效使用：為了給用戶提供更靈活的計算資源以及更好的利用集群資源，國產(chǎn)NPU與GPU共同遵循資源隊列機制。資源隊列是為了關(guān)聯(lián)某一資源隊列的用戶提供保障資源量（MIN）和共享資源量（MAX），多個資源組通過關(guān)聯(lián)資源隊列的方式，既可有一定資源的保障量，同時可共享集群空閑資源，從而提高集群資源整體的使用率，進而達到國產(chǎn)NPU的最大化利用。

?

2.3 高性能訓練引擎

九數(shù)高性能訓練引擎，經(jīng)過深度優(yōu)化和架構(gòu)升級，完成對超過40種涵蓋LLM、多模態(tài)等主流底座模型的全面適配和優(yōu)化，包括但不限于LLM、多模態(tài)系列和文生圖、文生視頻系列，實現(xiàn)了對NPU算力的全面兼容。該引擎采用高度抽象的API接口，實現(xiàn)了一套API下NPU和GPU用戶無感、0成本無縫切換訓練，為京東零售算力提供了堅實的安全保障；同時通過集成模型并行、序列并行，低精度通信，通信計算融合等技術(shù)，大幅提升了模型訓練的吞吐量，為京東零售的智能計算提供了強有力的支撐。其主要特性如下：

?覆蓋主流LLM、多模態(tài)底座：30+ LLM、10+ 多模態(tài)主流底座模型覆蓋，一套API下NPU和GPU用戶無感、0成本無縫切換訓練。

?覆蓋LLM訓練全流程：涵蓋從數(shù)據(jù)、訓練模式，打標/評測離線全鏈路能力，支持3類數(shù)據(jù)生成方式、11類指令/對齊微調(diào)能力、20類通用/垂類評測。

?軟硬協(xié)同深度優(yōu)化：通過Triton編譯和CANN融合技術(shù)對熱點算子（如flash attention、rotary_embedding、npu_matmul_add_fp32等）進行精細調(diào)優(yōu)，實施鋸齒Attention、動態(tài)輸入拼接、全子圖下發(fā)以及重計算流水線的獨立調(diào)度和自適應重計算等深度優(yōu)化措施，實現(xiàn)了百卡 MFU達60%。同時，通過權(quán)重更新通信隱藏、CoC計算通信并行、啟發(fā)式自動并行策略搜索、BF16低精度通信和多機間RDMA通信等技術(shù)，達到了百卡擴展系數(shù)0.93，從而實現(xiàn)了千億至萬億參數(shù)模型訓練的近線性橫向擴展。

?高可用性訓練能力：采用Token預緩存技術(shù)和分鐘級的異步Checkpoint保存機制，結(jié)合按需快照即時下發(fā)，將啟動時間從小時級別降至分鐘級別，同時將模型存時間減少了超過90%，整體訓練效率提高了15%，確保在發(fā)生故障時能夠迅速恢復訓練任務。

九數(shù)訓練引擎LLM模型支持概況

?

在使用NPU進行模型訓練時，開發(fā)人員無需進行精度對齊、框架適配等工作，僅需基于實際業(yè)務訴求，關(guān)注數(shù)據(jù)準備、參數(shù)配置、驗證評估等訓練流程，選擇NPU對應型號，即可快速提交訓練任務，實現(xiàn)基于NPU業(yè)務的高效迭代優(yōu)化。

?

2.4 高性能推理引擎

與訓練引擎類似，九數(shù)算法中臺針對國產(chǎn)NPU建設高性能推理引擎，支持MaaS開箱即用部署（服務化部署托管），實現(xiàn)基于國產(chǎn)NPU的一鍵部署，內(nèi)置20+業(yè)界通用LLM大模型。通過模型量化、編譯優(yōu)化等手段進行推理加速，滿足業(yè)務在大模型場景下對于高效問答的訴求，性能相比業(yè)界開源框架提升20%。

?MaaS開箱即用：基于九數(shù)EA部署，實現(xiàn)昇騰NPU的一鍵部署，API兼容OpenAI和Triton協(xié)議，支持流式推理，與GPU方案保持一致。

?主流SOTA模型支持：支持Baichuan、ChatGLM、Qwen、Llama等20+主流模型的端到端推理；

?性能優(yōu)化：

?模型優(yōu)化：計算方面通過GE圖編譯優(yōu)化和ATB高性能算子技術(shù)對Paged Attention、Flash Attention、Sub_Mul_Concat等操作進行深度優(yōu)化，實現(xiàn)整圖下發(fā)能力，通過算子setup（workspace、tiling）、下發(fā)、計算實現(xiàn)流水線并行，有效隱藏了算子調(diào)度開銷。同時支持W8A8 SmoothQuant量化、W4A16 AWQ量化技術(shù)，顯著較少了計算量與訪存密度。

?框架優(yōu)化：調(diào)度方面實現(xiàn)了Prefill/Decode分離技術(shù)，在部分場景下有效提高推理速度，通過KV cache、Prefix cache等緩存技術(shù)減少重復計算。

?監(jiān)控告警體系：支持可視化監(jiān)控系統(tǒng)，包括服務吞吐、失敗率、整體延時等服務化監(jiān)控指標。同時，用戶也可根據(jù)實際需求配置對應指標的告警系統(tǒng)。

九數(shù)推理引擎NPU支持模型概況

?

同時，在大規(guī)模搜推廣場景，本項目也支持基于NPU的搜推廣模型推理，通過開發(fā)融合Pass及融合kernel，滿足搜索推薦廣告系統(tǒng)對于在線推理服務高吞吐、低延遲的訴求。

?

三、落地場景

?案例一：視頻內(nèi)容Tag云標簽生成場景

多模態(tài)大模型在京東零售業(yè)務場景存在廣泛的應用，而算力是影響圖像、視頻計算任務的關(guān)鍵卡點。其中，數(shù)字內(nèi)容相關(guān)業(yè)務期望基于NPU，利用Qwen2 VL模型對視頻的多模態(tài)信息進行分析，抽取能夠表征視頻的一系列關(guān)鍵詞。但當前Qwen2 VL開源代碼僅支持GPU推理，暫未提供NPU解決方案，Qwen2 VL運行在國產(chǎn)NPU上存在算子優(yōu)化、推理加速等適配工作。

通過使用九數(shù)算法中臺的NPU高性能推理框架，業(yè)務可將模型快速部署至線上場景。業(yè)務僅需選擇模型與NPU資源量，即可完成模型的在線部署，無需關(guān)心Qwen2 VL從GPU遷移至NPU的繁瑣流程。

目前，該案例共部署數(shù)十卡國產(chǎn)NPU，用于內(nèi)容Tag云標簽生成工作，與GPU比對效果無明顯差異。在輸出Token數(shù)量一致的前提下，二者平均響應時長基本保持一致。

?

?案例二、物流大模型場景

如何將國產(chǎn)芯片和物流場景有機結(jié)合，是電商領(lǐng)域亟需解決的問題。

在京東物流大模型場景中，業(yè)務方期望基于910B將Qwen2-7B在地址解析、地址編碼、地址分類等任務進行上訓練。由于Qwen2-7B開源項目未提供NPU訓練方案，該業(yè)務利用九數(shù)算法中臺提供的統(tǒng)一訓練框架，基于框架底座開源模型進行了Pretrain、SFT、RL適配。

基于NPU微調(diào)的模型與基于GPU微調(diào)的模型在地址解析等任務的訓練結(jié)果分別達到了91.03%與91.08%，二者表現(xiàn)基本一致。目前，基于NPU的訓練產(chǎn)物已應用在多個業(yè)務場景中。在預分揀分單場景已上線多個省份，在地址分類任務上已經(jīng)刷新4600萬條母庫POI數(shù)據(jù)的多級分類標簽，在人工預分揀地址異常識別中每天識別3萬條以上地址。

#Input_1
青海省西寧市城北區(qū)三其村。 可以發(fā)圓通嗎 謝謝。

#Output-NPU（國產(chǎn)NPU）
青海省_1,西寧市_3A,城北區(qū)_3A,三其村_4B, _5A-1,可以發(fā)圓通嗎 謝謝_UNK,

#Output-GPU（GPU）
青海省_1,西寧市_3A,城北區(qū)_3A,三其村_4B, _5A-1,可以發(fā)圓通嗎 謝謝 _UNK

?

?案例三、商家側(cè)智能助手

基于大模型的客服Agent已成為電商領(lǐng)域的新趨勢。其中，在商家側(cè)智能助手的案例中，業(yè)務側(cè)期望使用過往沉淀QA數(shù)據(jù)，基于Qwen1.5 7B進行微調(diào)，實現(xiàn)模型針對商家問題進行分析，并將任務分配給下游工具處理。

由于Qwen1.5系列開源模型暫未提供針對NPU的微調(diào)方案，該案例利用九數(shù)算法中臺提供統(tǒng)一訓練框架，基于框架底座開源模型進行微調(diào)。

通過測試對比，國產(chǎn)NPU微調(diào)的模型與基于GPU微調(diào)的模型分析結(jié)果相似，且96%問題分配下游工具相同。對比模型分配的工具（pred_tool）和人工標注的工具（tool_gt）并綜合打分，二者得分相近。

#Input_1
上架寶貝數(shù)怎么看？
#Output-國產(chǎn)NPU
{...'tool_name':' business_expert, 'query':'如何查看已上架的商品數(shù)量？'...}
#Output-GPU
{...'tool_name':' business_expert, 'query':'如何查看已上架的商品數(shù)量？'...}

#Input_2
為啥我不能提報活動了？
#Output-國產(chǎn)NPU
{...'tool_name':' business_expert, 'query':'為什么商家不能提報活動，以及如何解決提報問題？'...}
#Output-GPU
{...'tool_name':' business_expert, 'query':'商家無法提報活動的可能原因及解決方案是什么？'...}

四、應用價值

目前，京東零售基于國產(chǎn)芯片的AI引擎技術(shù)已在十余個業(yè)務場景落地，為加速國產(chǎn)芯片破局、打造開放生態(tài)探尋新思路。

?核心技術(shù)自主且可控：通過使用國產(chǎn)算力芯片，有效降低了對海外芯片的依賴，確保了算法與算力方面的安全性。這一自主可控的技術(shù)體系涵蓋底層硬件至上層應用，使京東零售在快速變化的國際環(huán)境中保持穩(wěn)健和高效的運轉(zhuǎn)。

?國產(chǎn)芯片應用性提升：國內(nèi)電商領(lǐng)域業(yè)務的復雜性和多樣性為國產(chǎn)算力的應用提供了廣泛的實踐機遇。當前的引擎能力已應用于搜索推薦、廣告創(chuàng)意生成、智能客服和數(shù)據(jù)自動分析等多個場景。通過這些實踐，不僅顯著提升實際業(yè)務效能，也為國產(chǎn)算力在真實商業(yè)環(huán)境中的應用提供了寶貴的經(jīng)驗反饋，從而反哺國產(chǎn)算力技術(shù)生態(tài)發(fā)展、成熟、普惠。

?

五、行業(yè)影響力

在實現(xiàn)了基于國產(chǎn)算力的一系列技術(shù)突破后，我們將沉淀的技術(shù)經(jīng)驗進一步轉(zhuǎn)化為在集團內(nèi)外的影響力，彰顯京東零售的技術(shù)領(lǐng)先性和行業(yè)責任感：

?2024年，京東零售開始作為理事單位，與華為昇騰共建Openmind開源社區(qū)；

?7月，在上海舉辦的昇騰人工智能產(chǎn)業(yè)高峰論壇上，京東作為華為昇騰邀請11家生態(tài)伙伴及客戶中的一員，聯(lián)合華為發(fā)布了基于昇騰大模型推理解決方案的五大場景優(yōu)秀實踐。

?7月，基于國產(chǎn)芯片的AI引擎技術(shù)項目榮獲京東零售平臺產(chǎn)品與研發(fā)中心618大促技術(shù)敢打獎。

?9月，在第九屆華為全聯(lián)接大會（HUAWEI CONNECT 2024）上，項目主力成員獲得優(yōu)秀昇騰原生開發(fā)者的獎項。

24年7月，昇騰大模型推理解決方案正式發(fā)布暨五大場景優(yōu)秀實踐，圖源昇騰官網(wǎng)新聞資訊：https://www.hiascend.com/activities/dynamic-news/451?

?

?

六、未來規(guī)劃

?萬卡集群建設

隨著業(yè)界主流模型體量不斷擴大，百B甚至千B級模型的訓推訴求愈發(fā)迫切。為了滿足京東零售在大規(guī)模計算場景的訴求，集群將在25年實現(xiàn)萬卡級別高性能網(wǎng)絡及調(diào)度能力，助力大體量模型業(yè)務發(fā)展。同時，九數(shù)算法中臺將持續(xù)擴充集群支持的芯片類型，允許GPU、國產(chǎn)NPU在集群內(nèi)被混合調(diào)度。通過這樣的集群生態(tài)建設，一方面能夠讓京東算法業(yè)務不依賴于單家廠商，保障了集團的算力安全和可持續(xù)發(fā)展；另一方面，也讓算法業(yè)務在算力調(diào)度上有更加多元的選擇。

除了進行集群的升級，九數(shù)算法中臺還將進一步優(yōu)化國產(chǎn)芯片的調(diào)度策略，通過應急資源池、資源智能預測、動態(tài)擴縮容等手段保障各業(yè)務都能夠合理、高效地用上國產(chǎn)芯片，全面挖掘國產(chǎn)芯片算力性能。

?國產(chǎn)算力生態(tài)建設

京東零售將在2025年持續(xù)深入與國產(chǎn)頭部芯片廠商的合作，共同助力京東零售AI數(shù)智化，作為華為昇騰AI解決方案競爭力和軟件生態(tài)核心貢獻者。

針對自研訓練引擎在LLM場景的支持，九數(shù)算法中臺將深入HCCL底層通信優(yōu)化，建立融合算子庫全面優(yōu)化性能，達到百卡/千卡MFU可至60%。針對CTR訓練場景，九數(shù)算法中臺將建設業(yè)界首個同時支撐昇騰 NPU和GPU的性能領(lǐng)先的CTR大規(guī)模訓練框架，并考慮建立開源生態(tài)，支持業(yè)務無感遷移，落地在主站推薦精排、主站搜索精排場景。

針對自研推理引擎在LLM場景的支持，九數(shù)算法中臺將通過共建昇騰加速ATB算子庫，擴展LLM前后處理能力及LVM等模型，性能能夠達到業(yè)界SOTA；針對CTR推理場景，建設9N-Predictor NPU推理引擎，支持GPU/NPU異構(gòu)推理，并通過共建GE自動融合優(yōu)化引擎編譯能力，最大程度發(fā)揮NPU在推薦場景的極致性能。

審核編輯 黃宇