當(dāng)下，AI模型規(guī)模持續(xù)膨脹、多模態(tài)應(yīng)用場(chǎng)景日益復(fù)雜，企業(yè)正面臨異構(gòu)算力資源碎片化帶來(lái)的嚴(yán)峻挑戰(zhàn)。為應(yīng)對(duì)行業(yè)痛點(diǎn)，江蘇潤(rùn)和軟件股份有限公司（以下簡(jiǎn)稱“潤(rùn)和軟件”）正式發(fā)布自主研發(fā)的StackRUNS異構(gòu)分布式推理框架，高效融合異構(gòu)算力，精細(xì)化配置算力資源，釋放算力效能。

潤(rùn)和軟件發(fā)布StackRUNS異構(gòu)分布式推理框架

StackRUNS是基于“異構(gòu)算力建模+動(dòng)態(tài)調(diào)度優(yōu)化+統(tǒng)一通信接口+模型分層加載”核心技術(shù)打造的輕量級(jí)分布式推理框架，可實(shí)現(xiàn)多類(lèi)型AI設(shè)備的資源整合與大模型的協(xié)同高效推理，廣泛適用于對(duì)推理能力有高要求但資源異構(gòu)、預(yù)算受限的實(shí)際應(yīng)用場(chǎng)景，如多節(jié)點(diǎn)異構(gòu)硬件的老舊部署環(huán)境、突發(fā)性大模型任務(wù)需求、高?；蚩蒲袡C(jī)構(gòu)低成本模型實(shí)驗(yàn)場(chǎng)景。目前，StackRUNS已在教育、安防、能源等行業(yè)落地，通過(guò)智能調(diào)度算力、分鐘級(jí)快速部署、分布式協(xié)同等能力，加快大模型落地進(jìn)程。

功能架構(gòu)

StackRUNS功能架構(gòu)圖

1. 框架適配層：統(tǒng)一接入主流推理框架

通過(guò)統(tǒng)一的框架適配能力，StackRUNS可有效屏蔽上層差異，提升系統(tǒng)的靈活性與兼容性，支持主流框架與模型組件的即插即用，大幅縮短模型部署與遷移周期。

支持PyTorch、TensorFlow、MindSpore等主流AI框架；

無(wú)縫集成llama.cpp、vLLM等主流推理引擎；

插件化架構(gòu)，支持多模型統(tǒng)一推理入口，便于快速上層接入與復(fù)用。

2.調(diào)度層：智能調(diào)度與自動(dòng)并行優(yōu)化

通過(guò)異構(gòu)設(shè)備資源的智能感知與動(dòng)態(tài)調(diào)度，StackRUNS可最大化利用系統(tǒng)整體算力，并通過(guò)推理場(chǎng)景的深度優(yōu)化，顯著提升大模型多設(shè)備協(xié)同推理的效率與可控性。

異構(gòu)資源感知與建模，實(shí)現(xiàn)不同設(shè)備算力精準(zhǔn)識(shí)別；

自動(dòng)并行策略生成與模型切分，支持切片并行、專(zhuān)家路由等；

涵蓋精度控制與任務(wù)生命周期管理，保障精度性能雙優(yōu)；

通信圖優(yōu)化與算子融合，提升跨設(shè)備數(shù)據(jù)流通效率。

3. 通信適配層：統(tǒng)一通信接口與性能反饋機(jī)制

StackRUNS具備統(tǒng)一通信能力適配的異構(gòu)平臺(tái)，可有效消除設(shè)備間通信瓶頸，為分布式推理提供高效、穩(wěn)定的通信支撐，提升跨設(shè)備協(xié)同性能。

提供統(tǒng)一通信算子接口，適配 HCCL、NCCL、RCCL等多種通信協(xié)議；

支持通信運(yùn)行時(shí)、拓?fù)涔芾砼c性能建模，為調(diào)度策略提供反饋依據(jù)；

深度學(xué)習(xí)框架通信插件化集成，增強(qiáng)生態(tài)兼容性。

4. 硬件支持層：兼容多種AI算力平臺(tái)

StackRUNS全面兼容主流AI硬件平臺(tái)，涵蓋Ascend、NVIDIA、AMD、ARM、Intel、Mac等，實(shí)現(xiàn)算力資源的靈活組合與無(wú)縫協(xié)同，推動(dòng)AI應(yīng)用從“專(zhuān)用單機(jī)”邁向“異構(gòu)集群”，釋放硬件潛能。

核心技術(shù)

StackRUNS架構(gòu)圖

1. 異構(gòu)算力識(shí)別與建模

通過(guò)自動(dòng)識(shí)別和建模不同類(lèi)型的計(jì)算資源，StackRUNS建立了統(tǒng)一的資源抽象層，確保在異構(gòu)環(huán)境下的資源統(tǒng)一管理和高效利用。

資源抽象與建模：對(duì)各類(lèi)計(jì)算設(shè)備的性能、內(nèi)存、帶寬等關(guān)鍵參數(shù)進(jìn)行建模，形成統(tǒng)一的資源描述；

動(dòng)態(tài)資源感知：實(shí)時(shí)監(jiān)控資源的使用情況，支持動(dòng)態(tài)調(diào)整和優(yōu)化。

2. 調(diào)度層

調(diào)度層根據(jù)任務(wù)需求和資源狀況，可根據(jù)計(jì)算任務(wù)智能分配算力資源，實(shí)現(xiàn)資源的高效利用和任務(wù)執(zhí)行效率。

任務(wù)劃分與分配：將大模型分解為多個(gè)子任務(wù)，合理分配到不同的計(jì)算節(jié)點(diǎn)；

負(fù)載均衡：根據(jù)資源使用情況，動(dòng)態(tài)調(diào)整任務(wù)分配，避免資源瓶頸；

容錯(cuò)與恢復(fù)：在節(jié)點(diǎn)故障時(shí)，能夠快速重新調(diào)度任務(wù)，確保系統(tǒng)穩(wěn)定性。

3. 通信適配層

通信適配層提供統(tǒng)一的通信接口，支持多種通信協(xié)議，實(shí)現(xiàn)高效的數(shù)據(jù)傳輸，確保在分布式環(huán)境下的統(tǒng)一、可靠通信。

協(xié)議適配：支持如NCCL、HCCL、RCCL等多種通信協(xié)議，確保在不同硬件平臺(tái)上的兼容性；

通信優(yōu)化：通過(guò)通信圖優(yōu)化、算子融合等技術(shù)，減少通信開(kāi)銷(xiāo)，提高數(shù)據(jù)傳輸效率。

4. 大模型分層加載通訊

針對(duì)超大規(guī)模模型，StackRUNS采用分層加載和通信策略，優(yōu)化模型的加載和推理過(guò)程，保持模型性能的同時(shí)，顯著降低通信成本，提升整體推理效率。

分層加載：通過(guò)結(jié)構(gòu)感知的模型切分，需考慮各層之間的依賴關(guān)系和數(shù)據(jù)傳輸量；

通信與計(jì)算重疊執(zhí)行：采用流水線并行策略，在模型推理過(guò)程中，采用異步通信策略，提高并行度和效率；

通信內(nèi)容優(yōu)化：采用混合精度傳輸策略，在不影響模精度的前提下，減少通信數(shù)據(jù)量是降低通信成本的直接方式；

拓?fù)涓兄耐ㄐ挪呗裕?/strong>根據(jù)硬件拓?fù)浣Y(jié)構(gòu)，優(yōu)化通信路徑和方式，提升通信效率。