電子發(fā)燒友網(wǎng)綜合報(bào)道，隨著大語(yǔ)言模型（LLM）參數(shù)規(guī)模突破萬(wàn)億級(jí)，傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)（如NVL、TPUv4、SiP-Ring）逐漸暴露出瓶頸。

傳統(tǒng)方案依賴(lài)昂貴的交換機(jī)（如NVIDIA的NVLink Switch）或光學(xué)電路（如TPUv4的OCS），其成本隨集群規(guī)模呈指數(shù)級(jí)增長(zhǎng)。例如，NVLink Switch單臺(tái)成本高達(dá)數(shù)萬(wàn)美元，且僅支持單節(jié)點(diǎn)級(jí)擴(kuò)展（如DGX H100集群最多8-GPU互聯(lián)）。TPUv4雖采用光學(xué)環(huán)形網(wǎng)絡(luò)，但其OCS交換機(jī)需定制化光纖布線，限制了跨Pod級(jí)擴(kuò)展能力。

由于拓?fù)湎拗?，單個(gè)GPU故障可能引發(fā)級(jí)聯(lián)失效。以SiP-Ring為例，其靜態(tài)環(huán)形拓?fù)湟笏泄?jié)點(diǎn)嚴(yán)格同步，若某一節(jié)點(diǎn)故障，整個(gè)TP組需重新初始化，導(dǎo)致GPU浪費(fèi)率高達(dá)37%（TP-64場(chǎng)景）。NVL架構(gòu)中，單節(jié)點(diǎn)故障甚至?xí)袛嗳?a href="http://www.www27dydycom.cn/v/tag/1301/" target="_blank">通信，迫使作業(yè)暫停重試。

跨ToR（Top of Rack）通信也成為網(wǎng)絡(luò)架構(gòu)的性能瓶頸。研究顯示，GPT-3訓(xùn)練任務(wù)中35%的通信流量為跨機(jī)架傳輸，導(dǎo)致網(wǎng)絡(luò)擁塞，帶寬利用率不足40%。傳統(tǒng)Fat-Tree拓?fù)潆m支持高帶寬，但其樹(shù)狀結(jié)構(gòu)易在核心層形成熱點(diǎn)，限制了大規(guī)模并行效率。

為了解決這些問(wèn)題，最近，曦智科技聯(lián)合北京大學(xué)、階躍星辰的研究團(tuán)隊(duì)提出了一種以光交換（OCS）模組為中心的高帶寬域架構(gòu)InfiniteHBD。InfinitePOD通過(guò)無(wú)交換機(jī)架構(gòu)設(shè)計(jì) 、動(dòng)態(tài)拓?fù)渚幣?a href="http://www.www27dydycom.cn/v/tag/2562/" target="_blank">算法和光通信技術(shù)優(yōu)化 ，系統(tǒng)性解決了現(xiàn)有的問(wèn)題。

InfinitePOD采用分布式節(jié)點(diǎn)直連網(wǎng)絡(luò)，每個(gè)GPU節(jié)點(diǎn)配備QSFP-DD OCSTrx光模塊（51.2Tbps帶寬），通過(guò)預(yù)定義光纖鏈路實(shí)現(xiàn)跨ToR的3跳內(nèi)直連?？梢允∪?zhuān)用交換機(jī)，僅使用標(biāo)準(zhǔn)化光模塊，單節(jié)點(diǎn)互連成本下降60%。

同時(shí)物理層支持任意規(guī)模集群互聯(lián)，實(shí)驗(yàn)驗(yàn)證可擴(kuò)展至65536 GPU，遠(yuǎn)超NVL（16384 GPU）和TPUv4（單Pod級(jí)）。在拓?fù)潇`活性上，通過(guò)軟件動(dòng)態(tài)配置通信組，支持K-Hop Ring（環(huán)形）和K-Hop Line（線性）等拓?fù)洌m配TP、DP、PP等不同并行策略。

InfinitePOD采用了兩階段部署機(jī)制，首先是物理層預(yù)定義，在部署階段規(guī)劃節(jié)點(diǎn)間3跳光纖連接，形成Rail-Optimized拓?fù)?，減少跨機(jī)架流量；在運(yùn)行時(shí)動(dòng)態(tài)編排，基于圖切割算法（Graph Partitioning）和貪心策略，實(shí)時(shí)調(diào)整通信組拓?fù)洹?/p>

容錯(cuò)機(jī)制上，當(dāng)GPU故障時(shí)，編排算法自動(dòng)重構(gòu)通信路徑，僅隔離故障節(jié)點(diǎn)而不影響全局。實(shí)驗(yàn)表明，在TP-64場(chǎng)景下，GPU浪費(fèi)率從NVL的24%降至11%，作業(yè)中斷概率降低72%。

在光通信技術(shù)上，InfinitePOD采用QSFP-DD OCSTrx光模塊，光模塊基于曦智科技硅光子技術(shù)的分布式光交換dOCS，將基于馬赫曾德（MZI，Mach-Zehnder Interferometer）交換矩陣的光交換芯片集成到商用QSFP-DD 800Gbps光電轉(zhuǎn)換模組中，大幅簡(jiǎn)化了器件結(jié)構(gòu)的同時(shí)，有效提升了器件集成度，從而降低了成本和功耗，顯著提升了InfiniteHBD的性?xún)r(jià)比和系統(tǒng)可擴(kuò)展性。

同時(shí)采用Rail-Optimized拓?fù)?，針?duì)機(jī)架間通信優(yōu)化，通過(guò)3跳內(nèi)光纖直連實(shí)現(xiàn)流量局部化 ，AllReduce帶寬利用率提升至77.26%，接近理論極限。

InfinitePOD的核心價(jià)值在于將光通信技術(shù)與分布式架構(gòu)深度融合 ，通過(guò)“硬件簡(jiǎn)化+軟件智能”的設(shè)計(jì)理念，重新定義了高帶寬數(shù)據(jù)中心網(wǎng)絡(luò)。盡管當(dāng)前方案仍需解決長(zhǎng)距離光信號(hào)衰減和模塊功耗問(wèn)題，但其開(kāi)創(chuàng)性的設(shè)計(jì)已為下一代數(shù)據(jù)中心網(wǎng)絡(luò)指明方向——去中心化、軟硬協(xié)同、極致擴(kuò)展 。