焱融科技借助 NVIDIA Quantum InfiniBand 技術(shù)推出了追光 F8000X 全閃分布式文件存儲(chǔ)一體機(jī), 為 HPC / AI 計(jì)算提供高效、靈活、經(jīng)濟(jì)的解決方案。

InfiniBand 技術(shù)正在不斷創(chuàng)造更高的數(shù)據(jù)吞吐量記錄，目前 200Gbps 網(wǎng)絡(luò)已經(jīng)普及，400Gbps 緊隨其后。同時(shí)，還可以通過(guò) multi-path 技術(shù)將多網(wǎng)卡帶寬性能聚合。原生支持 RDMA 技術(shù)，在保證高帶寬輸出的基礎(chǔ)上，大大降低數(shù)據(jù)訪問(wèn)延遲，為高性能計(jì)算、人工智能、云計(jì)算、存儲(chǔ)等眾多數(shù)據(jù)密集型應(yīng)用提供了強(qiáng)大的網(wǎng)絡(luò)性能支撐。

焱融科技借助 NVIDIA Quantum InfiniBand 技術(shù)推出了追光 F8000X 全閃分布式文件存儲(chǔ)一體機(jī)產(chǎn)品 ? 通過(guò)結(jié)合 InfiniBand 技術(shù)和追光 F8000X 針對(duì)海量小文件、高并發(fā)訪問(wèn)等方面的優(yōu)化設(shè)計(jì)，獲得了超高性能的表現(xiàn)。同時(shí)，得益于分布式存儲(chǔ)架構(gòu)和數(shù)據(jù)智能分層功能，實(shí)現(xiàn)了彈性空間擴(kuò)展，并有效平衡數(shù)據(jù)存儲(chǔ)成本。

傳統(tǒng)存儲(chǔ)方案面臨

存儲(chǔ)空間浪費(fèi)和成本上升的挑戰(zhàn)

隨著 GPT-3 技術(shù)的快速發(fā)展，焱融科技的一位高科技企業(yè)客戶的 AI 訓(xùn)練平臺(tái)突破了百億數(shù)據(jù)規(guī)模，面臨著如何保證在訓(xùn)練過(guò)程中，海量小文件的處理性能和大量客戶端高并發(fā)下的存儲(chǔ)并行訪問(wèn)能力等問(wèn)題。

目前，傳統(tǒng)存儲(chǔ)方案普遍存在以下幾個(gè)問(wèn)題：

難以解決海量小文件。

處理過(guò)程中呈現(xiàn)性能低下的狀態(tài)。

需要堆疊大量的存儲(chǔ)節(jié)點(diǎn)才能滿足高并發(fā)帶寬訪問(wèn)需求。

因此，造成了嚴(yán)重的存儲(chǔ)空間浪費(fèi)并導(dǎo)致成本的提升，在此情況下，該企業(yè)客戶迫切希望提升模型迭代速度，并盡可能縮短結(jié)果產(chǎn)出周期。

NVIDIA Quantum InfiniBand?

助力焱融追光F8000X 構(gòu)建高性能人工智能數(shù)據(jù)平臺(tái)

針對(duì)用戶的需求痛點(diǎn)，焱融科技提出了性能與成本兼顧的解決方案 ? 焱融追光 F8000X 解決方案，基于高性能分布式并行文件存儲(chǔ)系統(tǒng) YRCloudFile ，結(jié)合 NVMe SSD 、InfiniBand 高速網(wǎng)絡(luò)，在充分釋放性能的同時(shí)，實(shí)現(xiàn)系統(tǒng)隨著業(yè)務(wù)需求動(dòng)態(tài)增加節(jié)點(diǎn)數(shù)量，使得存儲(chǔ)容量和存儲(chǔ)性能都以線性方式增長(zhǎng)。

NVIDIA Quantum InfiniBand 作為業(yè)內(nèi)領(lǐng)先、性能卓越的網(wǎng)絡(luò)平臺(tái)，為 AI 、數(shù)據(jù)分析和高性能計(jì)算（HPC）應(yīng)用提供高性能、高可靠，以及超低時(shí)延的網(wǎng)絡(luò)連接能力。因此，NVIDIA Quantum InfiniBand 成為焱融追光 F8000X 的首選網(wǎng)絡(luò)解決方案。

焱融追光 F8000X 通過(guò) NVIDIA Quantum InfiniBand 在 GPU 計(jì)算服務(wù)器和存儲(chǔ)設(shè)備之間構(gòu)建的高帶寬和低延遲數(shù)據(jù)傳輸網(wǎng)絡(luò)，以滿足數(shù)據(jù)密集型應(yīng)用系統(tǒng)的網(wǎng)絡(luò)性能要求。對(duì)于存儲(chǔ)網(wǎng)絡(luò)，采用雙 HDR 200Gbps InfiniBand 網(wǎng)卡，通過(guò) multi-path 實(shí)現(xiàn)網(wǎng)卡聚合，理論可提供高達(dá) 400Gbps 的帶寬性能，并支持 RDMA 技術(shù)，保證高帶寬輸出的同時(shí)，大幅度降低了數(shù)據(jù)訪問(wèn)延遲。

通過(guò)追光 F8000X 所具備的海量小文件、高并發(fā)訪問(wèn)等特點(diǎn)，以及智能分層功能將冷數(shù)據(jù)自動(dòng)下沉到本地對(duì)象存儲(chǔ)，有效解決平衡數(shù)據(jù)存儲(chǔ)成本和空間擴(kuò)展的問(wèn)題。

審核編輯：湯梓紅