“芯合”異構混合并行訓練系統(tǒng)1.0發(fā)布
近日，中國移動研究院副院長段曉東攜手天數(shù)智芯、壁仞科技、中興、海光、瀚博等一眾產(chǎn)業(yè)合作伙伴，共同推出了“芯合”異構混合并行訓練系統(tǒng)1.0版本。
該系統(tǒng)具備兩大核心能力，首先是基于非均勻計算任務切分ITD(Inhomogeneous Task Distribution)算法的3D并行策略。該策略利用通用混合訓練框架，實現(xiàn)了異構數(shù)據(jù)并行和異構流水線并行，能夠靈活應對各種復雜的計算任務。通過這一技術，系統(tǒng)能夠根據(jù)異構算力的特點，自適應地調(diào)整數(shù)據(jù)微批次大小、數(shù)量以及流水線并行度等參數(shù)，從而充分發(fā)揮不同計算單元的性能優(yōu)勢。
其次，“芯合”系統(tǒng)還采用了基于GDR(GPU Direct RDMA)的異構芯片高速通信技術。這一技術為異構芯片之間的數(shù)據(jù)傳輸提供了高速通道，極大地提升了數(shù)據(jù)傳輸效率，從而進一步提升了系統(tǒng)的整體性能。
“芯合”異構混合并行訓練系統(tǒng)1.0的發(fā)布，標志著中國移動及其合作伙伴在異構計算領域取得了重要突破，為未來的高性能計算和人工智能應用提供了更加高效和靈活的訓練平臺。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
通信技術
+關注
關注
20文章
1154瀏覽量
93257 -
數(shù)據(jù)
+關注
關注
8文章
7256瀏覽量
91867 -
中國移動
+關注
關注
22文章
5627瀏覽量
73341 -
人工智能
+關注
關注
1806文章
49021瀏覽量
249487
發(fā)布評論請先 登錄
相關推薦
熱點推薦
炬芯科技助力榮耀手環(huán)10發(fā)布
近日，榮耀舉辦全場景新品發(fā)布會，正式推出新一代智能穿戴產(chǎn)品——榮耀手環(huán)10。該產(chǎn)品搭載炬芯科技ATS3085L雙模藍牙智能手表SoC芯片。炬芯ATS3085L是一款雙模藍牙智能手表SoC芯片，采用
米爾瑞芯微多核異構低功耗RK3506核心板重磅發(fā)布
近日，米爾電子發(fā)布MYC-YR3506核心板和開發(fā)板，基于國產(chǎn)新一代入門級工業(yè)處理器瑞芯微RK3506，這款芯片采用三核Cortex-A7+單核Cortex-M0多核異構設計，不僅擁有豐富的工業(yè)接口
發(fā)表于 05-16 17:20
摩爾線程GPU原生FP8計算助力AI訓練
近日，摩爾線程正式開源MT-MegatronLM與MT-TransformerEngine兩大AI框架。通過深度融合FP8混合訓練策略和高性能算子庫，這兩大框架在國產(chǎn)全功能GPU上實現(xiàn)了高效的混合并行
先楫半導體HPM_SDK v1.7.0發(fā)布！這些更新你值得關注！
先楫半導體HPM_SDK v1.7.0發(fā)布！這些更新你值得關注！
全國首個異構人形機器人訓練場啟用
全國首個異構人形機器人訓練場在上海浦東的張江模力社區(qū)正式啟用。這一具有里程碑意義的事件，為我國人形機器人產(chǎn)業(yè)的發(fā)展注入了強大動力。 該訓練場由國家地方共建人形機器人創(chuàng)新中心建設，面積超5000平
壁仞科技聯(lián)合中國電信等合作伙伴共同發(fā)布智算異構四芯混訓解決方案
工智能實驗室等發(fā)布了“智算異構四芯混訓解決方案”，打造算力、網(wǎng)絡、平臺、通信庫、框架全棧異構方案，實現(xiàn)異構算力的互聯(lián)互通、互調(diào)互算，基于壁仞
壁仞科技、中國移動等發(fā)布“芯合”異構混合并行訓練系統(tǒng)1.0
近日，備受矚目的“2024中國信息通信大會暨中國通信學會學術年會”在四川成都順利舉行。此屆大會以“科技領航創(chuàng)新，產(chǎn)業(yè)共筑未來”為主題，聚集了來自“政產(chǎn)學研用”各方代表，集中展示算力及網(wǎng)絡通信領域的最新研究成果。
谷歌計劃12月發(fā)布Gemini 2.0模型
近日，有消息稱谷歌計劃在12月發(fā)布其下一代人工智能模型——Gemini 2.0。這一消息引發(fā)了業(yè)界的廣泛關注，因為谷歌在人工智能領域一直保持著領先地位，而Gemini系列模型更是其重要的產(chǎn)品之一。
混合鍵合，成為“芯”寵
要求，傳統(tǒng)互聯(lián)技術如引線鍵合、倒裝芯片鍵合和硅通孔（TSV）鍵合等，正逐步顯露其局限。在這種背景下，混合鍵合技術以其革命性的互聯(lián)潛力，正成為
打造異構計算新標桿！國數(shù)集聯(lián)發(fā)布首款CXL混合資源池參考設計
、FPGA等多類異構資源的系統(tǒng)性融合，為特定應用提供高效、靈活的加速平臺。 國數(shù)集聯(lián)CXL混合資源池（CHRP） CHRP內(nèi)部提供8個
此芯科技發(fā)布“此芯P1”異構高能效芯片，引領AI PC新紀元
近日，此芯科技集團有限公司（簡稱“此芯科技”）在上海隆重舉辦了AI PC戰(zhàn)略發(fā)布會，正式揭曉了其首款創(chuàng)新力作——“此芯P1”異構高能效芯片。
6nm異構多核！國內(nèi)首款Arm架構AI PC處理器此芯P1發(fā)布
計算平臺因此得到了廣泛的關注。現(xiàn)在，國內(nèi)公司也完成了Arm架構AI PC處理器“破冰”，開始揚帆啟航。 ? 7月30日，在以“從此芯出發(fā)”為主題的此芯科技AI PC戰(zhàn)略暨首款芯片發(fā)布會上，此芯
安謀科技異構算力賦能AI計算，此芯科技首款AI PC芯片發(fā)布
7月30日，此芯科技集團有限公司（以下簡稱“此芯科技”）AI PC戰(zhàn)略暨首款芯片發(fā)布會在上海舉行，正式推出了其首款專為AI PC打造的異構高能效芯片產(chǎn)品——“此
發(fā)表于 07-31 14:36
?1320次閱讀
工商網(wǎng)監(jiān)
評論