近日,騰訊正式開源基于專家混合(MoE)架構(gòu)的大語言模型混元-A13B。同日,摩爾線程團(tuán)隊(duì)?wèi){借技術(shù)前瞻性,率先完成該模型在全功能GPU的深度適配與高效支持。這一成果充分彰顯了MUSA架構(gòu)在大模型生態(tài)中的卓越兼容性與快速響應(yīng)能力——MUSA架構(gòu)的高易用性設(shè)計(jì),能夠顯著減少開發(fā)者在模型適配遷移過程中的技術(shù)投入,大幅提升開發(fā)效率,為AI創(chuàng)新成果的快速工程化落地構(gòu)建了堅(jiān)實(shí)的底層技術(shù)支撐。
作為業(yè)界首個(gè)13B級(jí)別的MoE開源混合推理模型,混元-A13B(Hunyuan-A13B)總參數(shù)量達(dá)800億,激活參數(shù)為130億,不僅在效果上達(dá)到了高標(biāo)準(zhǔn),而且在尺寸上也做到了極致的優(yōu)化,成功平衡了模型性能與資源占用。
從混元官方發(fā)布的benchmark測試結(jié)果來看:Hunyuan-A13B在多個(gè)代碼和數(shù)學(xué)任務(wù)上都取得了最高分?jǐn)?shù)。在MMLU、MMLU-PRO等諸多眾聚合任務(wù)上,Hunyuan-A13B達(dá)到了與Qwen3-A22B模型同等的水平,表現(xiàn)出優(yōu)秀的綜合能力。
摩爾線程積極響應(yīng)開源社區(qū)的號(hào)召,旨在賦能更多開發(fā)者基于國產(chǎn)全功能GPU進(jìn)行AI應(yīng)用創(chuàng)新。此前,摩爾線程在深度求索DeepSeek、通義千問QwQ-32B和Qwen3等模型的發(fā)布當(dāng)日,就成功實(shí)現(xiàn)了Day-0支持,這一成果充分驗(yàn)證了先進(jìn)MUSA架構(gòu)和全功能GPU的技術(shù)成熟度與可靠性。
摩爾線程始終致力于推動(dòng)開源生態(tài)的發(fā)展,通過技術(shù)開放與生態(tài)共建,加速國產(chǎn)全功能GPU在AI計(jì)算領(lǐng)域的規(guī)?;瘧?yīng)用,為更多用戶提供更智能、高效的解決方案。
關(guān)于摩爾線程
摩爾線程成立于2020年10月,以全功能GPU為核心,致力于向全球提供加速計(jì)算的基礎(chǔ)設(shè)施和一站式解決方案,為各行各業(yè)的數(shù)智化轉(zhuǎn)型提供強(qiáng)大的AI計(jì)算支持。
我們的目標(biāo)是成為具備國際競爭力的GPU領(lǐng)軍企業(yè),為融合人工智能和數(shù)字孿生的數(shù)智世界打造先進(jìn)的加速計(jì)算平臺(tái)。我們的愿景是為美好世界加速。
-
gpu
+關(guān)注
關(guān)注
28文章
4949瀏覽量
131271 -
摩爾線程
+關(guān)注
關(guān)注
2文章
235瀏覽量
5373 -
大模型
+關(guān)注
關(guān)注
2文章
3146瀏覽量
4076
原文標(biāo)題:Day-0支持|摩爾線程率先支持混元-A13B模型
文章出處:【微信號(hào):moorethreads,微信公眾號(hào):摩爾線程】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評(píng)論請先 登錄
摩爾線程GPU率先支持Qwen3全系列模型
摩爾線程支持阿里云通義千問QwQ-32B開源模型

評(píng)論