一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Arm CPU適配通義千問Qwen3系列模型

Arm社區(qū) ? 來源:Arm社區(qū) ? 2025-05-12 16:37 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

近日,阿里巴巴開源了新一代通義千問模型 Qwen3,Arm 率先成為首批成功適配該模型的計算平臺廠商。與此同時,Arm 面向人工智能 (AI) 框架開發(fā)者的開源計算內(nèi)核 Arm KleidiAI 與阿里巴巴開源的輕量級深度學(xué)習(xí)框架 MNN 已深度集成。得益于此,Qwen3-0.6B、Qwen3-1.7B 及 Qwen3-4B 三款模型能夠在搭載 Arm 架構(gòu) CPU 的移動設(shè)備上無縫運行,為用戶提供卓越的端側(cè) AI 推理能力。

作為阿里巴巴最新開源的混合推理模型,Qwen3 在 AIME、LiveCodeBench 等權(quán)威評測集上斬獲了同尺寸開源模型 SOTA。其中,Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B 等三款模型兼具低功耗和高性能等優(yōu)勢,非常適合在移動端進(jìn)行部署。

在 AI 模型快速迭代、日新月異的當(dāng)下,開發(fā)者亟需一個具備可擴展性的通用技術(shù)底座,以便高效利用每一個新模型的優(yōu)勢。作為業(yè)界性能最強、能效最高的計算平臺,Arm 為開發(fā)者提供了無縫優(yōu)化其 AI 工作負(fù)載所需的卓越性能、能效、靈活性和可擴展性。Arm CPU 能滿足不斷發(fā)展的 AI 工作負(fù)載需求,是開發(fā)者的理想之選,它不僅能在模型推出時迅速實現(xiàn)適配與支持,還能隨著模型的演進(jìn),通過 Arm 異構(gòu)計算策略與 GPU、加速器及網(wǎng)絡(luò)技術(shù)的共生協(xié)作,實現(xiàn) AI 系統(tǒng)的最佳優(yōu)化。在此次阿里 Qwen3 模型推出后,運行結(jié)果顯示,Qwen3-0.6B、Qwen3-1.7B 及 Qwen3-4B 三款模型在基于 Arm 架構(gòu) CPU 的移動設(shè)備上,運行和響應(yīng)速度大幅提升,為終端用戶帶來了極致的 AI 推理能力。

雙方圍繞千問大模型持續(xù)緊密合作,今年三月,Arm 與阿里巴巴淘天集團(tuán)在搭載基于 Arm Cortex-X925 的旗艦移動系統(tǒng)級芯片 (SoC) 的智能設(shè)備上,通過 KleidiAI 與 MNN 的集成,模型預(yù)填充(指 AI 模型在生成響應(yīng)之前先對提示詞輸入進(jìn)行處理)性能提升了 57%,以及解碼(指處理提示詞后從 AI 模型生成文本的過程)性能提升了 28%。這一性能提升,使得運行在搭載 Arm CPU 上的通義千問 Qwen2-VL-2B-Instruct,其端側(cè)多模態(tài) AI 工作負(fù)載的性能顯著增進(jìn),帶來全新的用戶體驗!

展望未來,Arm 也將一如既往助力開發(fā)者在端側(cè)設(shè)備上提供更加復(fù)雜的多模態(tài)體驗,為新一輪智能計算浪潮奠定堅實基礎(chǔ),在 AI 的不斷演進(jìn)中,實現(xiàn)體驗的持續(xù)躍升!

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • ARM
    ARM
    +關(guān)注

    關(guān)注

    134

    文章

    9351

    瀏覽量

    377423
  • cpu
    cpu
    +關(guān)注

    關(guān)注

    68

    文章

    11077

    瀏覽量

    217025
  • 阿里巴巴
    +關(guān)注

    關(guān)注

    7

    文章

    1638

    瀏覽量

    48238
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3519

    瀏覽量

    50411

原文標(biāo)題:Arm CPU 精準(zhǔn)適配阿里 Qwen3 開源模型,實現(xiàn)卓越端側(cè) AI 推理能力

文章出處:【微信號:Arm社區(qū),微信公眾號:Arm社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    廣和通加速通義Qwen3在端側(cè)全面落地

    6月,廣和通宣布:率先完成通義Qwen3系列混合推理模型在高通QCS8550平臺端側(cè)的
    的頭像 發(fā)表于 06-25 15:35 ?321次閱讀

    壁仞科技完成Qwen3旗艦模型適配

    近日,在高效適配Qwen3系列模型推理后,壁仞科技宣布完成旗艦版Qwen3-235B-A22B模型
    的頭像 發(fā)表于 05-16 16:23 ?401次閱讀

    Intel OpenVINO? Day0 實現(xiàn)阿里通義 Qwen3 快速部署

    本文將以 Qwen3-8B 為例,介紹如何利用 OpenVINO 的 Python API 在英特爾平臺(GPU, NPU)Qwen3 系列模型。
    的頭像 發(fā)表于 05-11 11:36 ?846次閱讀
    Intel OpenVINO? Day0 實現(xiàn)阿里<b class='flag-5'>通義</b> <b class='flag-5'>Qwen3</b> 快速部署

    NVIDIA RTX 5880 Ada與Qwen3系列模型實測報告

    近日,阿里巴巴通義團(tuán)隊正式推出新一代開源大語言模型——Qwen3 系列,該
    的頭像 發(fā)表于 05-09 15:05 ?951次閱讀
    NVIDIA RTX 5880 Ada與<b class='flag-5'>Qwen3</b><b class='flag-5'>系列</b><b class='flag-5'>模型</b>實測報告

    NVIDIA使用Qwen3系列模型的最佳實踐

    阿里巴巴近期發(fā)布了其開源的混合推理大語言模型 (LLM) 通義 Qwen3,此次 Qwen3
    的頭像 發(fā)表于 05-08 11:45 ?1235次閱讀
    NVIDIA使用<b class='flag-5'>Qwen3</b><b class='flag-5'>系列</b><b class='flag-5'>模型</b>的最佳實踐

    MediaTek天璣9400率先完成阿里Qwen3模型部署

    通義模型團(tuán)隊在天璣 9400 旗艦移動平臺上率先完成 Qwen3 3)的端側(cè)部署。未來,
    的頭像 發(fā)表于 05-08 10:11 ?482次閱讀

    后摩智能NPU適配通義Qwen3系列模型

    近日,阿里云重磅推出Qwen3 系列開源混合推理模型。用時不到1天,后摩智能自研NPU迅速實現(xiàn)Qwen3 系列
    的頭像 發(fā)表于 05-07 16:46 ?549次閱讀

    寒武紀(jì)率先支持Qwen3系列模型

    近日,阿里Qwen團(tuán)隊一口氣上新8大模型,Qwen3正式發(fā)布并全部開源。
    的頭像 發(fā)表于 05-07 15:51 ?401次閱讀

    在openEuler上基于vLLM Ascend部署Qwen3

    近日,阿里巴巴正式發(fā)布新一代Qwen大語言模型系列Qwen3Qwen3-MoE),在模型規(guī)模
    的頭像 發(fā)表于 05-07 14:44 ?646次閱讀
    在openEuler上基于vLLM Ascend部署<b class='flag-5'>Qwen3</b>

    幾B都有!BM1684X一鍵適配系列Qwen3

    Qwen3發(fā)布,大小尺寸通吃Qwen3一發(fā)布,登頂開源大模型排行榜!235B、32B、8B、4B、1.7B云邊端全尺寸模型,BF16和FP8兩種精度,一次性發(fā)布,無論云端大卡還是邊緣A
    的頭像 發(fā)表于 04-30 18:37 ?562次閱讀
    幾B都有!BM1684X一鍵<b class='flag-5'>適配</b>全<b class='flag-5'>系列</b><b class='flag-5'>Qwen3</b>

    上新:小米首個推理大模型開源 馬斯克:下周推出Grok 3.5

    似乎國內(nèi)外AI競爭日趨白熱化,就在阿里巴巴發(fā)布Qwen3通義3)之后,引發(fā)業(yè)界廣泛關(guān)注;很多大廠在跟進(jìn),大
    的頭像 發(fā)表于 04-30 16:08 ?790次閱讀

    壁仞科技完成阿里巴巴通義Qwen3系列模型支持

    4月29日,阿里巴巴通義發(fā)布并開源8款新版Qwen3系列“混合推理模型”(簡稱“
    的頭像 發(fā)表于 04-30 15:19 ?744次閱讀

    阿里通義代碼模型系列開源

    近日,阿里云通義模型團(tuán)隊宣布了一項重大決策:將通義代碼模型
    的頭像 發(fā)表于 11-14 15:26 ?984次閱讀

    通義三款主力模型再降價

    阿里云百煉平臺再次掀起降價風(fēng)暴,三款通義主力模型——Qwen-Turbo、Qwen-Plus
    的頭像 發(fā)表于 09-20 16:46 ?1523次閱讀

    通義發(fā)布第二代視覺語言模型Qwen2-VL

    阿里巴巴旗下的通義近日宣布,其第二代視覺語言模型Qwen2-VL正式問世,并宣布旗艦模型
    的頭像 發(fā)表于 09-03 16:31 ?857次閱讀