一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Arm Kleidi助力輕松加速AI工作負(fù)載

Arm社區(qū) ? 來(lái)源:Arm社區(qū) ? 2025-06-19 10:45 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

正如 Arm 工程部軟件高級(jí)副總裁 Mark Hambleton 在《2025 年芯片新思維》報(bào)告中所說(shuō):人工智能 (AI) 的未來(lái)發(fā)展離不開(kāi)軟硬件的協(xié)同。

然而,在由 Arm 贊助的新 CIO 報(bào)告中所述,開(kāi)發(fā)者工作流程的碎片化限制了開(kāi)發(fā)者創(chuàng)建和擴(kuò)展新 AI 應(yīng)用的速度,而這也是目前其所面臨的最大挑戰(zhàn)之一。

Arm 深知軟件對(duì)于釋放 AI 的真正潛力至關(guān)重要,因而從基礎(chǔ)架構(gòu)和整個(gè)技術(shù)棧入手,致力于簡(jiǎn)化 AI 開(kāi)發(fā)流程,并支持新 AI 應(yīng)用和工作負(fù)載實(shí)現(xiàn)無(wú)縫性能加速。

基礎(chǔ)架構(gòu)

Arm 持續(xù)發(fā)展自身架構(gòu),作為軟硬件之間的重要接口。如今,從云端到邊緣側(cè)的廣泛市場(chǎng)中,Armv9 架構(gòu)已成為智能手機(jī)、數(shù)據(jù)中心、高性能計(jì)算和汽車應(yīng)用等領(lǐng)域的現(xiàn)代技術(shù)基礎(chǔ)。

Arm 不斷為最新的架構(gòu)引入新的功能,例如此前推出的可伸縮矩陣擴(kuò)展 (SME) 和可伸縮向量擴(kuò)展 (SVE2),有助于在各類應(yīng)用中加速生成式 AI 和常見(jiàn)機(jī)器學(xué)習(xí) (ML) 工作負(fù)載。SME 借由在通用指令集中引入復(fù)雜矩陣處理能力,使開(kāi)發(fā)者能夠在其 AI 應(yīng)用中實(shí)現(xiàn)出眾性能,并無(wú)縫遷移到不同的生態(tài)系統(tǒng)。由此不僅擴(kuò)大了運(yùn)行 AI 工作負(fù)載的硬件范圍,還顯著提升了用戶體驗(yàn)。

CPU 對(duì)開(kāi)發(fā)者的價(jià)值

上述架構(gòu)特性都集成到了 Arm 的 CPU 中,使之成為軟件開(kāi)發(fā)者首選的目標(biāo)平臺(tái)。因?yàn)?Arm CPU 廣泛應(yīng)用于從云端到邊緣側(cè)的各種應(yīng)用,適合作為大多數(shù) AI 推理工作負(fù)載的直接目標(biāo)平臺(tái),被廣泛應(yīng)用于數(shù)十億臺(tái)設(shè)備中,例如當(dāng)今的智能手機(jī),以及全球的云端和數(shù)據(jù)中心。通過(guò)選擇 Arm CPU 作為目標(biāo)平臺(tái),開(kāi)發(fā)者能夠以更多類型的數(shù)據(jù)格式運(yùn)行更廣泛的軟件,而無(wú)需為專用 NPU 開(kāi)發(fā)多個(gè)版本的代碼。

CPU 為開(kāi)發(fā)者提供了所需的一致性,避免了定制硬件解決方案所帶來(lái)的碎片化和效率低下。

正如 Hambleton 在《2025 年芯片新思維》報(bào)告中指出:AI 框架的互操作性是開(kāi)發(fā)者的核心訴求。因此開(kāi)發(fā)者通常默認(rèn)選擇 CPU 后端,因?yàn)?CPU 的普遍性確保了更廣泛的兼容性。

此外,推動(dòng) AI 工作負(fù)載擴(kuò)展的因素不僅限于架構(gòu)的進(jìn)步。

在 CIO 報(bào)告中,Arm 工程部機(jī)器學(xué)習(xí)工程副總裁 Nick Horne 表示,AI 已經(jīng)從依賴云端的龐大模型演變?yōu)榭稍谶吘墏?cè)或端側(cè)運(yùn)行的更小、更高效的模型。他指出:如今,有些出色的模型可在你隨身攜帶的設(shè)備上運(yùn)行并提供高質(zhì)量的結(jié)果,某些情況下甚至能夠完全在 CPU 上運(yùn)行。

對(duì)開(kāi)源不變的承諾

Arm 與開(kāi)源社區(qū)廣泛合作,致力于推動(dòng) AI 的普及,為開(kāi)發(fā)者提供便捷途徑,使開(kāi)發(fā)者能夠輕松獲取來(lái)自廣泛 Arm 生態(tài)系統(tǒng)合作伙伴的硬件,及時(shí)利用其中的最新架構(gòu)特性和性能。

Horne 在 CIO 報(bào)告中強(qiáng)調(diào)了這一方法為開(kāi)發(fā)者帶來(lái)的優(yōu)勢(shì)。他指出:采用具有良好硬件抽象的開(kāi)源 AI 框架,能夠顯著避免對(duì)靈活性的影響。

如此一來(lái),開(kāi)發(fā)者無(wú)需受限于特定硬件、云服務(wù)提供商或軟件平臺(tái)。

Kleidi 助力輕松加速 AI

Arm Kleidi 很好地體現(xiàn)了上述優(yōu)勢(shì)的實(shí)際應(yīng)用效果。Kleidi 提供開(kāi)發(fā)者支持技術(shù)、資源和微內(nèi)核庫(kù),能夠?yàn)樵?Arm CPU 上運(yùn)行的模型輕松實(shí)現(xiàn) AI 工作負(fù)載加速。由于 Kleidi 庫(kù)已集成到主流的開(kāi)源 AI 框架和運(yùn)行時(shí)中,包括 Google 的 MediaPipe、Meta 的 ExecuTorch 和 PyTorch、llama.cpp,騰訊的 Angel,以及阿里巴巴的 MNN。開(kāi)發(fā)者無(wú)需額外工作即可獲得性能優(yōu)化,從而節(jié)省時(shí)間、精力和成本。Kleidi 現(xiàn)已集成至 Arm 技術(shù)覆蓋的所有市場(chǎng),包括移動(dòng)端、云、數(shù)據(jù)中心、汽車和物聯(lián)網(wǎng)領(lǐng)域。

與行業(yè)領(lǐng)先的生態(tài)系統(tǒng)合作

從更廣泛的層面來(lái)看,Arm 通過(guò)行業(yè)領(lǐng)先的軟件生態(tài)系統(tǒng),與眾多合作伙伴開(kāi)展協(xié)作,致力于安全、大規(guī)模地部署 AI。例如,Arm 與 GitHub 就 GitHub Runners 項(xiàng)目開(kāi)展合作,使開(kāi)發(fā)者能夠更高效地在云端測(cè)試和部署訓(xùn)練好的模型。近期,面向 GitHub CoPilot 的 Arm 擴(kuò)展程序?yàn)殚_(kāi)發(fā)者提供了完全集成的原生 Arm 工作流,包括準(zhǔn)確的代碼生成、測(cè)試用例創(chuàng)建和錯(cuò)誤修復(fù)功能。

此外,Arm 還通過(guò)各種舉措推動(dòng)底層軟件和固件部署的簡(jiǎn)化和加速,實(shí)現(xiàn)順暢的軟件開(kāi)發(fā)。Linaro OneLab、Trusted Firmware 和 PSA Certified 等項(xiàng)目促進(jìn)了各方協(xié)作,并為快速發(fā)展的邊緣側(cè) AI 和高性能物聯(lián)網(wǎng)領(lǐng)域的安全軟件部署和支持提供了藍(lán)圖。在汽車行業(yè),Arm 發(fā)起的面向嵌入式邊緣的可擴(kuò)展開(kāi)放架構(gòu) (SOAFEE) 致力于提供基于標(biāo)準(zhǔn)的框架,以實(shí)現(xiàn)軟件的規(guī)?;瘡?fù)用,從而縮短開(kāi)發(fā)周期,滿足了軟件定義汽車 (SDV) 應(yīng)用中對(duì)更多 AI 的空前需求,同時(shí)提升了駕駛體驗(yàn)。

開(kāi)放標(biāo)準(zhǔn)推動(dòng)創(chuàng)新

最后,缺乏標(biāo)準(zhǔn)化實(shí)踐可能會(huì)阻礙創(chuàng)新,并可能在未來(lái)給開(kāi)發(fā)者制造復(fù)雜難題。開(kāi)放標(biāo)準(zhǔn)使開(kāi)發(fā)者和研究人員可以在不同平臺(tái)之間無(wú)縫切換,同時(shí)專注于訓(xùn)練、量化和部署,通過(guò)模型的持續(xù)創(chuàng)新創(chuàng)造價(jià)值。

借助軟件加速 AI 創(chuàng)新

為了讓 AI 技術(shù)充分發(fā)揮潛力,軟件開(kāi)發(fā)流程需要簡(jiǎn)化、加速并開(kāi)放。Arm 技術(shù)及其生態(tài)系統(tǒng)通過(guò)專注于開(kāi)放標(biāo)準(zhǔn)、硬件抽象并與不斷演變的框架保持兼容,助力實(shí)現(xiàn)面向未來(lái)的 AI 開(kāi)發(fā)。開(kāi)發(fā)者因而能夠在不同硬件上無(wú)縫創(chuàng)建和部署 AI 應(yīng)用、模型和工作負(fù)載并提升性能,從而基于 Arm 平臺(tái)為 AI 時(shí)代打造更優(yōu)質(zhì)的軟件。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • ARM
    ARM
    +關(guān)注

    關(guān)注

    134

    文章

    9353

    瀏覽量

    377624
  • cpu
    cpu
    +關(guān)注

    關(guān)注

    68

    文章

    11080

    瀏覽量

    217116
  • AI
    AI
    +關(guān)注

    關(guān)注

    88

    文章

    35164

    瀏覽量

    280015

原文標(biāo)題:選對(duì)運(yùn)用軟件的方法,使 AI 創(chuàng)新如虎添翼

文章出處:【微信號(hào):Arm社區(qū),微信公眾號(hào):Arm社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    Banana Pi 發(fā)布 BPI-AI2N & BPI-AI2N Carrier,助力 AI 計(jì)算與嵌入式開(kāi)發(fā)

    架構(gòu),賦能多場(chǎng)景應(yīng)用 BPI-AI2N 采用 RZ/V2N 處理器,集成 4 核 Arm? Cortex?-A55(1.8GHz)與 Cortex?-M33(200MHz),提供強(qiáng)勁的計(jì)算能力,同時(shí)兼顧
    發(fā)表于 03-19 17:54

    Oracle 與 NVIDIA 合作助力企業(yè)加速代理式 AI 推理

    Oracle 數(shù)據(jù)庫(kù)與 NVIDIA AI 相集成,使企業(yè)能夠更輕松、快捷地采用代理式 AI ? ? ? 美國(guó)加利福尼亞州圣何塞 —— GTC? —— 2025 年 3 月 18 日
    發(fā)表于 03-19 15:24 ?358次閱讀
    Oracle 與 NVIDIA 合作<b class='flag-5'>助力</b>企業(yè)<b class='flag-5'>加速</b>代理式 <b class='flag-5'>AI</b> 推理

    Arm Kleidi擴(kuò)展到汽車市場(chǎng) Arm Kleidi實(shí)現(xiàn)性能自動(dòng)優(yōu)化

    Arm 控股有限公司(納斯達(dá)克股票代碼:ARM,以下簡(jiǎn)稱“Arm”)近日宣布將 Arm Kleidi 技術(shù)擴(kuò)展到汽車市場(chǎng)。
    的頭像 發(fā)表于 03-14 15:36 ?1007次閱讀

    Arm Cortex-A320 CPU助力嵌入式設(shè)備實(shí)現(xiàn)高能效AI計(jì)算

    Arm Cortex-A320 是目前最小型的 Armv9-A 架構(gòu) CPU。得益于該處理器的推出,開(kāi)發(fā)者現(xiàn)在能有更多選擇決定如何處理物聯(lián)網(wǎng)邊緣人工智能 (AI) 工作負(fù)載。然而,面對(duì)
    的頭像 發(fā)表于 02-27 17:17 ?762次閱讀
    <b class='flag-5'>Arm</b> Cortex-A320 CPU<b class='flag-5'>助力</b>嵌入式設(shè)備實(shí)現(xiàn)高能效<b class='flag-5'>AI</b>計(jì)算

    Arm技術(shù)助力Google Axion處理器加速AI工作負(fù)載推理

    Arm Neoverse V2 平臺(tái)賦能的 Google Axion 處理器已在 Google Cloud 上正式上線,其中,C4A 是首款基于 Axion 的云虛擬機(jī),為基于 CPU 的人工智能 (AI) 推理和通用云工作
    的頭像 發(fā)表于 02-14 14:11 ?509次閱讀
    <b class='flag-5'>Arm</b>技術(shù)<b class='flag-5'>助力</b>Google Axion處理器<b class='flag-5'>加速</b><b class='flag-5'>AI</b><b class='flag-5'>工作</b><b class='flag-5'>負(fù)載</b>推理

    HPC工作負(fù)載管理的關(guān)鍵要素

    HPC工作負(fù)載管理是一個(gè)復(fù)雜而精細(xì)的過(guò)程,涉及資源分配、作業(yè)調(diào)度、性能監(jiān)控與優(yōu)化以及故障處理與恢復(fù)等多個(gè)關(guān)鍵要素。下面,AI部落小編帶您了解HPC工作
    的頭像 發(fā)表于 02-08 09:53 ?329次閱讀

    亞馬遜云科技發(fā)布Amazon Q Developer,助力工作負(fù)載轉(zhuǎn)型

    在近日舉行的2024亞馬遜云科技re:Invent全球大會(huì)上,一項(xiàng)旨在加速大規(guī)模傳統(tǒng)工作負(fù)載轉(zhuǎn)型的新功能——Amazon Q Developer,正式亮相。這款功能強(qiáng)大的軟件開(kāi)發(fā)生成式人工智能(
    的頭像 發(fā)表于 12-26 11:32 ?632次閱讀

    利用Arm Kleidi技術(shù)實(shí)現(xiàn)PyTorch優(yōu)化

    PyTorch 是一個(gè)廣泛應(yīng)用的開(kāi)源機(jī)器學(xué)習(xí) (ML) 庫(kù)。近年來(lái),Arm 與合作伙伴通力協(xié)作,持續(xù)改進(jìn) PyTorch 的推理性能。本文將詳細(xì)介紹如何利用 Arm Kleidi 技術(shù)提升 A
    的頭像 發(fā)表于 12-23 09:19 ?1060次閱讀
    利用<b class='flag-5'>Arm</b> <b class='flag-5'>Kleidi</b>技術(shù)實(shí)現(xiàn)PyTorch優(yōu)化

    Arm KleidiAI助力提升PyTorch上LLM推理性能

    熱門(mén)的深度學(xué)習(xí)框架尤為突出,許多企業(yè)均會(huì)選擇其作為開(kāi)發(fā) AI 應(yīng)用的庫(kù)。通過(guò)部署 Arm Kleidi 技術(shù),Arm 正在努力優(yōu)化 PyTorch,以
    的頭像 發(fā)表于 12-03 17:05 ?1490次閱讀
    <b class='flag-5'>Arm</b> KleidiAI<b class='flag-5'>助力</b>提升PyTorch上LLM推理性能

    Arm Neoverse如何加速實(shí)現(xiàn)AI數(shù)據(jù)中心

    在快速演進(jìn)的云計(jì)算和人工智能 (AI) 時(shí)代,企業(yè)需要能助力其優(yōu)化性能、降低成本并在市場(chǎng)競(jìng)爭(zhēng)中保持領(lǐng)先的方法。Arm Neoverse 已成為眾多前沿企業(yè)的選擇,他們希望在推動(dòng)創(chuàng)新的同時(shí),能夠顯著
    的頭像 發(fā)表于 11-26 09:30 ?686次閱讀

    Arm推出GitHub平臺(tái)AI工具,簡(jiǎn)化開(kāi)發(fā)者AI應(yīng)用開(kāi)發(fā)部署流程

    專為 GitHub Copilot 設(shè)計(jì)的 Arm 擴(kuò)展程序,可加速從云到邊緣側(cè)基于 Arm 平臺(tái)的開(kāi)發(fā)。 Arm 原生運(yùn)行器為部署云原生、Windows on
    的頭像 發(fā)表于 10-31 18:51 ?3330次閱讀

    Arm全面設(shè)計(jì)助力Arm架構(gòu)生態(tài)發(fā)展

    ,通過(guò)該生態(tài)項(xiàng)目,Arm、三星晶圓代工廠 (Samsung Foundry)、ADTechnology 和 Rebellions 正在聯(lián)手向市場(chǎng)推出人工智能 (AI) CPU 芯粒 (chiplet) 平臺(tái),面向云、高性能計(jì)算 (HPC) 以及
    的頭像 發(fā)表于 10-21 09:58 ?834次閱讀

    Arm Kleidi加速AI發(fā)展

    在持續(xù)快速發(fā)展的人工智能 (AI) 時(shí)代,我們堅(jiān)定地支持全球數(shù)百萬(wàn)開(kāi)發(fā)者,確保他們能夠獲得所需的性能、工具和軟件庫(kù),從而順利打造下一波令人驚嘆的 AI 體驗(yàn)。
    的頭像 發(fā)表于 09-14 09:46 ?733次閱讀

    Arm KleidiAI軟件庫(kù)的功能解析

    推出了 Arm Kleidi,這是一項(xiàng)廣泛的軟件和軟件社區(qū)參與計(jì)劃,旨在加速 AI 發(fā)展。其中的第一個(gè)舉措是推出面向熱門(mén) AI 框架的
    的頭像 發(fā)表于 09-05 15:41 ?944次閱讀
    <b class='flag-5'>Arm</b> KleidiAI軟件庫(kù)的功能解析

    使用Arm KleidiCV開(kāi)源庫(kù)加速圖像處理性能

    對(duì)于在云端及邊緣等環(huán)境中運(yùn)行的數(shù)百萬(wàn)個(gè)人工智能 (AI) 工作負(fù)載,以及各類需要理解攝像頭和視頻數(shù)據(jù)的 AI 應(yīng)用來(lái)說(shuō),計(jì)算機(jī)視覺(jué) (CV) 都在其中起著關(guān)鍵作用。
    的頭像 發(fā)表于 09-03 11:32 ?2615次閱讀
    使用<b class='flag-5'>Arm</b> KleidiCV開(kāi)源庫(kù)<b class='flag-5'>加速</b>圖像處理性能