AI推理框架軟件ONNX Runtime正式支持龍架構
近日，知名AI推理框架開源社區(qū)ONNX Runtime正式發(fā)布支持龍架構的版本1.17.0。今后，用戶可以直接使用ONNX Runtime開源社區(qū)發(fā)布的版本在龍芯平臺完成AI推理類應用的開發(fā)和部署，標志著龍架構軟件生態(tài)得到進一步完善。
ONNX Runtime（ORT）是近年來興起的AI推理框架軟件，被大量AI應用作為基礎AI推理引擎。ORT可支持PyTorch、Tensorflow、TFLite等多種格式的模型輸入，以及CPU、GPU、IoT、NPU、FPGA等多樣化算力后端。
在ONNX Runtime 社區(qū)1.17.0版本的研制過程中，龍芯中科技術團隊與社區(qū)保持緊密合作，期間向ONNX Runtime社區(qū)代碼倉庫提交了7697行代碼，對矩陣乘法、卷積、轉置等核心算子進行深度向量優(yōu)化。在社區(qū)支持下，龍架構優(yōu)化代碼通過了檢視、測試驗證等質量保證流程，ONNX Runtime社區(qū)自1.17.0版本起正式實現(xiàn)對龍架構的原生支持。
未來，龍芯中科將繼續(xù)與AI領域的國際開源軟件社區(qū)攜手合作，助力AI領域的生態(tài)發(fā)展和技術創(chuàng)新，為用戶帶來更優(yōu)產品，實現(xiàn)更大價值。
審核編輯：劉清
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
FPGA
+關注
關注
1645文章
22040瀏覽量
618181 -
龍芯中科
+關注
關注
0文章
317瀏覽量
8051 -
NPU
+關注
關注
2文章
327瀏覽量
19736
原文標題：AI推理框架軟件ONNX Runtime正式支持龍架構
文章出處：【微信號：gh_53fadbdbd4d4，微信公眾號：龍芯中科】歡迎添加關注！文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
熱點推薦
AI推理的存儲，看好SRAM？
電子發(fā)燒友網報道（文/黃晶晶）近幾年，生成式AI引領行業(yè)變革，AI訓練率先崛起，帶動高帶寬內存HBM一飛沖天。但我們知道AI推理的廣泛應用才能推動A
Nordic收購 Neuton.AI 關于產品技術的分析
Nordic Semiconductor 于 2025 年收購了 Neuton.AI，這是一家專注于超小型機器學習（TinyML）解決方案的公司。
Neuton 開發(fā)了一種獨特的神經網絡框架，能夠
發(fā)表于 06-28 14:18
潤和軟件StackRUNS異構分布式推理框架的應用案例
江蘇潤和軟件股份有限公司（以下簡稱“潤和軟件”）自主研發(fā)的StackRUNS異構分布式推理框架已在實際場景中取得顯著成效，成功應用于大型園區(qū)多模態(tài)模型演練及高校滿血版DeepSeek-
潤和軟件發(fā)布StackRUNS異構分布式推理框架
當下，AI模型規(guī)模持續(xù)膨脹、多模態(tài)應用場景日益復雜，企業(yè)正面臨異構算力資源碎片化帶來的嚴峻挑戰(zhàn)。為應對行業(yè)痛點，江蘇潤和軟件股份有限公司（以下簡稱“潤和軟件”）正式發(fā)布自主研發(fā)的StackRUNS異構分布式
【米爾MYC-YM90X安路飛龍DR1開發(fā)板】安路科技 SALDRAGON開發(fā)板介紹
基于Buildroot或Yocto的定制化Linux系統(tǒng)，支持Cortex-A35雙核的OpenMP/OpenCL多線程編程，優(yōu)化NPU的TensorFlow Lite/ONNX Runtime
發(fā)表于 04-28 17:57
首創(chuàng)開源架構，天璣AI開發(fā)套件讓端側AI模型接入得心應手
，聯(lián)發(fā)科帶來了全面升級的天璣AI開發(fā)套件2.0，在模型庫規(guī)模、架構開放程度、前沿端側AI技術支持和端側LoRA訓練落地等方面均迎來全面躍遷，為開發(fā)者提供了更全面、更開放、更強大的端側
發(fā)表于 04-13 19:52
邊緣AI新突破：MemryX AI加速卡與RK3588打造高效多路物體檢測方案
資源及對主流深度學習框架 (如 TensorFlow、PyTorch、ONNX) 的支持，即便是新手也能快速上手，輕松部署 AI 模型，實現(xiàn)智能應用開發(fā)。
無法在GPU上運行ONNX模型的Benchmark_app怎么解決？
在 CPU 和 GPU 上運行OpenVINO? 2023.0 Benchmark_app推斷的 ONNX 模型。
在 CPU 上推理成功，但在 GPU 上失敗。
發(fā)表于 03-06 08:02
《AI Agent 應用與項目實戰(zhàn)》第1-2章閱讀心得——理解Agent框架與Coze平臺的應用
Operator 和 Deep Research 代表的第三層 Agent。
我對AI Agent的發(fā)展前景和未來應用落地都持有非常樂觀的看法。
談回到本書，書中對Agent框架的闡述打破了我之前對其認識
發(fā)表于 02-19 16:35
使用NVIDIA推理平臺提高AI推理性能
NVIDIA推理平臺提高了 AI 推理性能，為零售、電信等行業(yè)節(jié)省了數(shù)百萬美元。
迅龍軟件受邀參加華為昇思人工智能框架峰會，展示昇思X香橙派的創(chuàng)新AI案例
產業(yè)界、學術界力量，共建人工智能框架開源生態(tài)，共探人工智能框架新未來。作為華為昇騰APN伙伴，迅龍軟件受邀參加此屆大會，并攜旗下基于昇騰AI
大語言模型開發(fā)框架是什么
大語言模型開發(fā)框架是指用于訓練、推理和部署大型語言模型的軟件工具和庫。下面，AI部落小編為您介紹大語言模型開發(fā)框架。
基于迅為RK3588開發(fā)板的AI圖像識別方案
操作）算力的高性能神經網絡處理器單元（NPU）。這款NPU不僅擁有強大的計算能力，支持TensorFlow、Caffe、Tflite、Pytorch、Onnx NN、Android NN 等常見框架
發(fā)表于 08-13 11:26
摩爾線程攜手東華軟件完成AI大模型推理測試與適配
近日，摩爾線程與東華軟件云筑AI創(chuàng)新中心宣布，雙方已完成大模型推理測試與適配。依托摩爾線程的全功能GPU國產算力，東華軟件打造安全可信的基于私有化大模型的“智多型（A.I.Cognif
工商網監(jiān)
評論