當(dāng)前，人工智能技術(shù)正加速向大模型時(shí)代邁進(jìn)，在政務(wù)、金融、醫(yī)療、工業(yè)等領(lǐng)域展現(xiàn)出顛覆性潛力。然而，大模型的訓(xùn)練與部署面臨算力成本高、技術(shù)生態(tài)依賴性強(qiáng)、行業(yè)落地門(mén)檻高三大挑戰(zhàn)。

為加速技術(shù)普惠，4月23日晚，開(kāi)源中國(guó)直播欄目《數(shù)智漫談》邀請(qǐng)華為昇騰生態(tài)技術(shù)專(zhuān)家、行業(yè)先行者以及迅龍軟件等，分享一線開(kāi)發(fā)經(jīng)驗(yàn)，助力開(kāi)發(fā)者與企業(yè)用戶抓住國(guó)產(chǎn) AI新紅利。

該話題圍繞“如何讓AI既跑得快（性能優(yōu)化）又用得好（場(chǎng)景適配）”而展開(kāi)。華為云 HCDE、微軟 Insider Dev Tour China姚圣偉針對(duì)“昇騰插件化接入vLLM加速大模型推理創(chuàng)新最佳實(shí)踐”做了主題分享。他表示，基于自主研發(fā)的昇騰處理器及CANN異構(gòu)計(jì)算架構(gòu)，昇騰推出插件化接入方案，與開(kāi)源推理框架vLLM深度適配，為大模型推理提供高性能、低時(shí)延的創(chuàng)新實(shí)踐。通過(guò)該功能，用戶可以像實(shí)現(xiàn)自定義模型一樣，插件化的完成vLLM的硬件支持。用戶可以實(shí)現(xiàn)自己的Woker、ModelRunner、Attention、Communicator以及自定義算子。

迅龍軟件技術(shù)專(zhuān)家以O(shè)rangePi AI Studio Pro為例，分享了迅龍軟件在AI方面的探索實(shí)踐，并現(xiàn)場(chǎng)演示了在OrangePi AI Studio Pro上完成DeepSeek-R1-Distill-Qwen-14B模型的本地化部署。OPi AI Studio Pro是基于2個(gè)昇騰AI處理器的新一代高性能算力卡，可提供352 TOPS INT8的計(jì)算能力，內(nèi)存提供了96GB和192GB兩個(gè)版本。

OPi AI Studio Pro融合“通用處理器、AI Core、編解碼” 于一體，提供超強(qiáng)AI推理、目標(biāo)檢索、視頻圖片編解碼等功能，具有超強(qiáng)算力、超高能效、超大視頻解析路數(shù)、高性能特征檢索等優(yōu)勢(shì)，支持高清視頻實(shí)時(shí)分析，可廣泛應(yīng)用于OCR識(shí)別、目標(biāo)識(shí)別、搜索推薦、內(nèi)容審核、智慧城市、智慧交通、智慧園區(qū)等諸多AI應(yīng)用場(chǎng)景。

《數(shù)智漫談》是開(kāi)源中國(guó)推出的一檔直播欄目，每月1期，已推出22期。以“深度對(duì)話、多元視角、前沿洞察”為核心理念，聚焦IT技術(shù)、開(kāi)源治理、行業(yè)趨勢(shì)與創(chuàng)新實(shí)踐，通過(guò)輕松互動(dòng)形式搭建開(kāi)源領(lǐng)域的思想交流平臺(tái)。