要點(diǎn)
? 高通與智譜合作將GLM-4V端側(cè)視覺大模型,面向驍龍8至尊版進(jìn)行深度適配和推理優(yōu)化,支持豐富的多模態(tài)交互方式。
? 利用驍龍8至尊版的強(qiáng)大終端側(cè)AI性能和高通AI軟件棧為模型帶來的性能優(yōu)化,GLM-4V端側(cè)視覺大模型能夠以超過70 tokens/秒的速度在終端側(cè)高速運(yùn)行。
? GLM-4V-Mini、GLM-4V-Nano端側(cè)視覺大模型和GLM-4-9B模型即將在高通AI Hub上線,搭載驍龍8至尊版的商用手機(jī)均可支持。
此前,驍龍峰會(huì)首日,智譜與高通技術(shù)公司宣布合作將GLM-4V端側(cè)視覺大模型,面向驍龍8至尊版進(jìn)行深度適配和推理優(yōu)化,支持豐富的多模態(tài)交互方式,進(jìn)一步推動(dòng)多模態(tài)生成式AI在終端側(cè)的部署和推廣,賦能更加情境化、個(gè)性化的終端側(cè)智能體驗(yàn)。
驍龍8至尊版移動(dòng)平臺搭載全新第二代高通Oryon CPU和高通Hexagon NPU,終端側(cè)AI能力再次實(shí)現(xiàn)突破,能夠賦能規(guī)模更大且更加復(fù)雜的多模態(tài)生成式AI用例在終端側(cè)高效運(yùn)行。充分利用驍龍8至尊版的強(qiáng)大終端側(cè)AI性能和高通AI軟件棧為模型帶來的性能優(yōu)化,GLM-4V端側(cè)視覺大模型能夠?qū)崿F(xiàn)令人驚嘆的處理能力,以超過70 tokens/秒的速度在終端側(cè)高速運(yùn)行。
改善情境化和定制化一直是用戶體驗(yàn)的長期需求。多模態(tài)生成式AI模型能夠利用終端側(cè)豐富的傳感器數(shù)據(jù),例如文本、圖像、音頻、視頻等,打造更加直觀、無縫的智能交互體驗(yàn)。通過與驍龍8至尊版進(jìn)行深度適配和推理優(yōu)化,終端側(cè)多模態(tài)應(yīng)用ChatGLM能夠支持三種終端側(cè)交互方式:使用相機(jī)進(jìn)行實(shí)時(shí)語音對話、上傳照片進(jìn)行對話、上傳視頻進(jìn)行對話。豐富的多模態(tài)輸入輸出方式賦能智能助手ChatGLM實(shí)現(xiàn)了跨家庭、出行、工作和教育等多個(gè)場景的應(yīng)用,例如通過手機(jī)攝像頭獲取穿搭建議,利用視覺信息實(shí)現(xiàn)智能導(dǎo)航,通過車內(nèi)攝像頭識別遺留物品,拍攝畫作進(jìn)行風(fēng)格解析等。
高通技術(shù)公司高級副總裁兼技術(shù)規(guī)劃和邊緣解決方案業(yè)務(wù)總經(jīng)理馬德嘉表示:
高通與智譜共同致力于推動(dòng)生成式AI在邊緣終端上的應(yīng)用和普及,并已經(jīng)在手機(jī)、PC、汽車等領(lǐng)域展開了緊密合作。結(jié)合高通在終端側(cè)AI領(lǐng)域的長期領(lǐng)導(dǎo)力,跨不同邊緣終端的廣泛市場布局,以及驍龍8至尊版的AI創(chuàng)新,我們在推動(dòng)終端側(cè)生成式AI發(fā)展方面獨(dú)具優(yōu)勢。多模態(tài)是發(fā)揮終端生成式AI潛力的重要技術(shù)發(fā)展方向,我們期待攜手智譜,探索多模態(tài)在終端側(cè)AI應(yīng)用上的更多可能。
智譜COO張帆表示:
驍龍8至尊版移動(dòng)平臺提供了卓越的AI算力,結(jié)合高通AI軟件棧推理框架的性能優(yōu)化,使得智譜的終端側(cè)大模型可以在設(shè)備端實(shí)現(xiàn)高速推理。我們相信,終端側(cè)算力平臺的性能躍遷結(jié)合大模型能力的進(jìn)步,會(huì)將生成式AI帶入新的時(shí)代。終端側(cè)運(yùn)行的生成式AI,在為用戶提供變革性體驗(yàn)的同時(shí),能更好地保護(hù)用戶隱私安全,真正讓AI變革用戶的日常生活。
GLM-4V-Mini、GLM-4V-Nano端側(cè)視覺大模型和GLM-4-9B模型即將在高通AI Hub上線,搭載驍龍8至尊版的商用手機(jī)均可支持。
-
高通
+關(guān)注
關(guān)注
77文章
7596瀏覽量
192866 -
驍龍
+關(guān)注
關(guān)注
2文章
1039瀏覽量
37595 -
大模型
+關(guān)注
關(guān)注
2文章
3085瀏覽量
3963
原文標(biāo)題:高通與智譜基于驍龍8至尊版移動(dòng)平臺合作適配優(yōu)化GLM-4V端側(cè)視覺大模型,加速多模態(tài)生成式AI體驗(yàn)的終端側(cè)部署
文章出處:【微信號:Qualcomm_China,微信公眾號:高通中國】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
IBM如何基于SAP平臺和數(shù)據(jù)推動(dòng)生成式AI的成功應(yīng)用
AI端側(cè)部署案例(SC171開發(fā)套件V3)
AI端側(cè)部署開發(fā)(SC171開發(fā)套件V3)
首創(chuàng)開源架構(gòu),天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手
2025設(shè)備管理新范式:生成式AI在故障知識庫中的創(chuàng)新應(yīng)用

移遠(yuǎn)通信智能模組全面接入多模態(tài)AI大模型,重塑智能交互新體驗(yàn)

移遠(yuǎn)通信智能模組全面接入多模態(tài)AI大模型,重塑智能交互新體驗(yàn)

OpenAI計(jì)劃開發(fā)可替代手機(jī)的生成式AI專用終端
智譜 GLM-PC 開放體驗(yàn),多模態(tài) Agent 升級
Google兩款先進(jìn)生成式AI模型登陸Vertex AI平臺
在設(shè)備上利用AI Edge Torch生成式API部署自定義大語言模型

高通與騰訊混元達(dá)成戰(zhàn)略合作
AI大模型的最新研究進(jìn)展
利用OpenVINO部署Qwen2多模態(tài)模型
三行代碼完成生成式AI部署

評論