?作者:算力魔方創(chuàng)始人/英特爾邊緣計算創(chuàng)新大使 劉力
前面我們分享了《Meta重磅發(fā)布Llama 3.3 70B:開源AI模型的新里程碑》,Llama 3.3 70B模型的發(fā)布,標志著開源AI模型在智能水平上的一大飛躍。它不僅達到了之前只有Llama 3.1 405B模型才具備的智能水平,而且還超越了11月發(fā)布的GPT-4o模型。
本文我們將分享微軟剛剛發(fā)布的Phi-4模型,其模型參數(shù)只有14B,是Llama3.3 70B的五分之一,但性能卻跟Llama 3.3 70B模型差不多,甚至在GPQA和MATH兩項上還超越了Llama3.3 70B!
參考鏈接:https://arxiv.org/pdf/2412.08905
本文將分享Phi-4 14B模型在算力魔方4060版上的部署過程。
一,算力魔方?簡介
算力魔方?是一款可以DIY的迷你主機,采用了抽屜式設(shè)計,后續(xù)組裝、升級、維護只需要拔插模塊。通過選擇不同算力的計算模塊,再搭配不同的 IO 模塊可以組成豐富的配置,適應(yīng)不同場景。
性能不夠時,可以升級計算模塊提升算力;IO 接口不匹配時,可以更換 IO 模塊調(diào)整功能,而無需重構(gòu)整個系統(tǒng)。
本文以下所有步驟將在帶有英特爾i7-1265U處理器的算力魔方?上完成驗證。
二,安裝Ollama
請按照《Gemma 2+Ollama在算力魔方上幫你在LeetCode解題》安裝Ollama。
三,運行Phi-4
使用下面的命令完成運行Phi-4:
ollama run phi4

四,測試Phi-4數(shù)學(xué)能力
輸入下面的數(shù)學(xué)問題,測試Phi-4的數(shù)學(xué)能力:
A farmer has a rectangular field with a length of 2x + 5 meters and a width of x - 3 meters.
Part A: Find the area of the field in terms of x.
Part B: If the area of the field is 150 square meters, determine the value of x.
Part C: Calculate the perimeter of the field.
五,總結(jié)
使用Ollama可以方便快捷的將Phi-4模型本地化部署在算力魔方?上。
如果你有更好的文章,歡迎投稿!
稿件接收郵箱:nami.liu@pasuntech.com
更多精彩內(nèi)容請關(guān)注“算力魔方?”!
?審核編輯 黃宇
-
模型
+關(guān)注
關(guān)注
1文章
3464瀏覽量
49817 -
算力
+關(guān)注
關(guān)注
1文章
1103瀏覽量
15354
發(fā)布評論請先 登錄
相關(guān)推薦
DeepSeek R1模型本地部署與產(chǎn)品接入實操

如何在RAKsmart服務(wù)器上實現(xiàn)企業(yè)AI模型部署
安霸大算力AI芯片接入DeepSeek R1
添越智創(chuàng)基于 RK3588 開發(fā)板部署測試 DeepSeek 模型全攻略
使用OpenVINO C# API輕松部署飛槳PP-OCRv4模型


科技云報到:要算力更要“算利”,“精裝算力”觸發(fā)大模型產(chǎn)業(yè)新變局?

用Ollama輕松搞定Llama 3.2 Vision模型本地部署

在英特爾酷睿Ultra7處理器上優(yōu)化和部署Phi-3-min模型

評論