一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

在算力魔方上本地部署Phi-4模型

jf_23871869 ? 來源:jf_23871869 ? 作者:jf_23871869 ? 2025-01-15 11:05 ? 次閱讀

?作者:算力魔方創(chuàng)始人/英特爾邊緣計算創(chuàng)新大使 劉力

前面我們分享了《Meta重磅發(fā)布Llama 3.3 70B:開源AI模型的新里程碑》,Llama 3.3 70B模型的發(fā)布,標志著開源AI模型在智能水平上的一大飛躍。它不僅達到了之前只有Llama 3.1 405B模型才具備的智能水平,而且還超越了11月發(fā)布的GPT-4o模型。

wKgZPGeHLW-ABC3FAAFm4cCBsoA793.png

本文我們將分享微軟剛剛發(fā)布的Phi-4模型,其模型參數(shù)只有14B,是Llama3.3 70B的五分之一,但性能卻跟Llama 3.3 70B模型差不多,甚至在GPQA和MATH兩項上還超越了Llama3.3 70B!

參考鏈接:https://arxiv.org/pdf/2412.08905

本文將分享Phi-4 14B模型在算力魔方4060版上的部署過程。

一,算力魔方?簡介

算力魔方?是一款可以DIY的迷你主機,采用了抽屜式設(shè)計,后續(xù)組裝、升級、維護只需要拔插模塊。通過選擇不同算力的計算模塊,再搭配不同的 IO 模塊可以組成豐富的配置,適應(yīng)不同場景。

性能不夠時,可以升級計算模塊提升算力;IO 接口不匹配時,可以更換 IO 模塊調(diào)整功能,而無需重構(gòu)整個系統(tǒng)。

本文以下所有步驟將在帶有英特爾i7-1265U處理器算力魔方?上完成驗證。

二,安裝Ollama

請按照《Gemma 2+Ollama在算力魔方上幫你在LeetCode解題》安裝Ollama。

wKgZPGeHJcmAGKTfAAPzdFi2bXk106.png

三,運行Phi-4

使用下面的命令完成運行Phi-4:

ollama run phi4
wKgZPGeHJeuAN609AAGomLXNOs0320.png

四,測試Phi-4數(shù)學(xué)能力

輸入下面的數(shù)學(xué)問題,測試Phi-4的數(shù)學(xué)能力:

A farmer has a rectangular field with a length of 2x + 5 meters and a width of x - 3 meters.

Part A: Find the area of the field in terms of x.

Part B: If the area of the field is 150 square meters, determine the value of x.

Part C: Calculate the perimeter of the field.

五,總結(jié)

使用Ollama可以方便快捷的將Phi-4模型本地化部署在算力魔方?上。

如果你有更好的文章,歡迎投稿!

稿件接收郵箱:nami.liu@pasuntech.com

更多精彩內(nèi)容請關(guān)注“算力魔方?”!

?審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3464

    瀏覽量

    49817
  • 算力
    +關(guān)注

    關(guān)注

    1

    文章

    1103

    瀏覽量

    15354
收藏 人收藏

    評論

    相關(guān)推薦

    DeepSeek R1模型本地部署與產(chǎn)品接入實操

    針對VS680/SL1680系列大芯片,我們的研發(fā)團隊正在研究將蒸餾后的輕量級DeepSeek模型(DeepSeek-R1-Distill-Qwen-1.5B)部署到SOC
    的頭像 發(fā)表于 04-19 16:32 ?110次閱讀
    DeepSeek R1<b class='flag-5'>模型</b><b class='flag-5'>本地</b><b class='flag-5'>部署</b>與產(chǎn)品接入實操

    魔方IO擴展模塊介紹 網(wǎng)絡(luò)篇1

    一,魔方簡介 魔方?AIPC是目前市面上唯一的模塊化迷你電腦,
    的頭像 發(fā)表于 04-09 14:33 ?138次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>魔方</b>IO擴展模塊介紹 網(wǎng)絡(luò)篇1

    如何在RAKsmart服務(wù)器實現(xiàn)企業(yè)AI模型部署

    AI模型的訓(xùn)練與部署需要強大的支持、穩(wěn)定的網(wǎng)絡(luò)環(huán)境和專業(yè)的技術(shù)管理。RAKsmart作為全球領(lǐng)先的服務(wù)器托管與云計算服務(wù)提供商,已成為企業(yè)部署
    的頭像 發(fā)表于 03-27 09:46 ?188次閱讀

    安霸大AI芯片接入DeepSeek R1

    安霸(Ambarela)人工智能領(lǐng)域持續(xù)發(fā),已成功多款 AI 芯片,包括 N 系列大 AI 芯片
    的頭像 發(fā)表于 02-17 13:36 ?378次閱讀

    添越智創(chuàng)基于 RK3588 開發(fā)板部署測試 DeepSeek 模型全攻略

    DeepSeek 模型部署與測試,開啟這場充滿挑戰(zhàn)與驚喜的技術(shù)探索之旅。 RK3588 開發(fā)板:AI 性能擔(dān)當(dāng) RK3588 開發(fā)板基于先進的 8nm LP 制程工藝精心打造,其硬件配置堪稱豪華, AI
    發(fā)表于 02-14 17:42

    使用OpenVINO C# API輕松部署飛槳PP-OCRv4模型

    ? 作者:魔方創(chuàng)始人/英特爾創(chuàng)新大使劉 《超4萬6千星的開源OCR黑馬登場,PaddleOCR憑什么脫穎而出?》 收到了讀者熱烈反響,
    的頭像 發(fā)表于 02-12 10:42 ?1164次閱讀
    使用OpenVINO C# API輕松<b class='flag-5'>部署</b>飛槳PP-OCRv<b class='flag-5'>4</b><b class='flag-5'>模型</b>

    趕緊本地運行與OpenAI-o1能力近似的DeepSeek-R1模型

    ?作者:魔方創(chuàng)始人/英特爾邊緣計算創(chuàng)新大使 劉 前面我們分享了《
    的頭像 發(fā)表于 01-21 14:29 ?3526次閱讀
    趕緊<b class='flag-5'>在</b><b class='flag-5'>本地</b>運行與OpenAI-o1能力近似的DeepSeek-R1<b class='flag-5'>模型</b>

    如何在邊緣端獲得GPT4-V的能力:魔方+MiniCPM-V 2.6

    作者:魔方創(chuàng)始人/英特爾邊緣計算創(chuàng)新大使 劉 前面我們分享了《
    的頭像 發(fā)表于 01-20 13:40 ?448次閱讀
    如何在邊緣端獲得GPT<b class='flag-5'>4</b>-V的能力:<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>魔方</b>+MiniCPM-V 2.6

    科技云報到:要更要“利”,“精裝”觸發(fā)大模型產(chǎn)業(yè)新變局?

    科技云報到:要更要“利”,“精裝”觸發(fā)大模型產(chǎn)業(yè)新變局?
    的頭像 發(fā)表于 01-16 10:24 ?308次閱讀

    魔方本地部署Phi-4模型

    模型
    jf_23871869
    發(fā)布于 :2025年01月15日 11:06:15

    用Ollama輕松搞定Llama 3.2 Vision模型本地部署

    Ollama 是一個開源的大語言模型服務(wù)工具,它的核心目的是簡化大語言模型(LLMs)的本地部署和運行過程,請參考《Gemma 2+Ollama
    的頭像 發(fā)表于 11-23 17:22 ?3266次閱讀
    用Ollama輕松搞定Llama 3.2 Vision<b class='flag-5'>模型</b><b class='flag-5'>本地</b><b class='flag-5'>部署</b>

    使用OpenVINO 2024.4魔方部署Llama-3.2-1B-Instruct模型

    前面我們分享了《三步完成Llama3魔方本地量化和部署》。2024年9月25日,Meta
    的頭像 發(fā)表于 10-12 09:39 ?1207次閱讀
    使用OpenVINO 2024.4<b class='flag-5'>在</b><b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>魔方</b>上<b class='flag-5'>部署</b>Llama-3.2-1B-Instruct<b class='flag-5'>模型</b>

    英特爾酷睿Ultra7處理器優(yōu)化和部署Phi-3-min模型

    2024年4月23日,微軟研究院公布Phi-3系列AI大模型,包含三個版本:mini(3.8B參數(shù))、small(7B參數(shù))以及medium(14B參數(shù))。phi-3-mini是一個擁
    的頭像 發(fā)表于 08-30 16:58 ?1074次閱讀
    <b class='flag-5'>在</b>英特爾酷睿Ultra7處理器<b class='flag-5'>上</b>優(yōu)化和<b class='flag-5'>部署</b><b class='flag-5'>Phi</b>-3-min<b class='flag-5'>模型</b>

    模型時代的需求

    現(xiàn)在AI已進入大模型時代,各企業(yè)都爭相部署模型,但如何保證大模型,以及相關(guān)的穩(wěn)定性和性能
    發(fā)表于 08-20 09:04