一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

DeepSeek沖擊(含本地化部署實踐)

京東云 ? 來源:京東零售 姜海 ? 作者:京東零售 姜海 ? 2025-02-23 17:10 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

作者:京東零售 姜海

DeepSeek無疑是春節(jié)檔最火爆的話題,上線不足一月,其全球累計下載量已達4000萬,反超ChatGPT成為全球增長最快的AI應用,并且完全開源。那么究竟DeepSeek有什么魔力,能夠讓大家趨之若鶩,他又將怎樣改變世界AI格局和我們的生活,本篇文章將進行簡要解析。

DeepSeek與ChatGPT對比

說到人工智能就不得不提OpenAI和ChatGPT,這是繞不開的話題,要分析DeepSeek的實力,最簡單的方式就是跟ChatGPT進行對比。

模型分類

ChatGPT目前有兩種大模型,分別是面向普通用戶,解決日常應用問題的4-OMNI,以及面向?qū)I(yè)用戶,處理深度思考問題的O1,DeepSeek與之對標的分別是V3模型以及R1模型。

wKgZO2ezAOuAM9ILAACXlWslKmk151.png

??

實用效果

據(jù)我目前的使用體驗下來,DeepSeek的實際體驗效果完全不輸ChatGPT,甚至在解決數(shù)學、物理和推理問題方面表現(xiàn)出色,響應速度比ChatGPT還要快,且能夠完整地展示其思考和給出答案的過程,例如最經(jīng)典的,讓絕大多數(shù)AI翻車的“1.11和1.9誰大?”的問題,ChatGPT給出的回答是:

wKgZPGezAOyAAFarAANhVNxyCC0965.png

??

前言不搭后語,而反觀DeepSeek:

wKgZO2ezAO2AdA_0AASTOs27mLo034.png

??

wKgZPGezAO-AFkHPAAndToqudNU054.png

??

wKgZO2ezAPGAS2PgAAcv375GsrE685.png

??

wKgZPGezAPKAQAHNAAPTBSWyjrA412.png

??

可以看到DeepSeek不僅給出了正確答案,而且展示了詳細的解題思路,甚至有最后的驗證。我也測試了許多其他的問題,DeepSeek完全不拉垮,相對于ChatGPT,他在中文領(lǐng)域的問題理解和處理更加到位,使用體驗非常好。

這無疑也使得蘋果公司柳暗花明又一村,為彌補apple intelligence上在中國區(qū)無法使用ChatGPT提供了完美的解決方案。

成本

成本分為兩部分:硬件成本和訓練成本。AI大模型構(gòu)建算法絕大部分都是基于公開的論文,所以市場上的大模型,底層邏輯都大同小異,訓練數(shù)據(jù)也來自于互聯(lián)網(wǎng),所以主要的成本體現(xiàn)在硬件上,也就是提供AI算力的芯片,自從AI大爆發(fā)以來,大家的共識就是堆砌的芯片越多,大模型的表現(xiàn)就越優(yōu)秀。我先簡單介紹一下為什么提升AI的性能就要堆砌大量的芯片。

AI算力的芯片領(lǐng)域是英偉達(Nvidia)一家獨大,芯片價格非常昂貴,目前該公司最先進的B200芯片單張的價格就高達4萬美金,而且對于AI公司來說你還必須買,因為芯片的產(chǎn)能有限,如果你不搶就會被競爭對手買走,導致你的大模型算力不如他的。

??

英偉達公司為自家的芯片研發(fā)了一種叫CUDA的核心的技術(shù),其全名叫做Compute Unified Device Architecture(統(tǒng)一計算設(shè)備架構(gòu))。

??

這是一種并行計算平臺和編程模型。開發(fā)者通過它,可以間接利用GPU的處理能力,大幅提升計算性能。簡單的說,CUDA核心就像是一間間的海水提純工廠,它可以把如海洋般的GPU算力轉(zhuǎn)換成AI開發(fā)者可以直接使用的AI算力,越多的CUDA核心數(shù)量就意味著更大的AI算力。

wKgZO2ezAPaAdVvMAABsuYXKCoY695.png

??

這也就是為什么AI行業(yè)越發(fā)展,芯片的需求量越大,英偉達的市值就越高。美國也多次通過英偉達“鎖算力”以及限制芯片出口,阻礙中國的AI發(fā)展。AI行業(yè)的發(fā)展被一家公司扼住喉嚨的現(xiàn)象顯然極度不合理,英偉達可謂是真正的萬惡之源。

OpenAI不受限制,所以囤積了大量的英偉達芯片,訓練ChatGPT據(jù)傳用到了5萬張英偉達的芯片,而DeepSeek作為中國公司,在這方面相比自然相去甚遠。

DeepSeek沖擊

由于CUDA技術(shù)被英偉達牢牢掌握,所以間接提高了所有AI大模型的使用成本,阻礙了AI的發(fā)展。以ChatGPT為例,4-OMNI和O1兩個大模型的研發(fā)成本高達數(shù)十億美金,免費用戶使用有諸多限制,付費用戶每月20美金,專業(yè)用戶每月200美金,如果企業(yè)想要接入OpenAI的人工智能服務,調(diào)用API做客服等用途,則更是按字符收費,雖然比人工客服省錢,但也是一筆不小的開銷。這些收入中,絕大多數(shù)都是用來平衡購買芯片帶來的巨大成本。

DeepSeek之所以引起全球矚目,就是因為他在“芯片”受限的前提下,達到了與ChatGPT近似的使用體驗,甚至在某些領(lǐng)域還遠遠超過了。OpenAI和它的母公司微軟囤積了大量的高端芯片,而DeepSeek手里的芯片,不論從數(shù)量還是質(zhì)量上都不占優(yōu)勢,甚至可以說遠遠落后。

在深度解析DeepSeek開源的模型代碼之后,研究人員發(fā)現(xiàn),DeepSeek之所以能夠絕地反擊,秘訣就在于他繞過了CUDA核心的限制,使用了完全創(chuàng)新的技術(shù)訓練大模型,直接利用英偉達的底層技術(shù)調(diào)用了GPU的算力,相當于能直接使用如大海般的GPU資源,所以才能使用低端的芯片,在極短的時間內(nèi)完成了模型的訓練,達到了與ChatGPT近似的效果。

而且此技術(shù)成功解除了AI模型對英偉達芯片的依賴,使DeepSeek可以使用華為的芯片進行訓練。DeepSeek服務調(diào)用的費用只有ChatGPT的十分之一,具有非常高的性價比和廣闊的應用前景。

整體來說,DeepSeek用了很少的錢,很低端的工具,就把美國投入上百億美元的事給辦了。自從DeepSeek爆火之后,市場普遍認為英偉達的芯片估值過高,要實現(xiàn)高性能的AI并不需要如此之貴的芯片,最高端的芯片也并不值那個價錢,這直接導致英偉達的股價當天就暴跌17%,創(chuàng)造了美國股市歷史上單日最大跌幅,截至目前英偉達市值蒸發(fā)近6000億美元。

技術(shù)曝光的第二天,英偉達,微軟和亞馬遜的計算平臺都宣布接入DeepSeek模型,堪稱AI界的“斯普特尼克時刻”,就如同當年蘇聯(lián)率先成功發(fā)射人造衛(wèi)星時一樣,讓一直以為自己在技術(shù)上遙遙領(lǐng)先的西方世界陷入了一片混亂,世界AI市場的格局就此改變。

本地化部署R1模型

DeepSeek雖然好,但是用過的同學都知道他有個致命的問題,就是萬惡的資本主義經(jīng)常組織針對DeepSeek的網(wǎng)絡攻擊,導致使用時出現(xiàn)“服務器繁忙的問題”。

wKgZPGezAPeABW52AARKlF2SftM305.png

??

為了避免被攻擊,降低延遲和卡頓,規(guī)避共享敏感信息的風險,同時更靈活的進行微調(diào)和實驗,我們可以把R1模型部署到本地。

安裝Ollama

首先登陸Ollama官網(wǎng):https://ollama.com/。打開官網(wǎng),然后點擊下載,之后安裝到本地。

wKgZO2ezAPiAXVJiAACTbXuyAwc842.png

??

拉取 DeepSeek R1 模型

然后打開Ollama 的模型列表: https://ollama.com/library/deepseek-r1 ,搜索到DeepSeek R1:

wKgZPGezAPmAdzfVAAEdWGRNCNY902.png

??

顯卡需求

各個模型版本需求的顯卡檔次大致如下表

模型(DeepSeek-R1) 顯卡檔次 顯存需求
1.5b GTX1050以上 1GB
7b RTX2050、RTX3060以上 4GB
8b RTX2060、RTX3070以上 5GB
14b RTX3080、RTX4070以上 8GB
32b RTX4080以上 18GB
70b RTX4090、RTX5080以上 36GB以上

我們普通的電腦安裝1.5B,7B就可以使用,然后在【右上角的的代碼】復制,打開終端,輸入上述下載命令回車后,會出現(xiàn)模型下載進度,當進度為100%就說明該模型已經(jīng)下載到本地了。

wKgZO2ezAPmADz8nAAIBdz__0bk269.jpg

??

輸入ollama list可以查看安裝的模型。

wKgZPGezAPqAQRA7AABUBBuJwr0258.png

??

此時已經(jīng)可以在控制臺使用R1模型進行問答了。

包裝GUI

只能在命令行中使用既不美觀也特別的不方便,所以我們可以使用現(xiàn)成的GUI進行包裝,相當于包上圖形用戶界面。這里以Cherry Studio為例,下載對應版本后打開。

wKgZO2ezAPuAQGjeAAFi4f4lLlQ087.png

??

在設(shè)置中選擇模型服務,選中Ollama

wKgZPGezAPyAJd2aAAOyONZJHtY190.png

??

填入對應的本地模型信息:

wKgZO2ezAP2AD7qHAAEZADTcpQs658.png

??

然后就可以使用了!希望本篇文章能夠幫到大家!

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3146

    瀏覽量

    4076
  • DeepSeek
    +關(guān)注

    關(guān)注

    1

    文章

    798

    瀏覽量

    1757
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    ElfBoard技術(shù)實戰(zhàn)|ELF 2開發(fā)板本地部署DeepSeek大模型的完整指南

    ELF 2開發(fā)板本地部署DeepSeek大模型的完整指南
    的頭像 發(fā)表于 05-16 11:13 ?1836次閱讀
    ElfBoard技術(shù)實戰(zhàn)|ELF 2開發(fā)板<b class='flag-5'>本地</b><b class='flag-5'>部署</b><b class='flag-5'>DeepSeek</b>大模型的完整指南

    軟通動力助力黑龍江大學完成DeepSeek大模型本地化部署

    DeepSeek作為新一代人工智能技術(shù),憑借其強大的數(shù)據(jù)處理能力和深度學習算法為教育提供了新解法,使 AI+教育產(chǎn)業(yè)迸發(fā)更大生機。緊隨行業(yè)趨勢,黑龍江大學經(jīng)濟與工商管理學院基于軟通動力AI+DeepSeek大模型一體機實現(xiàn)數(shù)據(jù)監(jiān)測、政策分析、決策跟蹤等,共同打造高校智能
    的頭像 發(fā)表于 04-03 15:20 ?583次閱讀

    AI筑基,智領(lǐng)未來 | DeepSeek-R1本地大模型賦能邁威通信智能轉(zhuǎn)型

    在人工智能技術(shù)迅猛發(fā)展的浪潮中,邁威通信始終秉承創(chuàng)新驅(qū)動發(fā)展的理念,積極探索AI技術(shù)在企業(yè)級場景中的深度應用。近日,公司成功完成基于DeepSeek-R1大模型的本地化部署,標志著其在AI技術(shù)自主研發(fā)與落地
    的頭像 發(fā)表于 03-26 10:26 ?608次閱讀
    AI筑基,智領(lǐng)未來 | <b class='flag-5'>DeepSeek</b>-R1<b class='flag-5'>本地</b>大模型賦能邁威通信智能<b class='flag-5'>化</b>轉(zhuǎn)型

    【幸狐Omni3576邊緣計算套件試用體驗】DeepSeek 部署及測試

    【幸狐 Omni3576 邊緣計算套件測評】DeepSeek 部署及測試 本文介紹了幸狐 Omni3576 邊緣計算套件實現(xiàn) DeepSeek 部署及測試的相關(guān)流程,包括模型介紹、
    發(fā)表于 03-21 19:31

    博實結(jié)完成DeepSeek大模型本地化部署

    近日,公司完成DeepSeek R1 671B大模型本地化部署。通過構(gòu)建自主可控的AI基礎(chǔ)設(shè)施,公司同步實現(xiàn)研發(fā)智能升級、研發(fā)成本重構(gòu)、數(shù)據(jù)安全閉環(huán)與應用場景突破,為產(chǎn)業(yè)智能賦能。
    的頭像 發(fā)表于 03-19 16:31 ?642次閱讀

    依托raksmart服務器在多種系統(tǒng)上本地部署deepseek注意事項

    在RAKsmart服務器上本地部署DeepSeek時,需根據(jù)不同的操作系統(tǒng)和環(huán)境做好全面適配。以下是關(guān)鍵注意事項及分步指南,主機推薦小編為您整理發(fā)布依托raksmart服務器在多種系統(tǒng)上本地
    的頭像 發(fā)表于 03-19 11:25 ?376次閱讀

    躍昉科技實現(xiàn)DeepSeek大模型本地化運行

    “無需機房,無需服務器,一枚U盤即可驅(qū)動DeepSeek大模型?” 是的,我們做到了!
    的頭像 發(fā)表于 03-06 14:47 ?701次閱讀
    躍昉科技實現(xiàn)<b class='flag-5'>DeepSeek</b>大模型<b class='flag-5'>本地化</b>運行

    行芯完成DeepSeek-R1大模型本地化部署

    近日,行芯正式宣布完成 DeepSeek-R1 大模型本地化部署,實現(xiàn)在多場景、多產(chǎn)品中應用。解鎖“芯”玩法,開啟“芯”未來!
    的頭像 發(fā)表于 02-24 15:17 ?899次閱讀

    曙光順利完成DeepSeek大模型本地化多點私有部署

    計算中心等政務云服務商,依托本地政務云資源池,順利完成DeepSeek大模型本地化多點私有部署,并打造出數(shù)字人“撫小智”。撫州市還計劃將DeepSe
    的頭像 發(fā)表于 02-22 14:16 ?802次閱讀

    紹興數(shù)據(jù)局率先實現(xiàn)政務環(huán)境下的DeepSeek模型部署

    ,為各行各業(yè)帶來無窮活力與無限可能。紹興市數(shù)據(jù)局密切關(guān)注大模型技術(shù)發(fā)展,持續(xù)進行深入測試和學習,積極推進AI技術(shù)在智慧政務領(lǐng)域的應用。春節(jié)復工后,數(shù)據(jù)局迅速聯(lián)合政務云服務商,成功部署本地化模型,后續(xù)可為紹興市各類政府部門提供基于政務環(huán)境的可控大
    的頭像 發(fā)表于 02-20 11:22 ?1473次閱讀
    紹興數(shù)據(jù)局率先實現(xiàn)政務環(huán)境下的<b class='flag-5'>DeepSeek</b>模型<b class='flag-5'>部署</b>

    華為云發(fā)布DeepSeek本地部署方案

    華為云正式推出基于華為云Stack混合云的DeepSeek本地部署方案。
    的頭像 發(fā)表于 02-18 10:05 ?1079次閱讀

    龍芯處理器與DeepSeek完成適配

    龍芯中科官方宣布,搭載龍芯 3 號 CPU 的設(shè)備成功啟動運行 DeepSeek R1-7B 模型,實現(xiàn)本地化部署,性能卓越,成本優(yōu)異。
    的頭像 發(fā)表于 02-10 17:00 ?842次閱讀

    烽火通信推動DeepSeek本地化部署,金融行業(yè)率先示范

    近日,烽火通信攜手長江計算、昇騰及華為云團隊,在金融領(lǐng)域取得了重要突破。他們成功助力某國有大型銀行,率先完成了DeepSeek-V3大模型的本地化推理服務部署。 此次部署采用了長江計算
    的頭像 發(fā)表于 02-10 15:03 ?1093次閱讀

    DeepSeek-R1本地部署指南,開啟你的AI探索之旅

    春節(jié)期間突然被DeepSeek刷屏了,這熱度是真大,到處都是新聞和本地部署的教程,等熱度過了過,簡單記錄下自己本地部署及相關(guān)的內(nèi)容,就當電子
    的頭像 發(fā)表于 02-08 10:30 ?5575次閱讀
    <b class='flag-5'>DeepSeek</b>-R1<b class='flag-5'>本地</b><b class='flag-5'>部署</b>指南,開啟你的AI探索之旅

    英特爾酷睿Ultra處理器支持DeepSeek運行

    Janus-Pro更是將其多模態(tài)的本領(lǐng)發(fā)揮至極。DeepSeek模型因其高效、易部署等特性,非常適合在英特爾AI PC進行本地化應用。
    的頭像 發(fā)表于 02-08 10:13 ?909次閱讀