作者：京東科技 蔡欣彤

一、引言：AI時代的挑戰(zhàn)與DeepSeek的崛起

在大模型時代，AI技術的飛速發(fā)展帶來了前所未有的機遇，但也伴隨著巨大的挑戰(zhàn)。隨著模型規(guī)模的不斷擴大，算力需求呈指數(shù)級增長，訓練成本飆升，而性能提升的邊際收益卻逐漸遞減，形成了所謂的“Scaling Law”瓶頸。與此同時，OpenAI、谷歌等巨頭通過閉源策略壟斷技術，限制了中小企業(yè)和研究機構的參與空間。在這樣的背景下，DeepSeek應運而生，以“低成本+高性能+開源”為核心理念，致力于打破行業(yè)壁壘，為AI普惠化開辟了新的可能性。

但每一個大模型爆火的背后都是需要經(jīng)歷一代代的技術積累和演進,所以文本介紹一下 DeepSeek 系列主要模型的發(fā)布歷史及每一代模型的技術突破。

二、DeepSeek的發(fā)展歷程

1.DeepSeek-V1

DeepSeek V1是2024年1月份發(fā)布的第一版DeepSeek模型,論文地址: https://github.com/deepseek-ai/deepseek-LLM

DeepSeek-V1 有 7B 和 67B 兩個版本,并且每個版本分別有基礎和聊天的模型,它支持多種編程語言，具有強大的編碼能力，適合程序開發(fā)人員和技術研究人員使用。

1.1 技術分析

?數(shù)據(jù)層面:通過包括去重、過濾、混合3個步驟構建一個多樣性強、純凈的高質(zhì)量預訓練數(shù)據(jù)

?模型結構方面: 模型的主體結構基本沿用LLaMA的體系結構, 在注意力機制方面, 7B模型使用 多頭注意力Multi-Head attention (MHA),而67B模型使用Grouped-Query Attention (GQA)替代MHA用來降低成本

1.2 成果解讀

第一代的模型在我看來更多的還是復現(xiàn)LLaMA,雖然采用了更優(yōu)質(zhì)的訓練集提升了性能,但就像DeepSeek論文中提到,也存在潛在缺點:過渡依賴培訓數(shù)據(jù)容易產(chǎn)生偏見;幻覺問題沒有處理很好;在其生成的響應中表現(xiàn)出重復回答等問題.

2.DeepSeek-V2

2024年5月左右發(fā)布了DeepSeek-V2,論文地址: https://github.com/deepseek-ai/DeepSeek-V2 .

這個版本的發(fā)布也讓deepSeek正式引起了大模型領域的關注.

2.1 技術分析

DeepSeek V2最核心的點都在改動模型結構上.分別為 多頭潛在注意力機制(Multi-head Latent Attention,MLA) 和 DeepSeekMoE架構, 這兩點也為后面的R1版本奠定了基礎.

整體結構如下圖:在注意力機制部分采用MLA,在前饋網(wǎng)絡(FFN)部分采用DeepSeekMoE的結構.

??

??

2.1.1 MLA

在標準的 Transformer 模型中，多頭注意力機制（MHA）通過并行計算多個注意力頭來捕捉輸入序列中的不同特征,每個注意力頭都有自己的Q,K,V. 這樣在處理長序列時，鍵值緩存（KV Cache）的內(nèi)存開銷會隨著序列長度線性增長，這成為大模型推理效率的主要瓶頸之一.

MLA利用低秩鍵值聯(lián)合壓縮來消除推理時間鍵值緩存的瓶頸，從而支持有效的推理.MLA的具體實現(xiàn)包括以下關鍵技術：

?低秩鍵值聯(lián)合壓縮（low-rank key-value joint compression）：MLA通過將鍵和值矩陣壓縮到低維空間，減少了KV Cache的內(nèi)存占用。

?多頭潛在注意力：MLA在傳統(tǒng)多頭注意力的基礎上，引入了潛在注意力機制，通過動態(tài)調(diào)整注意力頭的計算方式，進一步優(yōu)化了長序列處理的效率。

?稀疏注意力：MLA通過稀疏化注意力權重，減少了計算復雜度，同時保持了模型的性能。

2.1.2 DeepSeekMoE

DeepSeekMoE對比傳統(tǒng)的混合專家模型（Mixture of Experts, MoE）,多了2個核心優(yōu)化:

?細粒度專家劃分:如圖(b)Fine-grained Expert,DeepSeekMoE 將專家數(shù)量大幅增加,每個專家負責更小的輸入空間。這種細粒度劃分使專家能夠更專注于特定任務，從而提高模型的表達能力和泛化性能

?共享專家隔離:如圖(c)Shared Expert DeepSeekMoE 引入共享專家機制,用于捕獲跨任務的通用知識.這樣的設計減少了路由專家之間的冗余，提高了參數(shù)效率,還改善了負載均衡問題，避免了某些專家被過度激活的情況.(簡單點來說,就是共享專家干通用的活,其他專家干自己更專業(yè)的活)

??

此外,DeepSeekMoE還做了負載均衡策略,

?負載均衡策略:論文中為Load Balance Consideration

?Expert-Level Balance Loss:創(chuàng)新性地避免了傳統(tǒng)負載均衡方法對模型性能的負面影響，通過靈活的批量負載均衡策略，允許專家在不同領域中更好地專業(yè)化

?Device-Level Balance Loss:在分布式訓練和推理中，DeepSeekMoE 通過設備受限的路由機制，將專家分配到不同的設備上，并限制每個設備只能訪問本地專家。這減少了跨設備通信的開銷，顯著提升了訓練和推理效率

2.2 成果解讀

高效的性能與低成本:通過上面的結構優(yōu)化,降低了計算開銷,訓練成本的降低大幅降低了開發(fā)門檻，適合科研和商業(yè)化應用

??

3.DeepSeek-V3

DeepSeek-V3 是在2024年12月26正式發(fā)布. 論文地址: DeepSeekV3 Technical Report

DeepSeek-V3是該系列中的一個里程碑版本,專注于知識類任務和數(shù)學推理，性能大幅度提升,這個版本的發(fā)布也讓DeepSeek走進了大眾視野.

整體來說,V3版本繼續(xù)沿用了V2版本的MLA和DeepSeekMoE結構,總使用了671B參數(shù),完成整個訓練時間也減少很多.

We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. DeepSeek-V3 requires only 2.788M H800 GPU hours for its full training.

3.1 技術分析

DeepSeekV3在模型結構上的核心優(yōu)化有兩點:

1.對DeepSeekMoE中的多專家負載均衡問題，提出了無輔助損失負載均衡策略(auxiliary-loss-free strategy)，相比使用輔助loss提升了模型性能；

2.引入多Token預測(Multi-Token Prediction,MTP)技術，相比原來每次只能預測一個token，顯著提升了infer的速度。

3.1.1 auxiliary-loss-free strategy

無輔助損失策略旨在解決傳統(tǒng) MoE 模型中因負載不均衡導致的計算效率下降和性能損失問題.

傳統(tǒng)的 MoE 模型中，專家負載不均衡是一個常見問題。某些專家可能會被過度激活，而其他專家則處于閑置狀態(tài)，這不僅降低了計算效率，還可能導致路由崩潰（routing collapse），從而影響模型性能.為了解決這一問題，傳統(tǒng)方法通常依賴于輔助損失（Auxiliary Loss），通過額外的損失函數(shù)來強制均衡專家的負載。然而，輔助損失可能會對模型性能產(chǎn)生負面影響，尤其是在損失權重設置不當?shù)那闆r下.

而無輔助損失負載均衡策略則是通過動態(tài)調(diào)整專家路由的偏差項（bias term）來實現(xiàn)負載均衡，而無需引入額外的輔助損失函數(shù).具體來說：

? 偏差項調(diào)整：在訓練過程中，系統(tǒng)會監(jiān)控每個專家的負載情況。如果某個專家過載，則減少其偏差項；如果某個專家欠載，則增加其偏差項。這種動態(tài)調(diào)整確保了專家負載的均衡，同時避免了輔助損失對模型性能的干擾

? 路由機制：在計算專家親和度分數(shù)（affinity score）時，偏差項被添加到親和度分數(shù)中，以確定每個 token 應該路由到哪些專家。門控值（gating value）仍然基于原始的親和度分數(shù)計算，從而保持了模型的路由靈活性

采用這種方法,無需引入額外的損失函數(shù)，從而在保持模型性能的同時提高了訓練穩(wěn)定性

3.1.2 MTP

傳統(tǒng)的模型通常采用單Token預測目標，即每次將當前預測結果作為最新的一個輸入，再次預測下一個。而MTP則擴展了這一目標，要求模型在每個時間同時預測多個未來的Token（例如2個、3個或更多）。

使用MTP, 一方面每次預測多個Token，可使訓練信號更密集，提高數(shù)據(jù)利用效率和訓練速度，另一方面也可以讓模型在生成后續(xù)token的時候有一個全局性，從而生成更連貫和語義準確的文本.

大致做法:模型除了有一個主模型,還有幾個并行的MTP模塊.這些MTP模塊的Embedding層和Output Head和主模型共享.在主模型預測了next token后，將這個預測token的表征和之前token的Embedding拼接到一起，生成一個新的輸入（超出長度的更久遠的token被才減掉）。這個拼接好的Embedding輸入到第一個MTP中預測next next token。以此類推..

文中引入Multi-Token Prediction主要為了提升訓練效果，推理階段可以直接去掉這些MTP模塊，主模型可以獨立運行，確保模型的正常工作.

??

3.2 成果

DeepSeek-V3 多項評測成績超越了 Qwen2.5-72B 和 Llama-3.1-405B 等其他開源模型，并在性能上和世界頂尖的閉源模型 GPT-4o 以及 Claude-3.5-Sonnet 不分伯仲。

??

?

4.DeepSeek-R1-Zero和DeepSeek-R1

接著就來到了重頭戲,在2025年1月20日發(fā)布的DeepSeek-R1模型, 論文地址: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

他的發(fā)布,帶來了世界的震撼,也讓2025年初所有人都開始談論.

4.1 技術分析

其實這個DeepSeek-R1先有一個DeepSeek-R1-Zero的版本,只通過強化學習(RL)進行訓練,沒有用監(jiān)督微調(diào) (SFT) 作為預備步驟,但是它遇到了諸如可讀性差和語言混合等問題,接著引入了 DeepSeek-R1，它在 RL 之前結合了多階段訓練和冷啟動數(shù)據(jù).

DeepSeek-R1的技術主要有以下幾點:

?采用GROP(Group Relative Policy Optimization)算法

?Reward Modeling :一種基于規(guī)則的獎勵系統(tǒng)和語言一致性獎勵系統(tǒng)

?Cold Start:使用數(shù)千條冷啟動數(shù)據(jù)

4.1.1 GROP算法

LLM 中主流 RLHF 方向分為兩大路線：

?以 [PPO] 為代表的 On Policy 路線 (但目前最常用的還是PPO)每次訓練都基于自己的生成模型（Actor），通過教練（Critic）反饋獎勵；優(yōu)勢是效率高，沒有模型自生成自然效率高，問題是訓練后模型能力可能不夠；

?以 [DPO] 為代表的 Off Policy 路線 基于現(xiàn)有標注的情況進行分析，存在訓練樣本可能與模型不匹配的問題；優(yōu)勢是更有可能達到模型能力的上限，問題是效率較低。

從PPO的優(yōu)化過程分析，其存在如下缺點：1.需要訓練一個與策略模型大小相當?shù)膬r值模型(Value Model)，這帶來了巨大的內(nèi)存和計算負擔； 2.LLM 通常只有最后一個 token 會被獎勵模型打分，訓練在每個 token 上都準確價值函數(shù)難；

而GROP避免了像 PPO 那樣使用額外的 Value Model ，而是使用同一問題下多個采樣輸出的平均獎勵作為基線,好處:

?無需額外的價值函數(shù)：GRPO 使用組內(nèi)平均獎勵作為基線，避免了訓練額外的價值函數(shù)，從而減少了內(nèi)存和計算負擔。

?與獎勵模型的比較性質(zhì)對齊：GRPO 使用組內(nèi)相對獎勵計算優(yōu)勢函數(shù)，這與獎勵模型通常在同一問題的不同輸出之間進行比較的性質(zhì)相符。

?KL懲罰在損失函數(shù)中：GRPO 直接將訓練策略 πθ 和參考策略 πref 之間的 KL 散度添加到損失中，而不是像 PPO 那樣在獎勵中添加 KL 懲罰項，從而避免了復雜化 A^i,t 的計算。

??

4.1.2 Reward Modeling

為了訓練DeepSeek-R1-Zero，采用了一種基于規(guī)則的獎勵系統(tǒng)，該系統(tǒng)主要由兩種類型的獎勵組成：

?準確性獎勵：準確性獎勵模型評估響應是否正確。例如，在具有確定性結果的數(shù)學問題中，模型需要以指定格式（例如，在框內(nèi)）提供最終答案，從而實現(xiàn)基于規(guī)則的可靠正確性驗證。類似地，對于 LeetCode 問題，可以使用編譯器根據(jù)預定義的測試用例生成反饋。

?格式獎勵：強制模型將其思考過程置于 ‘’ 和 ‘’ 標簽之間。

注意, DeepSeek-R1-Zero 時沒有使用結果或過程神經(jīng)獎勵模型，因為發(fā)現(xiàn)神經(jīng)獎勵模型在大型強化學習過程中可能會遭受獎勵黑客(reward hacking )，并且重新訓練獎勵模型需要額外的訓練資源，這會使整個訓練流程變得復雜。

在訓練DeepSeek-R1階段,為了解決DeepSeek-R1-Zero中存在的語言混合問題,在RL中中引入了語言一致性獎勵(language consistency reward )，該獎勵計算為CoT中目標語言詞的比例.

最后，通過將推理任務的準確性和語言一致性獎勵相加來形成最終獎勵.

4.1.3 Cold Start

與 DeepSeek-R1-Zero 不同，為了解決 RL 訓練從基礎模型開始的早期不穩(wěn)定冷啟動階段，對于 DeepSeek-R1，構建并收集少量長 CoT 數(shù)據(jù)。為了收集此類數(shù)據(jù)，用了幾種方法：使用少量樣本提示，以長 CoT 作為示例；直接提示模型生成帶有反思和驗證的詳細答案；以可讀格式收集 DeepSeek-R1-Zero 輸出；以及通過人工標注者進行后處理來細化結果。

4.1.4 DeepSeek-R1訓練的整體流程

首先對DeepSek-V3進行RL訓練,并采用基于規(guī)則的獎勵系統(tǒng),產(chǎn)生DeepSeek-R1-Zero模型.通過提示指引DeepSeek-R1-Zero模型帶有反思和驗證的詳細答案等Code Start數(shù)據(jù),然后將收集到的數(shù)千條冷啟動數(shù)據(jù)重新微調(diào) DeepSeek-V3-Base 模型.接著執(zhí)行類似 DeepSeek-R1-Zero 的面向推理的強化學習。在強化學習過程接近收斂時，我們通過對強化學習檢查點進行拒絕采樣，并結合來自 DeepSeek-V3 在寫作、事實問答和自我認知等領域中的監(jiān)督數(shù)據(jù)，創(chuàng)建新的 SFT 數(shù)據(jù)，然后再次重新訓練 DeepSeek-V3-Base 模型,在使用新數(shù)據(jù)進行微調(diào)后，檢查點會進行額外的強化學習過程.(ps:二次訓練 DeepSeek-V3是因為這次使用的新數(shù)據(jù)是更加優(yōu)質(zhì)的CoT數(shù)據(jù),使得訓練完之后的模型推理性能再度提升,在這一步我真的感慨這種想法,就是一種藝術~~).經(jīng)過這些步驟，獲得了名為 DeepSeek-R1 的模型，其性能與 OpenAI-o1-1217 相當。

??

4.2 成果解讀

DeepSeek-R1 在后訓練階段大規(guī)模使用了強化學習技術，在僅有極少標注數(shù)據(jù)的情況下，極大提升了模型推理能力。在數(shù)學、代碼、自然語言推理等任務上，性能比肩 OpenAI o1 正式版。

??

通過 DeepSeek-R1 的輸出，蒸餾了 6 個小模型開源給社區(qū)，其中 32B 和 70B 模型在多項能力上實現(xiàn)了對標 OpenAI o1-mini 的效果。

??

四.結語:從大模型引發(fā)的思考

我對大模型時代的看法,我覺得我們已經(jīng)拉開了新的一幕,如果說第一幕是知識驅(qū)動模型,卷參數(shù)量,拼算力,那么DeepSeek-R1的出現(xiàn)帶我進入第二幕-推理驅(qū)動.在這一幕,讓模型學會自我思考,自我推理更為重要.而且更優(yōu)秀的算法來提高參數(shù)效率,降低訓練成本也成為了關鍵所在.

最后,碼字不易,喜歡這篇文章的,請給作者點個贊吧,做個小小鼓勵~~

五.參考文獻

1. DeepSeek

2. DeepSeek中用到的Grouped-Query Attention技術是什么來頭

3. 10分鐘速通DeepSeekV1~V3核心技術點

4. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model

5. Multi-Head Latent Attention (MLA) 詳細介紹

6. 一文通透DeepSeek V2——通俗理解多頭潛在注意力MLA：改進MHA，從而壓縮KV緩存，提高推理速度

7. DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models

8. DeepSeekV3 Technical Report

審核編輯 黃宇