眾所周知，過去一年間，大語言模型(LLM)領(lǐng)域經(jīng)歷了翻天覆地的變化...

回望2023年底，OpenAI的GPT-4還是一座難以逾越的高峰，其他AI實驗室都在思考同一個問題：OpenAI究竟掌握了哪些獨特的技術(shù)秘密？

一年后的今天，形勢已發(fā)生根本性轉(zhuǎn)變，據(jù)Chatbot Arena排行榜顯示，原始版本的GPT-4（GPT-4-0314）已跌至第70位左右。目前，已有18家機(jī)構(gòu)的70個模型在性能上超越了這個曾經(jīng)的標(biāo)桿。

圖源：Chatbot Arena

隨著2025年的嶄新啟航，是否意味著AI圈的一顆“王炸”已悄然“引爆”？

近日，國產(chǎn)大模型DeepSeek推出DeepSeek-V3，一個強(qiáng)大的混合專家（Mixture-of-Experts, MoE）語言模型，DeepSeek-V3擁有高達(dá)6710億的參數(shù)規(guī)模，但每次推理僅激活370億參數(shù)。

尤其，當(dāng)o1、Claude、Gemini和Llama 3等模型還在為數(shù)億美元的訓(xùn)練成本苦惱時， DeepSeek-V3用557.6萬美元的預(yù)算，在2048個H800 GPU集群上僅花費3.7天/萬億tokens的訓(xùn)練時間，就達(dá)到了足以與它們比肩的性能 。

與此同時，DeepSeek-V3相比其他前沿大模型，性能卻足以比肩乃至更優(yōu)。

DeepSeek-V3與其他大模型性能對比

其中，這種設(shè)計使得模型在性能和效率上實現(xiàn)了完美平衡，在多項模型測評中，DeepSeek-V3不僅超越了Llama 3.1 405B等頂級開源模型，更在代碼、數(shù)學(xué)、長文本處理等領(lǐng)域，與GPT-4o和Claude 3.5 Sonnet等閉源模型分庭抗禮。

其次，通過671B的總參數(shù)量，在每個token激活37B參數(shù)的精準(zhǔn)控制下，DeepSeek-V3用14.8萬億高質(zhì)量多樣化token，構(gòu)建出了一個能夠超越所有開源模型，直逼GPT-4和Claude-3.5的AI巨人。

另外，在基礎(chǔ)理解能力測試中，DeepSeek-V3與Claude-3.5模型面對中文腦筋急轉(zhuǎn)彎“小明的媽媽有三個孩子”的問題，DeepSeek V3表現(xiàn)出色，不僅答對還進(jìn)行了自我驗證。但在英文雙關(guān)語“April Fool's Day”的測試中則略顯不足，未能理解其中的語言巧思，而Claude3.5Sonnet則輕松應(yīng)對。

DeepSeek-V3與Claude-3.5實測對比

除此之外，DeepSeek自言，這得益于采用了Multi-head Latent Attention (MLA)和DeepSeek MoE架構(gòu)，實現(xiàn)了高效的推理和經(jīng)濟(jì)高效的訓(xùn)練。

Multi-head Latent Attention (MLA)：MLA 通過對注意力鍵和值進(jìn)行低秩聯(lián)合壓縮，減少了推理時的 KV 緩存，同時保持了與標(biāo)準(zhǔn)多頭注意力（MHA）相當(dāng)?shù)男阅堋?/p>

DeepSeek-V3 的核心亮點

DeepSeekMoE：DeepSeekMoE 采用了更細(xì)粒度的專家分配策略，每個 MoE 層包含 1 個共享專家和 256 個路由專家，每個令牌激活 8 個專家，確保了計算的高效性。

因此，在系統(tǒng)架構(gòu)層面，DeepSeek就使用了專家并行訓(xùn)練技術(shù)，通過將不同的專家模塊分配到不同的計算設(shè)備上同時進(jìn)行訓(xùn)練，提升了訓(xùn)練過程中的計算效率。

DeepSeek探索出一個精妙的解決策略，不等到最后再算總和，而是每加128個數(shù)就把當(dāng)前結(jié)果轉(zhuǎn)移到科學(xué)計算器上繼續(xù)計算。其過程不影響速度，此技術(shù)利用了H800 GPU的特點：就像有兩個收銀員，當(dāng)一個在結(jié)算購物籃的同時，另一個便可繼續(xù)掃描新商品。

這一策略使得模型訓(xùn)練速度大幅提升，畢竟核心計算能提升100%的速度，而顯存使用減少也非常明顯，并且模型最終的效果精度損失能做到小于0.25%，幾乎無損。

DeepSeek 提出的誤差積累解決方法

但由于DeepSeek“大方”開源，Open AI水靈靈地被網(wǎng)友cue進(jìn)行橫向?qū)Ρ?，有一種被push的支配感。

Scale AI創(chuàng)始人亞歷山大·王 (Alexander Wang)更表示，DeepSeek-V3帶來的辛酸教訓(xùn)是：當(dāng)美國休息時，中國在工作，以更低的成本、更快的速度迎頭趕上，變得更強(qiáng)。

圖源：X平臺

簡言之，這種劇變深刻折射出AI領(lǐng)域的變革。在2023年，超越GPT-4還是一個值得載入史冊的重大突破，轉(zhuǎn)眼至2024年，這一成就已然演變?yōu)楹饬宽敿堿I模型的基準(zhǔn)線。

而剛到來的2025年，DeepSeek用行動說明，中國大模型創(chuàng)業(yè)者，共同參與這場全球創(chuàng)新AI競賽中。

由于篇幅受限，本次的DeepSeek V3就先介紹這么多......

想了解更多半導(dǎo)體行業(yè)動態(tài)，請您持續(xù)關(guān)注我們。