編者按：本文是昆侖芯適配DeepSeek系列推文第一篇，將于近期分別推出在昆侖芯P800上進(jìn)行DeepSeek-V3/R1推理、訓(xùn)練的深度文章，干貨滿滿、持續(xù)關(guān)注!

短短兩周，DeepSeek成為全球增速最快的AI應(yīng)用。憑借卓越的性能和廣泛的應(yīng)用場(chǎng)景，這匹大模型黑馬已然成為行業(yè)標(biāo)桿，為千行百業(yè)提供了AI解決方案新選擇。 蛇年開(kāi)工當(dāng)天，昆侖芯新一代產(chǎn)品P800萬(wàn)卡集群點(diǎn)亮的消息引發(fā)關(guān)注，三萬(wàn)卡集群也將于近日點(diǎn)亮，為國(guó)產(chǎn)AI算力注入強(qiáng)大勢(shì)能。

昆侖芯在大模型時(shí)代爆發(fā)出卓越的競(jìng)爭(zhēng)力，而這正是基于十余年真實(shí)業(yè)務(wù)場(chǎng)景歷練以及獨(dú)特的自研優(yōu)勢(shì)。作為國(guó)產(chǎn)AI芯片引領(lǐng)者，昆侖芯已完成Deepseek訓(xùn)練推理全版本適配，且性能卓越、成本效率極致，一鍵部署，為廣大開(kāi)發(fā)者提供更快、更強(qiáng)、更省的訓(xùn)推體驗(yàn)。

全版本： 率先完成訓(xùn)練推理DeepSeek全版本適配

在模型適配方面，昆侖芯領(lǐng)先業(yè)界。在DeepSeek-V3/R1上線不久，昆侖芯便率先完成全版本模型適配，這其中包括DeepSeek MoE 模型及其蒸餾的Llama/Qwen等小規(guī)模dense模型(詳見(jiàn)下方海報(bào))。

同時(shí)，昆侖芯也已全面適配文心系列、Llama、Qwen、ChatGLM、Baichuan等各類(lèi)大模型的推理和訓(xùn)練任務(wù)，性能優(yōu)勢(shì)明顯。在各個(gè)行業(yè)客戶、合作伙伴的業(yè)務(wù)場(chǎng)景中，昆侖芯已實(shí)際上線運(yùn)行各類(lèi)大模型任務(wù);通過(guò)千卡和萬(wàn)卡集群為客戶提供了穩(wěn)定的服務(wù)和優(yōu)秀的性能表現(xiàn)。

性能卓越： 前瞻產(chǎn)品定義、極致成本效率

得益于昆侖芯前瞻的產(chǎn)品定義，昆侖芯產(chǎn)品性能表現(xiàn)卓越，成本優(yōu)勢(shì)領(lǐng)先。 昆侖芯P800可以較好的支撐Deepseek系列MoE模型大規(guī)模訓(xùn)練任務(wù)，全面支持MLA、多專家并行等特性，僅需32臺(tái)即可支持模型全參訓(xùn)練，高效完成模型持續(xù)訓(xùn)練和微調(diào)。 P800顯存規(guī)格優(yōu)于同類(lèi)主流GPU20%-50%，對(duì)MoE架構(gòu)更加友好，且率先支持8bit推理，單機(jī)8卡即可運(yùn)行 671B 模型。正因如此，昆侖芯相較同類(lèi)產(chǎn)品更加易于部署，同時(shí)可顯著降低運(yùn)行成本，輕松完成DeepSeek-V3/R1全版本推理任務(wù)。

開(kāi)發(fā)者友好：

一鍵部署、即刻上線

P800生態(tài)完備，易用性強(qiáng)，可以實(shí)現(xiàn)對(duì)訓(xùn)練和推理任務(wù)的快速適配。P800快速適配支持了Deepseek-V3/R1的持續(xù)全參數(shù)訓(xùn)練，LoRA等PEFT能力，提供給用戶開(kāi)箱即用的訓(xùn)練體驗(yàn)?；诶鲂就暾能浖鷳B(tài)棧，兩個(gè)步驟即可輕松實(shí)現(xiàn)在昆侖芯P800上進(jìn)行DeepSeek-V3/R1推理部署，對(duì)廣大開(kāi)發(fā)者十分友好。

歡迎體驗(yàn)： 兩步完成DeepSeek-V3/R1模型推理部署

1 .資源準(zhǔn)備

主要是鏡像和模型，鏡像提供完整的依賴環(huán)境開(kāi)箱即用。

模型準(zhǔn)備

昆侖芯P800支持8bit推理，下載官方權(quán)重后使用如下命令進(jìn)行量化(后文附有下載方式);其他不同尺寸蒸餾模型則通過(guò)huggingface下載即可。

鏡像準(zhǔn)備(后文附有下載方式)

2 .啟動(dòng)服務(wù)&請(qǐng)求示例

server和client使用方式和vllm社區(qū)基本一致，零成本上手，如下：

啟動(dòng)服務(wù)

鏡像中一鍵啟動(dòng)，采樣和推理參數(shù)可根據(jù)實(shí)際業(yè)務(wù)場(chǎng)景在腳本中配置。

請(qǐng)求示例

下圖為一個(gè)簡(jiǎn)單的請(qǐng)求示例：

關(guān)于昆侖芯科技

昆侖芯科技前身為百度智能芯片及架構(gòu)部，在實(shí)際業(yè)務(wù)場(chǎng)景中深耕AI加速領(lǐng)域十余年，2021年4月完成獨(dú)立融資。秉承著“讓計(jì)算更智能”的使命，昆侖芯科技專注打造擁有強(qiáng)大通用性、易用性和高性能的通用AI芯片，并已實(shí)現(xiàn)數(shù)代芯片系列產(chǎn)品的量產(chǎn)及規(guī)模部署。新一代產(chǎn)品昆侖芯P800萬(wàn)卡集群已成功點(diǎn)亮，將進(jìn)一步點(diǎn)亮3萬(wàn)卡集群。

大模型時(shí)代，昆侖芯科技已與智能產(chǎn)業(yè)的上下游企業(yè)建立良好的合作生態(tài)，通過(guò)向不同行業(yè)提供以AI芯片為基礎(chǔ)的智能算力，在互聯(lián)網(wǎng)、交通、金融、工業(yè)、教育等領(lǐng)域中廣泛部署應(yīng)用，促進(jìn)了千行百業(yè)的智能化轉(zhuǎn)型，并創(chuàng)造了巨大的產(chǎn)業(yè)和社會(huì)價(jià)值。

*本文借助DeepSeek生成