DeepSeek推出NSA機(jī)制，加速長(zhǎng)上下文訓(xùn)練與推理
近日，DeepSeek公司宣布推出一種全新的稀疏注意力機(jī)制——NSA(Native Sparse Attention)。據(jù)DeepSeek介紹，NSA旨在與現(xiàn)代硬件實(shí)現(xiàn)高度一致，并且具備本機(jī)可訓(xùn)練的特性，專為超快速的長(zhǎng)上下文訓(xùn)練和推理而設(shè)計(jì)。
NSA通過針對(duì)現(xiàn)代硬件的優(yōu)化設(shè)計(jì)，顯著加快了推理速度，并大幅度降低了預(yù)訓(xùn)練成本，同時(shí)保持了卓越的性能表現(xiàn)。這一機(jī)制在確保效率的同時(shí)，并未犧牲模型的準(zhǔn)確性或功能。
在廣泛的基準(zhǔn)測(cè)試、涉及長(zhǎng)上下文的任務(wù)以及基于指令的推理場(chǎng)景中，NSA的表現(xiàn)與采用完全注意力機(jī)制的模型相當(dāng)，甚至在部分測(cè)試中展現(xiàn)出更優(yōu)的性能。這一成果不僅驗(yàn)證了NSA機(jī)制的有效性和實(shí)用性，也展示了DeepSeek在人工智能領(lǐng)域的深厚技術(shù)積累和創(chuàng)新能力。
DeepSeek推出的NSA機(jī)制，不僅為長(zhǎng)上下文訓(xùn)練和推理提供了全新的解決方案，也為人工智能領(lǐng)域的發(fā)展注入了新的活力。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
人工智能
+關(guān)注
關(guān)注
1807文章
49029瀏覽量
249562 -
NSA
+關(guān)注
關(guān)注
4文章
108瀏覽量
18648 -
DeepSeek
+關(guān)注
關(guān)注
1文章
798瀏覽量
1752
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
【「DeepSeek 核心技術(shù)揭秘」閱讀體驗(yàn)】書籍介紹+第一章讀后心得
）機(jī)制和多 token 預(yù)測(cè)的詳細(xì)解讀，幫助讀者全面了解 DeepSeek-V3 在技術(shù)上的先進(jìn)性和創(chuàng)新性。同時(shí)，對(duì)訓(xùn)練框架的并行策略、FP8 混合精度訓(xùn)練及
發(fā)表于 07-17 11:59
信而泰×DeepSeek：AI推理引擎驅(qū)動(dòng)網(wǎng)絡(luò)智能診斷邁向 “自愈”時(shí)代
模態(tài)的技術(shù)特性，DeepSeek正加速推動(dòng)AI在金融、政務(wù)、科研及網(wǎng)絡(luò)智能化等關(guān)鍵領(lǐng)域的深度應(yīng)用。 信而泰：AI推理引擎賦能網(wǎng)絡(luò)智能診斷新范式信而泰深度整合DeepSeek-R1大模型
發(fā)表于 07-16 15:29
鴻蒙NEXT-API19獲取上下文，在class中和ability中獲取上下文，API遷移示例-解決無法在EntryAbility中無法使用最新版
摘要：隨著鴻蒙系統(tǒng)API升級(jí)至16版本（modelVersion5.1.1），多項(xiàng)API已廢棄。獲取上下文需使用UIContext，具體方法包括：在組件中使用getUIContext()，在類中使
【書籍評(píng)測(cè)活動(dòng)NO.62】一本書讀懂 DeepSeek 全家桶核心技術(shù)：DeepSeek 核心技術(shù)揭秘
（MLA）機(jī)制和多 token 預(yù)測(cè)的詳細(xì)解讀，幫助讀者全面了解 DeepSeek-V3 在技術(shù)上的先進(jìn)性和創(chuàng)新性。同時(shí)，對(duì)訓(xùn)練框架的并行策略、FP8 混合精度訓(xùn)練及
發(fā)表于 06-09 14:38
S32K在AUTOSAR中使用CAT1 ISR，是否需要執(zhí)行上下文切換？
如果我們?cè)?AUTOSAR 中使用 CAT1 ISR，是否需要執(zhí)行上下文切換？另外，是否需要返回指令才能跳回到作系統(tǒng)？您有沒有帶有 CAT1 ISR 的 S32K3x4 微控制器的示例？
發(fā)表于 03-27 07:34
為什么深度學(xué)習(xí)中的Frame per Second高于OpenVINO?演示推理腳本？
在 DL Workbench 上使用 Microsoft 通用對(duì)象上下文 （MS COCO） 數(shù)據(jù)集運(yùn)行 YOLOv4 對(duì)象檢測(cè)模型，并獲得 50 - 60 FPS。
OpenVINO?演示推理腳本運(yùn)行，并獲得更高的 FPS。
發(fā)表于 03-06 07:27
壁仞科技支持DeepSeek-V3滿血版訓(xùn)練推理
DeepSeek在開源周開源了部分關(guān)鍵模塊的代碼及推理系統(tǒng)參考架構(gòu)，再次引發(fā)行業(yè)震動(dòng)，但目前尚未開源DeepSeek-V3 滿血版完整訓(xùn)練代碼。壁仞科技憑借八大自主創(chuàng)新技術(shù)，實(shí)現(xiàn)
北京大學(xué)兩部 DeepSeek 秘籍新出爐！（附全集下載）
和生成能力、世界知識(shí)能力，以及一定的推理能力。
相對(duì)應(yīng)而言，其劣勢(shì)便在于 AI 幻覺、有限的知識(shí)庫及上下文窗口限制。
了解完原理，我們也就能讓這些聊天機(jī)器人更好地為我所用。
二、擁抱 AIGC 的未來
發(fā)表于 02-27 17:57
讓大模型訓(xùn)練更高效，奇異摩爾用互聯(lián)創(chuàng)新方案定義下一代AI計(jì)算
了訓(xùn)練成本，使得企業(yè)能夠以低成本實(shí)現(xiàn)高性能AI大模型的訓(xùn)練；在推理端，DeepSeek加速了AI應(yīng)用從訓(xùn)
黑芝麻智能芯片加速DeepSeek模型推理
近日，黑芝麻智能宣布，其武當(dāng)C1200家族芯片已成功完成DeepSeek模型推理的部署，而A2000芯片也將全面支持基于DeepSeek的多模態(tài)大模型推理。這一消息標(biāo)志著黑芝麻智能在推
了解DeepSeek-V3 和 DeepSeek-R1兩個(gè)大模型的不同定位和應(yīng)用選擇
）
擴(kuò)展上下文+結(jié)構(gòu)化推理（支持更長(zhǎng)復(fù)雜輸入）
響應(yīng)控制
通用流暢性優(yōu)先
強(qiáng)化分步解釋與中間過程可解釋性
3. 技術(shù)架構(gòu)差異
技術(shù)點(diǎn)
DeepSeek-V3
DeepSeek-R1
發(fā)表于 02-14 02:08
昆侖芯率先完成Deepseek訓(xùn)練推理全版本適配
本文是昆侖芯適配DeepSeek系列推文第一篇，將于近期分別推出在昆侖芯P800上進(jìn)行DeepSeek-V3/R1推理、訓(xùn)練的深度文章，干貨
摩爾線程宣布成功部署DeepSeek蒸餾模型推理服務(wù)
近日，摩爾線程智能科技(北京)有限責(zé)任公司在其官方渠道發(fā)布了一則重要消息，宣布公司已經(jīng)成功實(shí)現(xiàn)了對(duì)DeepSeek蒸餾模型推理服務(wù)的部署。這一技術(shù)突破，標(biāo)志著摩爾線程在人工智能領(lǐng)域邁出了堅(jiān)實(shí)的一步
《具身智能機(jī)器人系統(tǒng)》第7-9章閱讀心得之具身智能機(jī)器人與大模型
的應(yīng)用。MAML算法通過二階優(yōu)化找到對(duì)任務(wù)變化敏感的模型參數(shù)，實(shí)現(xiàn)了快速適應(yīng)。上下文學(xué)習(xí)則引入了注意力機(jī)制，使模型能夠根據(jù)當(dāng)前場(chǎng)景動(dòng)態(tài)調(diào)整行為策略。在預(yù)訓(xùn)練-微調(diào)范式中，我們要注意任務(wù)表示的重要性：好的表示
發(fā)表于 12-24 15:03
SystemView上下文統(tǒng)計(jì)窗口識(shí)別阻塞原因
SystemView工具可以記錄嵌入式系統(tǒng)的運(yùn)行時(shí)行為，實(shí)現(xiàn)可視化的深入分析。在新發(fā)布的v3.54版本中，增加了一項(xiàng)新功能：上下文統(tǒng)計(jì)窗口，提供了對(duì)任務(wù)運(yùn)行時(shí)統(tǒng)計(jì)信息的深入分析，使用戶能夠徹底檢查每個(gè)任務(wù)，幫助開發(fā)人員識(shí)別阻塞原因。
工商網(wǎng)監(jiān)
評(píng)論