一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

MIT的SpAtten架構將注意力機制用于高級NLP

星星科技指導員 ? 來源:嵌入式計算設計 ? 作者:Saumitra Jagdale ? 2022-07-10 10:20 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

盡管如此,仍然有許多高效的 NLP 模型,例如 Google 的 BERT 和 Open AI 的 GPT2,它們的功能是通過高級處理和計算來理解這些數(shù)據(jù)。這些模型在搜索引擎中找到了它們的應用,因為搜索命令需要與相關的來源和頁面匹配,而與術語的性質無關。

麻省理工學院的 SpAtten 學習系統(tǒng)通過其優(yōu)化的軟件硬件設計專注于高效的搜索預測,從而以更少的計算能力進行高級自然語言處理。因此,SpAtten 系統(tǒng)的架構取代了高端 CPUGPU 的組合,它們共同輸出類似于 MIT 的 SpAtten 學習系統(tǒng)的效率。

SpAtten 學習系統(tǒng)中的注意力機制

當數(shù)據(jù)量大時,注意力機制在自然語言處理中起著至關重要的作用。特別是在文本數(shù)據(jù)包含對建??赡懿皇呛苤匾母鞣N特征的情況下。這可能會浪費系統(tǒng)的整體計算。因此,神經(jīng)網(wǎng)絡輸入層中的注意力機制從文本數(shù)據(jù)中動態(tài)提取相關特征,可以優(yōu)化算法在廣泛數(shù)據(jù)集上的處理。

SpAtten 使用注意力機制算法去除在 NLP 方面權重較小的單詞。因此,它有選擇地從輸入的文本數(shù)據(jù)中挑選出相關的關鍵詞。這避免了對不必要的文本數(shù)據(jù)的實時處理,從而節(jié)省了系統(tǒng)的整體計算時間。然而,這種處理提供了效率和準確性,但它的代價是設計良好的硬件與這種復雜的算法兼容。

因此,麻省理工學院一直致力于其新 SpAtten 學習系統(tǒng)的軟件和硬件方面。設計的硬件致力于優(yōu)化這些復雜的算法,以減少處理和內存訪問。這些技術在用于文本數(shù)據(jù)時克服了構建具有高效處理速度和能力的系統(tǒng)的挑戰(zhàn)。因此,硬件“以更少的計算能力實現(xiàn)了精簡的 NLP”。

SpAtten 架構的優(yōu)化技術

循環(huán)和卷積神經(jīng)網(wǎng)絡被認為是深度學習模型的理想選擇,但麻省理工學院關于“SpAtten: Efficient Sparse Attention Architecture with Cascade Token and Head Pruning”的研究論文讓我們注意到注意力機制可以比這些網(wǎng)絡表現(xiàn)更好,如前一部分所述。

該架構支持級聯(lián)修剪技術,該技術對令牌??和頭進行操作,而不是傳統(tǒng)方法中使用的權重。正如術語“剪枝”暗示移除令牌一樣,一旦從層中移除令牌/頭,那么它將永遠不會在后續(xù)層中被處理,因為它被永久“剪枝”或從系統(tǒng)中移除。這就是為什么優(yōu)化數(shù)據(jù)的實時處理并且系統(tǒng)適應輸入實例的原因。

該系統(tǒng)使用漸進式量化技術來減少 DRAM 訪問。僅當 MSB 不足以執(zhí)行量化時,該技術才對 LSB 起作用。然而,這是以計算為代價的,但內存訪問顯著減少。因此,它使注意力層動態(tài)和自適應以優(yōu)化 DRAM 訪問。該系統(tǒng)還帶有內置的 SRAM,用于存儲可在眾多查詢中重復使用的已刪除令牌。

通用的 AI 加速器、GPU、TPU 和 NPU 即使支持高計算能力也無法實現(xiàn)這些技術,因為這些組件只能增強現(xiàn)有的傳統(tǒng)神經(jīng)網(wǎng)絡,包括 CNN 和 RNN。因此,麻省理工學院設計了專門的硬件來實現(xiàn)這些優(yōu)化算法。

SpAtten 學習系統(tǒng)的分析

SpAtten 硬件架構的模擬揭示了其與競爭處理器相比的高處理能力。麻省理工學院表示:“SpAtten 的運行速度比第二好的競爭對手(TITAN Xp GPU)快 100 倍以上。此外,SpAtten 的能源效率是其競爭對手的 1000 多倍,這表明 SpAtten 可以幫助減少 NLP 的大量電力需求。”

Google 的 BERT 和 Open AI 的 GPT2 模型也使用類似的注意力機制,但是復雜的判別和生成技術會導致延遲和延遲。MIT 的 SpAtten 是 NLP 算法和專用于注意力機制的專用硬件的組合。這種組合控制了標準 CPU 在 GPT-2 或 BERT 上運行時消耗的高功耗。

審核編輯:郭婷

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 處理器
    +關注

    關注

    68

    文章

    19884

    瀏覽量

    235022
  • cpu
    cpu
    +關注

    關注

    68

    文章

    11075

    瀏覽量

    216973
  • gpu
    gpu
    +關注

    關注

    28

    文章

    4938

    瀏覽量

    131196
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    經(jīng)顱電刺激適應癥之tDCS治療注意力缺陷ADHD

    ADHD是常見神經(jīng)行為障礙,癥狀包括注意力不集中、多動和沖動,兒童和青少年患病率為5%-7.2%,成人在1%-10%,男孩多于女孩,成年后部分癥狀會持續(xù),引發(fā)多種并發(fā)癥,給個人、家庭和社會帶來
    的頭像 發(fā)表于 04-22 19:49 ?143次閱讀
    經(jīng)顱電刺激適應癥之tDCS治療<b class='flag-5'>注意力</b>缺陷ADHD

    橫空出世!容芯致遠創(chuàng)新“智算整機架構”融合DeepSeek應用

    DeepSeek火爆全球,并引發(fā)算力行業(yè)鏈式反應。借助混合專家模型(MOE)架構、多頭潛在注意力機制(MLA)等算法創(chuàng)新,DeepSeek顯著降低大模型計算成本,打破了業(yè)界對高算GP
    的頭像 發(fā)表于 02-28 13:48 ?380次閱讀
    橫空出世!容芯致遠創(chuàng)新“智算整機<b class='flag-5'>架構</b>”融合DeepSeek應用

    DeepSeek推出NSA機制,加速長上下文訓練與推理

    近日,DeepSeek公司宣布推出一種全新的稀疏注意力機制——NSA(Native Sparse Attention)。據(jù)DeepSeek介紹,NSA旨在與現(xiàn)代硬件實現(xiàn)高度一致,并且具備本機可訓練
    的頭像 發(fā)表于 02-19 14:01 ?630次閱讀

    如何使用MATLAB構建Transformer模型

    LanguageProcessing, NLP)中的序列到序列任務,如機器翻譯。Transformer 通過引入自注意力機制使得處理長距離依賴關系時變得高效。因此 Vaswani 等人的論文強調“
    的頭像 發(fā)表于 02-06 10:21 ?4005次閱讀
    如何使用MATLAB構建Transformer模型

    AN3408-如何12位ADC用于敏電阻

    電子發(fā)燒友網(wǎng)站提供《AN3408-如何12位ADC用于敏電阻.pdf》資料免費下載
    發(fā)表于 01-21 14:38 ?0次下載
    AN3408-如何<b class='flag-5'>將</b>12位ADC<b class='flag-5'>用于</b><b class='flag-5'>力</b>敏電阻

    ADS1299S是否推薦有與DEMO匹配的傳感器頭?

    我們目前有個項目主要用于檢測幼兒的注意力,請問一下,TI ADS1299S是否推薦有與DEMO匹配的傳感器頭?如果有,請推薦。
    發(fā)表于 11-26 08:30

    《算芯片 高性能 CPUGPUNPU 微架構分析》第3篇閱讀心得:GPU革命:從圖形引擎到AI加速器的蛻變

    昇騰采用達芬奇架構,在AI Core中集成了標量/向量/張量處理單元。我注意到書中對TPU v4光學芯片互聯(lián)的分析特別深入,這種創(chuàng)新或重塑未來AI集群的架構范式。中國古語云\"大道至
    發(fā)表于 11-24 17:12

    什么是LLM?LLM在自然語言處理中的應用

    所未有的精度和效率處理和生成自然語言。 LLM的基本原理 LLM基于深度學習技術,尤其是變換器(Transformer)架構。變換器模型因其自注意力(Self-Attention)機制而聞名,這種
    的頭像 發(fā)表于 11-19 15:32 ?3634次閱讀

    一種基于因果路徑的層次圖卷積注意力網(wǎng)絡

    機電系統(tǒng)中數(shù)據(jù)驅動故障檢測模型的性能和可解釋性。引入了一種混合因果發(fā)現(xiàn)算法來發(fā)現(xiàn)監(jiān)測變量之間的繼承因果關系。順序連接因果變量的因果路徑用作接收場,使用多尺度卷積來提取特征。基于分層注意力機制來聚合
    的頭像 發(fā)表于 11-12 09:52 ?1057次閱讀
    一種基于因果路徑的層次圖卷積<b class='flag-5'>注意力</b>網(wǎng)絡

    Llama 3 模型與其他AI工具對比

    、技術架構 Llama 3模型 采用了最新的Transformer架構,并結合了自注意力機制和分組查詢關注(GQA)機制。 引入了高效的to
    的頭像 發(fā)表于 10-27 14:37 ?1057次閱讀

    Llama 3 在自然語言處理中的優(yōu)勢

    領域的最新進展。 1. 高度的上下文理解能力 Llama 3的一個顯著優(yōu)勢是其對上下文的深刻理解。傳統(tǒng)的NLP模型往往在處理復雜的語言結構和上下文依賴性時遇到困難。Llama 3通過使用先進的注意力機制和上下文編碼技術,能夠捕捉
    的頭像 發(fā)表于 10-27 14:22 ?726次閱讀

    未來AI大模型的發(fā)展趨勢

    上得到了顯著提升。未來,算法和架構的進一步優(yōu)化推動AI大模型在性能上實現(xiàn)新的突破。 多頭自注意力機制、前饋神經(jīng)網(wǎng)絡等關鍵技術的改進,增強
    的頭像 發(fā)表于 10-23 15:06 ?1934次閱讀

    【「算芯片 | 高性能 CPU/GPU/NPU 微架構分析」閱讀體驗】--全書概覽

    詳細。了解算芯片機制原理、架構組織形式邏輯等,對我們軟件開發(fā)算芯片方案能起到很好的促進作用。后面就是進行具體的閱讀與學習理解了。
    發(fā)表于 10-15 22:08

    2024 年 19 種最佳大型語言模型

    ,當時一篇題為“通過聯(lián)合學習對齊和翻譯的神經(jīng)機器翻譯”的研究論文中引入了注意力機制(一種旨在模仿人類認知注意力的機器學習技術)。2017年,另一篇論文“注意力就是你
    的頭像 發(fā)表于 08-30 12:56 ?980次閱讀
    2024 年 19 種最佳大型語言模型

    請問AURIX TC3xx tricore架構下浮點運算和浮點數(shù)小數(shù)點去掉變成整數(shù)來計算哪種方式更加節(jié)省算

    AURIX TC3xx tricore架構下浮點運算和浮點數(shù)小數(shù)點去掉變成整數(shù)來計算哪種方式更加節(jié)省算? 比如一個浮點數(shù)12.89V,如果將其寫成12890mV,再參與計算,哪種方式更加節(jié)省算
    發(fā)表于 08-26 06:54