一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

電子發(fā)燒友App

硬聲App

搜索歷史

清空
搜索熱詞
      0
      • 聊天消息
      • 系統(tǒng)消息
      • 評論與回復
      VIP于 到期 續(xù)費
      登錄后你可以
      • 下載海量資料
      • 學習在線課程
      • 觀看技術視頻
      • 寫文章/發(fā)帖/加入社區(qū)
      會員中心
      創(chuàng)作中心
      發(fā)布
      創(chuàng)作活動

      完善資料讓更多小伙伴認識你，還能領取20積分哦，立即完善>

      3天內不再提示
      創(chuàng)作
      電子發(fā)燒友網>電子資料下載>電子資料>PyTorch教程11.5之多頭注意力

      PyTorch教程11.5之多頭注意力

      2023-06-05 | pdf | 0.14 MB | 次下載 | 免費

      資料介紹

      在實踐中，給定一組相同的查詢、鍵和值，我們可能希望我們的模型結合來自同一注意機制的不同行為的知識，例如捕獲各種范圍的依賴關系（例如，較短范圍與較長范圍）在一個序列中。因此，這可能是有益的
      允許我們的注意力機制聯(lián)合使用查詢、鍵和值的不同表示子空間。

      為此，可以使用以下方式轉換查詢、鍵和值，而不是執(zhí)行單個注意力池h獨立學習線性投影。那么這些h投影查詢、鍵和值被并行輸入注意力池。到底，h 注意池的輸出與另一個學習的線性投影連接并轉換以產生最終輸出。這種設計稱為多頭注意力，其中每個hattention pooling outputs 是一個頭 （Vaswani et al. , 2017）。使用全連接層執(zhí)行可學習的線性變換，圖 11.5.1描述了多頭注意力。

      ../_images/多頭注意力.svg

      圖 11.5.1多頭注意力，其中多個頭連接起來然后進行線性變換。

      import math
import torch
from torch import nn
from d2l import torch as d2l

      import math
from mxnet import autograd, np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2l

npx.set_np()

      import jax
from flax import linen as nn
from jax import numpy as jnp
from d2l import jax as d2l

      No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)

      import tensorflow as tf
from d2l import tensorflow as d2l

      11.5.1。模型

      在提供多頭注意力的實現(xiàn)之前，讓我們從數(shù)學上形式化這個模型。給定一個查詢 q∈Rdq， 關鍵 k∈Rdk和一個值 v∈Rdv, 每個注意力頭 hi(i=1,…,h) 被計算為

      (11.5.1)hi=f(Wi(q)q,Wi(k)k,Wi(v)v)∈Rpv,

      其中可學習參數(shù) Wi(q)∈Rpq×dq, Wi(k)∈Rpk×dk和 Wi(v)∈Rpv×dv， 和f是注意力集中，例如11.3 節(jié)中的附加注意力和縮放點積注意力。多頭注意力輸出是另一種通過可學習參數(shù)進行的線性變換Wo∈Rpo×hpv的串聯(lián)h負責人：

      (11.5.2)Wo[h1?hh]∈Rpo.

      基于這種設計，每個頭可能會關注輸入的不同部分。可以表達比簡單加權平均更復雜的函數(shù)。

      11.5.2。執(zhí)行

      在我們的實現(xiàn)中，我們?yōu)槎囝^注意力的每個頭選擇縮放的點積注意力。為了避免計算成本和參數(shù)化成本的顯著增長，我們設置 pq=pk=pv=po/h


      下載該資料的人也在下載 下載該資料的人還在閱讀
      更多 >

      評論

      查看更多

      下載排行

      本周

      1. 1山景DSP芯片AP8248A2數(shù)據(jù)手冊
      2. 1.06 MB  |  532次下載  |  免費
      3. 2RK3399完整板原理圖（支持平板，盒子VR）
      4. 3.28 MB  |  339次下載  |  免費
      5. 3TC358743XBG評估板參考手冊
      6. 1.36 MB  |  330次下載  |  免費
      7. 4DFM軟件使用教程
      8. 0.84 MB  |  295次下載  |  免費
      9. 5元宇宙深度解析—未來的未來-風口還是泡沫
      10. 6.40 MB  |  227次下載  |  免費
      11. 6迪文DGUS開發(fā)指南
      12. 31.67 MB  |  194次下載  |  免費
      13. 7元宇宙底層硬件系列報告
      14. 13.42 MB  |  182次下載  |  免費
      15. 8FP5207XR-G1中文應用手冊
      16. 1.09 MB  |  178次下載  |  免費

      本月

      1. 1OrCAD10.5下載OrCAD10.5中文版軟件
      2. 0.00 MB  |  234315次下載  |  免費
      3. 2555集成電路應用800例(新編版)
      4. 0.00 MB  |  33566次下載  |  免費
      5. 3接口電路圖大全
      6. 未知  |  30323次下載  |  免費
      7. 4開關電源設計實例指南
      8. 未知  |  21549次下載  |  免費
      9. 5電氣工程師手冊免費下載(新編第二版pdf電子書)
      10. 0.00 MB  |  15349次下載  |  免費
      11. 6數(shù)字電路基礎pdf(下載)
      12. 未知  |  13750次下載  |  免費
      13. 7電子制作實例集錦 下載
      14. 未知  |  8113次下載  |  免費
      15. 8《LED驅動電路設計》 溫德爾著
      16. 0.00 MB  |  6656次下載  |  免費

      總榜

      1. 1matlab軟件下載入口
      2. 未知  |  935054次下載  |  免費
      3. 2protel99se軟件下載(可英文版轉中文版)
      4. 78.1 MB  |  537798次下載  |  免費
      5. 3MATLAB 7.1 下載 (含軟件介紹)
      6. 未知  |  420027次下載  |  免費
      7. 4OrCAD10.5下載OrCAD10.5中文版軟件
      8. 0.00 MB  |  234315次下載  |  免費
      9. 5Altium DXP2002下載入口
      10. 未知  |  233046次下載  |  免費
      11. 6電路仿真軟件multisim 10.0免費下載
      12. 340992  |  191187次下載  |  免費
      13. 7十天學會AVR單片機與C語言視頻教程 下載
      14. 158M  |  183279次下載  |  免費
      15. 8proe5.0野火版下載(中文版免費下載)
      16. 未知  |  138040次下載  |  免費