SE注意力模塊
SE注意力模塊的全稱(chēng)是Squeeze-and-Excitation block、其中Squeeze實(shí)現(xiàn)全局信息嵌入、Excitation實(shí)現(xiàn)自適應(yīng)權(quán)重矯正,合起來(lái)就是SE注意力模塊。
把SE注意力模塊添加到Inception Module中與ResNet的殘差Module中,實(shí)現(xiàn)SE注意力版本的Inception與ResNet模型
SE注意力模塊集成殘差的四種不同結(jié)構(gòu)設(shè)計(jì)
CA注意力模塊
圖中最右側(cè)是CA注意力模塊、左側(cè)是SE注意力模塊、中間是CBAM注意力模塊、CA注意力通過(guò)坐標(biāo)信息嵌入和坐標(biāo)注意力生成兩個(gè)步驟把通道關(guān)系和長(zhǎng)程依賴(lài)關(guān)系精確編碼。
CBAM注意力模塊
該圖顯示了如何把一個(gè)CBAM模塊集成到到一個(gè)殘差模塊中,實(shí)現(xiàn)殘差CBAM模塊,CBAM是集成了通道注意力與空間注意力、通道和空間注意力模塊生成首先是通過(guò)平均池化和最大池化分別生成通道與空間注意力的輸入,然后通過(guò)MLP與7x7卷積輸出通道子模塊和空間子模塊。
ECA注意力模塊
通過(guò)全局均值池化(GAP)獲得的聚合通道特征,然后通過(guò)大小為k濾波器的快速1D卷積,然后重新構(gòu)建一個(gè)維的卷積輸出結(jié)果,乘以輸入的每個(gè)通通道數(shù)據(jù)作為輸出實(shí)現(xiàn)注意力機(jī)制為ECA。
GAM注意力模塊
全局注意力模塊基于CBAM注意力模塊集成上重新設(shè)計(jì)通道與空間兩個(gè)子模塊實(shí)現(xiàn),其中通道注意力直接使用MLP實(shí)現(xiàn)、空間注意力通過(guò)兩個(gè)7乘7的卷積實(shí)現(xiàn),最終GAM注意力添加到ResNet網(wǎng)絡(luò)的效果相比SE注意力、CBAM注意力有明顯提升。
YOLOv57.0 注意力加持版本
審核編輯:劉清
-
濾波器
+關(guān)注
關(guān)注
162文章
8138瀏覽量
182106 -
ECA
+關(guān)注
關(guān)注
0文章
8瀏覽量
7742 -
Module
+關(guān)注
關(guān)注
0文章
72瀏覽量
13255 -
MLP
+關(guān)注
關(guān)注
0文章
57瀏覽量
4621
原文標(biāo)題:五種即插即用的視覺(jué)注意力模塊
文章出處:【微信號(hào):CVSCHOOL,微信公眾號(hào):OpenCV學(xué)堂】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
即插即用和熱插拔的區(qū)別
基于SLH89F5162的左額電壓信號(hào)的注意力比拼
基于labview的注意力分配實(shí)驗(yàn)設(shè)計(jì)
PCI與即插即用
什么是即插即用
Helieon(TM)LED照明模塊即插即用
DeepMind為視覺(jué)問(wèn)題回答提出了一種新的硬注意力機(jī)制
北大研究者創(chuàng)建了一種注意力生成對(duì)抗網(wǎng)絡(luò)
一種通過(guò)引入硬注意力機(jī)制來(lái)引導(dǎo)學(xué)習(xí)視覺(jué)回答任務(wù)的研究
深度分析NLP中的注意力機(jī)制
華南理工開(kāi)源VISTA:雙跨視角空間注意力機(jī)制實(shí)現(xiàn)3D目標(biāo)檢測(cè)SOTA
基于超大感受野注意力的超分辨率模型
計(jì)算機(jī)視覺(jué)中的注意力機(jī)制

基于YOLOv5s基礎(chǔ)上實(shí)現(xiàn)五種視覺(jué)注意力模塊的改進(jìn)

評(píng)論