提供了编程的基础技术教程

zl程序教程

您现在的位置是：首页 >  其它

当前栏目

改进YOLOv5系列：20.添加GAMAttention注意力机制

系列 添加 机制 20 改进 YOLOv5 注意力
2023-09-14 09:14:46 时间

最新创新点改进推荐

-💡统一使用 YOLO 代码框架，结合不同模块来构建不同的YOLO目标检测模型。

🔥 《芒果书》系列改进专栏内的改进文章，均包含多种模型改进方式，均适用于YOLOv3 、YOLOv4 、 YOLOR 、 YOLOX 、YOLOv5 、 YOLOv7 、 YOLOv8 改进（重点）！！！

🔥 专栏创新点教程 均有不少同学反应和我说已经在自己的数据集上有效涨点啦！！ 包括COCO数据集也能涨点

所有文章博客均包含 改进源代码部分，一键训练即可

🔥 对应专栏订阅的越早，就可以越早使用原创创新点去改进模型，抢先一步

点击查看详情：YOLOv5改进、YOLOv7改进｜YOLO改进超过50种注意力机制，全篇共计30万字（内附改进源代码），原创改进50种Attention注意力机制和Transformer自注意力机制

芒果书 点击以下链接 查看文章目录详情🔗

对于这块有疑问的，可以在评论区提出，或者私信CSDN。🌟

文章目录

YOLOv5、YOLOv7 + 注意力机制一览

YOLOv5 + ShuffleAttention注意力机制
博客链接🔗🌟：改进YOLOv5系列：12.添加ShuffleAttention注意力机制
YOLOv5 + CrissCrossAttention注意力机制
博客链接🔗🌟：改进YOLOv5系列：13.添加CrissCrossAttention注意力机制
YOLOv5 + S2-MLPv2注意力机制
博客链接🔗🌟：改进YOLOv5系列：14.添加S2-MLPv2注意力机制
YOLOv5 + SimAM注意力机制
博客链接🔗🌟：改进YOLOv5系列：15.添加SimAM注意力机制
YOLOv5 + SKAttention注意力机制
博客链接🔗🌟：改进YOLOv5系列：16.添加SKAttention注意力机制
YOLOv5 + NAMAttention注意力机制
博客链接🔗🌟：改进YOLOv5系列：17.添加NAMAttention注意力机制
YOLOv5 + SOCA注意力机制
博客链接🔗🌟：改进YOLOv5系列：18.添加SOCA注意力机制
YOLOv5 + CBAM注意力机制
博客链接🔗🌟：改进YOLOv5系列：18.添加CBAM注意力机制
YOLOv5 + SEAttention注意力机制
博客链接🔗🌟：改进YOLOv5系列：19.添加SEAttention注意力机制
YOLOv5 + GAMAttention注意力机制
博客链接🔗🌟：改进YOLOv5系列：20.添加GAMAttention注意力机制
YOLOv5 + CA注意力机制
博客链接🔗🌟：github
YOLOv5 + ECA注意力机制 博客链接🔗🌟：github
更多模块详细解释持续更新中。。。

之后继续更新🔥🔥🔥

第一种、YOLOv5使用GAMAttention注意力机制

GAMAttention注意力机制原理图

在这里插入图片描述

1.1增加以下GAMAttention.yaml文件

# YOLOv5 🚀 by YOLOAir, GPL-3.0 license

# parameters
nc: 10  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple

# anchors
anchors:
  #- [5,6, 7,9, 12,10]      # P2/4
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 backbone
backbone:
  # [from, number, module, args]               # [c=channels,module,kernlsize,strides]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2           [c=3,64*0.5=32,3]
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4    
   [-1, 3, C3, [128]],                                
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8            
   [-1, 6, C3, [256]],                         
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16       
   [-1, 9, C3, [512]],                     
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]], 
   [-1, 1, GAMAttention, [1024,1024]], #9
   [-1, 1, SPPF, [1024,5]], #10
  ]

# YOLOv5 head
head:
  [[-1, 1, Conv, [512, 1, 1]], 
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 14
  
   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 18 (P3/8-small)
   
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 15], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 21 (P4/16-medium)       [256, 256, 1, False] 

   [-1, 1, Conv, [512, 3, 2]],                           #[256, 256, 3, 2] 
   [[-1, 11], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 24 (P5/32-large)       [512, 512, 1, False]
 
   [[18, 21, 24], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

1.2common.py配置

./models/common.py文件增加以下模块


  import numpy as np
import torch
from torch import nn
from torch.nn import init

class GAMAttention(nn.Module):
       #https://paperswithcode.com/paper/global-attention-mechanism-retain-information
    def __init__(self, c1, c2, group=True,rate=4):
        super(GAMAttention, self).__init__()
        
        self.channel_attention = nn.Sequential(
            nn.Linear(c1, int(c1 / rate)),
            nn.ReLU(inplace=True),
            nn.Linear(int(c1 / rate), c1)
        )
        self.spatial_attention = nn.Sequential(
            nn.Conv2d(c1, c1//rate, kernel_size=7, padding=3,groups=rate)if group else nn.Conv2d(c1, int(c1 / rate), kernel_size=7, padding=3), 
            nn.BatchNorm2d(int(c1 /rate)),
            nn.ReLU(inplace=True),
            nn.Conv2d(c1//rate, c2, kernel_size=7, padding=3,groups=rate) if group else nn.Conv2d(int(c1 / rate), c2, kernel_size=7, padding=3), 
            nn.BatchNorm2d(c2)
        )

    def forward(self, x):
        b, c, h, w = x.shape
        x_permute = x.permute(0, 2, 3, 1).view(b, -1, c)
        x_att_permute = self.channel_attention(x_permute).view(b, h, w, c)
        x_channel_att = x_att_permute.permute(0, 3, 1, 2)
        x = x * x_channel_att
 
        x_spatial_att = self.spatial_attention(x).sigmoid()
        x_spatial_att=channel_shuffle(x_spatial_att,4) #last shuffle 
        out = x * x_spatial_att
        return out  

def channel_shuffle(x, groups=2):   ##shuffle channel 
        #RESHAPE----->transpose------->Flatten 
        B, C, H, W = x.size()
        out = x.view(B, groups, C // groups, H, W).permute(0, 2, 1, 3, 4).contiguous()
        out=out.view(B, C, H, W) 
        return out

1.3yolo.py配置

在 models/yolo.py文件夹下

  • 定位到parse_model函数中
  • for i, (f, n, m, args) in enumerate(d['backbone'] + d['head']):内部
  • 对应位置 下方只需要新增以下代码
elif m is GAMAttention:
    c1, c2 = ch[f], args[0]
    if c2 != no:
        c2 = make_divisible(c2 * gw, 8)

1.4训练模型

python train.py --cfg yolov5_GAMAttention.yaml

往期YOLO改进教程导航

11.改进YOLOv5系列：11.ConvNeXt结合YOLO | CVPR2022 多种搭配，即插即用 | Backbone主干CNN模型

10.改进YOLOv5系列：10.最新HorNet结合YOLO应用首发！ | ECCV2022出品，多种搭配，即插即用 | Backbone主干、递归门控卷积的高效高阶空间交互

9.改进YOLOv5系列：9.BoTNet Transformer结构的修改

8.改进YOLOv5系列：8.增加ACmix结构的修改,自注意力和卷积集成

7.改进YOLOv5系列：7.修改DIoU-NMS,SIoU-NMS,EIoU-NMS,CIoU-NMS,GIoU-NMS

6.改进YOLOv5系列：6.修改Soft-NMS,Soft-CIoUNMS,Soft-SIoUNMS

5.改进YOLOv5系列：5.CotNet Transformer结构的修改

4.改进YOLOv5系列：4.YOLOv5_最新MobileOne结构换Backbone修改

3.改进YOLOv5系列：3.Swin Transformer结构的修改

2.改进YOLOv5系列：2.PicoDet结构的修改

1.改进YOLOv5系列：1.多种注意力机制修改

相关文章