改进YOLO系列 | ICLR2022 | OMNI-DIMENSIONAL DYNAMIC CONVOLUTION: 全维动态卷积
系列 动态 改进 卷积 Dynamic yolo Convolution
2023-09-27 14:20:16 时间
单个静态卷积核是现代卷积神经网络(CNNs)的常见训练范式。然而,最近的动态卷积研究表明,学习加权为其输入依赖注意力的n个卷积核的线性组合可以显著提高轻量级CNNs的准确性,同时保持高效的推理。然而,我们观察到现有的作品通过卷积核空间的一个维度(关于卷积核数量)赋予卷积核动态属性,但是另外三个维度(关于每个卷积核的空间尺寸,输入通道数量和输出通道数量)被忽视了。受此启发,我们提出全维动态卷积(ODConv),这是一种更加通用但优雅的动态卷积设计,以推进这一研究领域。ODConv利用一种新的多维注意力机制和并行策略,以学习沿着卷积核空间的所有四个维度的卷积核的互补注意力。作为常规卷积的替代品,ODConv可以插入到许多CNN体系结构中。在ImageNet和MS-COCO数据集上的大量实验证明,ODConv为各种流行的CNN骨干结构带来了可靠的准确性提升,包括轻量级和大型结构,例如,在ImageNet数据集上,对于MobivleNetV2 | ResNet家族,绝对top-1改进为3.77%∼5.71% | 1.86%∼3.72%。有趣的是,由于其改进的特征学习能力,即使只有一个单独的卷积核,ODConv也可以与具有多个卷积核的现有动态卷积对手竞争或超越其性能,从
相关文章
- 情感分析系列(一)——IMDb数据集及其预处理
- Linux系列 —— 各种环境安装集合
- STM的低功耗系列
- [C++]动态规划系列之Warshall算法
- Spring Boot 系列:最新版优雅停机详解
- Pytest 系列(29)- 详解 allure.dynamic 动态生成功能
- Cypress系列(92)- Cypress.env 命令详解
- Rasa课程、Rasa培训、Rasa面试系列之: Rasa 3.0 ML Pipeline
- JS组件系列——分享自己封装的Bootstrap树形组件:jqTree
- mac装机系列:charles安装与配置
- Unity3d 基于xlua热更新实现系列二:Xlua脚本动态加载(半热更新)(含源码)
- SpringCloud系列六:Feign接口转换调用服务(Feign 基本使用、Feign 相关配置)
- SpringCloud系列三:SpringSecurity 安全访问(配置安全验证、服务消费端处理、无状态 Session 配置、定义公共安全配置程序类)
- SpringBoot系列十一:SpringBoot整合Restful架构(使用 RestTemplate 模版实现 Rest 服务调用、Swagger 集成、动态修改日志级别)
- Redux入门学习系列教程
- Koa2学习系列06-视图nunjucks——Koa 默认支持的模板引擎
- 【Java基础系列】switch使用
- 【mybatis-plus系列】动态表名
- 【mysql系列】动态sql语句