[CVPR | 论文简读] 基于信息分流的多尺度自注意力机制
论文 基于 信息 机制 简读 CVPR 注意力 尺度
2023-06-13 09:16:24 时间
简读分享 | 汪逢生 编辑 | 乔剑博
论文题目
Shunted Self-Attention via Multi-Scale Token Aggregation
论文摘要
最近的 Vision Transformer (ViT) 模型在各种计算机视觉任务中取得了不错的结果,这要归功于它通过自我注意对图像块或标记的长期依赖关系进行建模的能力。然而这些模型通常指定每一层内每个标记特征的相似感受野。这种约束不可避免地限制了每个自注意力层捕获多尺度特征的能力,从而导致在处理具有不同尺度的多个对象的图像时性能下降。为了解决这个问题,作者提出了一种新颖的通用策略,称为分流自我注意 (SSA),它允许 ViT 在每个注意层的混合尺度上对注意进行建模。SSA 的关键思想是将异构感受野大小注入到token中:在计算自注意力矩阵之前,它选择性地合并token以表示更大的对象特征,同时保留某些token以保留细粒度的特征。这种新颖的合并方案使self-attention能够学习不同大小的对象之间的关系,同时减少token数量和计算成本。各种任务的广泛实验证明了 SSA 的优越性。具体来说,基于 SSA 的 Transformer 实现了 84.0% 的 Top-1 准确率,并且在 ImageNet 上以只有一半的模型大小和计算成本超过了最先进的Focal Transformer,并且在 COCO 上超过了 Focal Transformer 1.3 mAP在相似的参数和计算成本下,ADE20K 上为 2.9 mIOU。
论文链接
https://arxiv.org/abs/2111.15193
相关文章
- 【P4论文分享】基于P4的可编程数据平面研究及其应用
- [AI安全论文] 20.RAID19 基于Android移动设备的互联网流量中的位置数据泄漏分析(译文)
- CVPR2022论文速递(2022.6.22)!共16篇!
- [AI安全论文] (23)恶意代码作者溯源(去匿名化)经典论文阅读:二进制和源代码对比
- 论文阅读:《基于机器学习的企业定价算法研究》
- 论文推介 | 同步运输和物流中基于智能体的数字孪生(ABM-DT):虚拟和物理空间的融合
- 论文推荐:TResNet改进ResNet 实现高性能 GPU 专用架构并且效果优于 EfficientNet
- [Chemical Science | 论文简读] 使用基于Transformer的模型和超图探索策略预测逆合成路径
- [IEEE TMI | 论文简读] 基于对比半监督学习的相似解剖结构领域自适应分割
- [Bioinformatics | 论文解读] 基于生成对抗网络的单细胞半监督注释和降维框架
- [AAAI | 论文解读] 知识图谱如何嵌入对未知数据的外推:语义证据视图
- [Brief. Bioinformatics | 论文简读] 基于知识的BERT:像计算化学家一样提取分子特征的方法
- [Nature Communications | 论文简读] 利用领域知识进行鲁棒和可泛化深度学习的无CT的PET衰减和散射校正
- [CVPR 2022 | 论文简读] 基于Transformer的高质量实例分割方法
- [Nucleic Acids Research | 论文简读] 基于大规模数据整合的单细胞基因调控网络推理算法
- [Nat. Biomed. Eng. | 论文简读] 基于自监督深度学习的全切片病理图像快速可扩展搜索
- [IJCAI 2022 | 论文简读] CARD:通过基于类不可知关系的去噪进行半监督语义分割
- [IJCAI | 论文简读] 基于Transformer的目标增强生成对抗网络生成所需分子
- [arxiv | 论文简读] 深度K-Means:简单有效的数据聚类方法
- ECCV 2022开奖!清华、浙大校友斩获最佳论文奖
- java基于ssm框架开发的公交查询系统源码公交系统源码公交路线查询项目有论文
- 【每周CV论文推荐】基于GAN的图像对比度与色调映射增强值得阅读的文章
- 字节跳动基础架构团队参会报告:一文看懂VLDB'22技术趋势及精选论文
- WWW-2021最佳论文亚军花落天津大学:基于属性补全的异质图神经网络新架构
- 【论文笔记】An End-to-end Approach for Handling Unknown Slot Values in Dialogue State Tracking
- Science Robotics 封面论文:重创微型飞行机器人的介电弹性驱动器,依旧坚挺!
- 论文撰写何必愁?Linux指南教你搞定!(linux有关论文)
- 基于Redis的数据库研究(基于redis数据库论文)
- 700多篇人类基因功能的论文,里面居然全是错?