CrossFormer: A Versatile Vision Transformer Hinging on Cross-scale Attention

https://arxiv.org/abs/2108.00154
https://github.com/cheerss/CrossFormer

这是视觉的Transformer

演进过程：VIT---PVT---CrossFormer

• VIT没有考虑多尺度信息
• PVT通过特征下采样集成了多尺度信息
• CrossFormer基于跨尺度注意力机制的视觉Transformer

相关资料：

1. 【ICLR2022】CrossFormer: A versatile vision transformer - 高峰OUC的文章 - 知乎
   https://zhuanlan.zhihu.com/p/468485931
2. Transformers系列--浅谈CrossFormer - FlyEgle的文章 - 知乎
   https://zhuanlan.zhihu.com/p/397792653