颜水成发了个“简单到尴尬”的模型证明Transformer威力源自架构
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
Transformer做视觉取得巨大成功,各大变体频频刷榜,其中谁是最强?
早期人们认为是其中的注意力机制贡献最大,对注意力模块做了很多改进。
后续研究又发现不用注意力换成Spatial MLP效果也很好,甚至使用傅立叶变换模块也能保留97%的性能。
争议之下,颜水成团队的最新论文给出一个不同观点:
其实这些具体模块并不重要,Transformer的成功来自其整体架构。
![颜水成发了个“简单到尴尬”的模型证明Transformer威力源自架构](https://s6.51cto.com/oss/202111/25/aca05873dfee2da9f76fb0838a61a6f8.jpg)
他们把Transformer中的注意力模块替换成了简单的空间池化算子,新模型命名为PoolFormer。
这里原文的说法很有意思,“简单到让人尴尬”……
![颜水成发了个“简单到尴尬”的模型证明Transformer威力源自架构](https://s6.51cto.com/oss/202111/25/1316b3c85aa53206398396da2cac0198.jpg)
测试结果上,PoolFormer在ImageNet-1K上获得了82.1%的top-1精度。
(PyTorch版代码已随论文一起发布在GitHub上,地址可在这篇推文末尾处获取。)
同等参数规模下,简单池化模型超过了一些经过调优的使用注意力(如DeiT)或MLP模块(如ResMLP)的模型。
![颜水成发了个“简单到尴尬”的模型证明Transformer威力源自架构](https://s2.51cto.com/oss/202111/25/ba0f2cae55a21979448fed3a7b57ccc3.jpg)
这个结果让一些围观的CVer直接惊掉下巴:
![颜水成发了个“简单到尴尬”的模型证明Transformer威力源自架构](https://s2.51cto.com/oss/202111/25/989b50e02496d5b2f6b4228e01f780a6.jpg)
太好奇了,模型简单到什么样才能令人尴尬?
PoolFormer
整体结构与其他模型类似,PoolFormer只是把token mixer部分换了一下。
![颜水成发了个“简单到尴尬”的模型证明Transformer威力源自架构](https://s2.51cto.com/oss/202111/25/75f487735ca4dbd91c98e6fe883a3570.jpg)
因为主要验证视觉任务,所以假设输入数据的格式为通道优先,池化算子描述如下:
![颜水成发了个“简单到尴尬”的模型证明Transformer威力源自架构](https://s5.51cto.com/oss/202111/25/b0a880c7bb8c0eed327b8a9f84fd3942.jpg)
PyTorch风格的伪代码大概是这样:
![颜水成发了个“简单到尴尬”的模型证明Transformer威力源自架构](https://s6.51cto.com/oss/202111/25/1bc7ea1052f67ec5b7b538a6b44d07b4.jpg)
池化算子的复杂度比自注意力和Spatial MLP要小,与要处理的序列长度呈线性关系。
其中也没有可学习的参数,所以可以采用类似传统CNN的分阶段方法来充分发挥性能,这次的模型分了4个阶段。
假设总共有L个PoolFormer块,那么4个阶段分配成L/6、L/6、L/2、L/6个。
![颜水成发了个“简单到尴尬”的模型证明Transformer威力源自架构](https://s3.51cto.com/oss/202111/25/2a56a48a148332cac40be8430528ab6a.jpg)
每个阶段的具体参数如下:
![颜水成发了个“简单到尴尬”的模型证明Transformer威力源自架构](https://s6.51cto.com/oss/202111/25/0da16d9279db6d15d18e6fba27ed6783.jpg)
PoolFormer基本情况介绍完毕,下面开始与其他模型做性能对比。
首先是图像分类任务,对比模型分为三类:
- CNN模型ResNet和RegNetY
- 使用注意力模块的ViT、DeiT和PVT
- 使用Spatial MLP的MLP-Mixer、ResMLP、Swin-Mixer和gMLP
在ImageNet-1K上,无论是按累计乘加操作数(MACs)还是按参数规模为标准,PoolFormer性能都超过了同等规模的其他模型。
![颜水成发了个“简单到尴尬”的模型证明Transformer威力源自架构](https://s5.51cto.com/oss/202111/25/d9055b888d627f63b16d65767f6cde13.jpg)
目标检测和实例分割任务上用了COCO数据集,两项任务中PoolFormer都以更少的参数取得比ResNet更高的性能。
△目标检测
△实例分割
最后是ADE20K语义分割任务,PoolFormer的表现也超过了ResNet、ResNeXt和PVT。
![颜水成发了个“简单到尴尬”的模型证明Transformer威力源自架构](https://s3.51cto.com/oss/202111/25/ffc09f5d7fee3efa8c1e1eea30f605d6.jpg)
消融实验
上面可以看出,几大视觉任务上PoolFormer都取得了有竞争力的成绩。
不过这还不足以支撑这篇论文开头提出的那个观点。
到底是整体架构重要?还是说PoolFormer中的池化模块刚好是一种简单却有效的Token Mixer?
团队的验证方法是把池化模块直接替换成恒等映射(Identity Mapping)。
结果令人惊讶,替换后在ImageNet-1K上也保留了74.3%的Top-1精度。
在此基础上无论是改变池化核尺寸、归一化方法、激活函数影响都不大。
最重要的是,在4个阶段中把注意力和空间全连接层等机制混合起来用性能影响也不大。
其中特别观察到,前两阶段用池化后两阶段用注意力这种组合表现突出。
这样的配置下稍微增加一下规模精度就可达到81%,作为对比的ResMLP-B24模型达到相同性能需要7倍的参数规模和8.5倍的累计乘加操作。
![颜水成发了个“简单到尴尬”的模型证明Transformer威力源自架构](https://s3.51cto.com/oss/202111/25/93b0c41cf7bb176c5f74592db452a7eb.jpg)
最终,消融实验结果说明Transformer中具体到token mixer这个部分,具体用了哪种方法并不关键。
不增加模型规模的情况下,网络的整体结构才是对性能提升最重要的。
这样的整体结构被团队提炼出来,命名为MetaFormer。
![颜水成发了个“简单到尴尬”的模型证明Transformer威力源自架构](https://s5.51cto.com/oss/202111/25/6ad179d3a3739ed3da251ed04c95bde3.jpg)
NLP上还会成立吗?
这项研究由颜水成领导的Sea AI Lab和来自新加坡国立大学的成员共同完成。
△颜水成
论文的最后,团队表示下一步研究方向是在更多场景下继续验证,如自监督学习和迁移学习。
除了视觉任务,也要看看在NLP任务上结论是否也成立。
另外发这篇论文还有一个目的:
呼吁大家把研究的重点放在优化模型的基础结构,而不是在具体模块上花太多精力去打磨。
![颜水成发了个“简单到尴尬”的模型证明Transformer威力源自架构](https://s3.51cto.com/oss/202111/25/e2b27ada9e49c83faa8310c4c3a1794d.jpg)
论文地址:
https://arxiv.org/abs/2111.11418
GitHub仓库:
https://github.com/sail-sg/poolformer
相关文章
- 金融服务领域的大数据:即时分析
- 影响大数据、机器学习和人工智能未来发展的8个因素
- 从0开始构建一个属于你自己的PHP框架
- 如何将Hadoop集成到工作流程中?这6个优秀实践必看
- SEO公司使用大数据优化其模型的5种方法
- 关于Web Workers你需要了解的七件事
- 深入理解HTTPS原理、过程与实践
- 增强分析:数据和分析的未来
- PHP协程实现过程详解
- AI专家:大数据知识图谱——实战经验总结
- 关于PHP的错误机制总结
- 利用数据分析量化协同过滤算法的两大常见难题
- 怎么做大数据工作流调度系统?大厂架构师一语点破!
- 2019大数据处理必备的十大工具,从Linux到架构师必修
- OpenCV中的KMeans算法介绍与应用
- 教大家如果搭建一套phpstorm+wamp+xdebug调试PHP的环境
- CentOS下三种PHP拓展安装方法
- Go语言HTTP Server源码分析
- Go语言HTTP Server源码分析
- 2017年4月编程语言排行榜:Hack首次进入前五十