【Transformer】开源 | 牛津大学&字节跳动提出TransMix，将基于Mixup的方法推向增强ViTs

论文地址： http://arxiv.org/pdf/2111.09833v1.pdf

来源： Johns Hopkins University，University of Oxford，字节跳动

论文名称：TransMix: Attend to Mix for Vision Transformers

原文作者：Jie-Neng Chen

内容提要

在训练过程中，基于Mixup的增强对于模型的泛化是有效的，特别是对于视觉Transformers (ViTs)，因为它们很容易过拟合。然而，之前的基于Mixup的方法都有一个潜在的先验知识，即目标的线性插值比例应该与输入插值的比例保持一致。这可能会导致一个奇怪的现象，有时由于增强过程中的随机过程，混合图像中没有有效的对象，但在标签空间中仍然有响应。为了弥补输入空间和标签空间之间的差距，我们提出了TransMix，它基于ViTs的注意地图混合标签。如果相应的输入图像被注意图加权得更高，那么标签的置信度就会更大。TransMix非常简单，只需几行代码就可以实现，而无需向基于ViT的模型引入任何额外参数和FLOPs。实验结果表明，该方法在ImageNet分类上可以在尺度上持续改进各种基于ViT的模型。在ImageNet上使用TransMix进行预训练后，基于ViT的模型在语义分割、目标检测和实例分割方面表现出更好的可移植性。TransMix在4个不同的基准测试中也表现得更加健壮。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请加上文微信联系删除。