1706.05587：Rethinking Atrous Convolution for Semantic Image Segmentation

三大改进点

• 去掉CRF模块。
• 改进了ASPP：
  • 相比V2的ASPP增加了1x1的conv以及global avg pooling。
  • 对ASPP每个空洞卷积加入了BN层。
• 在级联模块中应用空洞卷积：
  • 将空洞卷积应用在最后面的级联模块，框架可以更通用。
  • 论文中的级联模块指复制了四份block4，这四份分别使用不同rate的空洞卷积，最终block输出结果：

  • 但这种结构效果并没有改进后的ASPP结构好：

架构设计

• Encoder的主体是带有空洞卷积的DCNN，可以采用常用的分类网络如ResNet，然后是带有空洞卷积的空间金字塔池化模块（Atrous Spatial Pyramid Pooling, ASPP)），主要是为了引入多尺度信息。（这种架构在DeeplabV3+中被沿用）。
• 对于DeepLabv3，经过ASPP模块得到的特征图的output_stride为8或者16，其经过1x1的分类层后直接双线性插值到原始图片大小，这是一种非常暴力的decoder方法，特别是output_stride=16。然而这并不利于得到较精细的分割结果，故v3+模型中借鉴了EncoderDecoder结构，引入了新的Decoder模块。