zl程序教程

您现在的位置是:首页 >  IT要闻

当前栏目

论文阅读: 1911.SINet

2023-04-18 13:10:43 时间

1911.09099:SINet: Extreme Lightweight Portrait Segmentation Networks with Spatial Squeeze Modules and Information Blocking Decoder

  • SINet 侧重于在提升人像分割网络的速度。

网络结构

  • 网络框架主要分为两部分:
    • 包含 空间压缩模块(spatial squeeze module)的编码器。
      • 空间压缩模块(spatial squeeze module):
        • 在 shuffleNetV2 模块的基础上,在不同路径上使用不同尺度的池化操作压缩特征空间分辨率,提取不同感受野的特征来应对不同尺度的人像,减少计算延时。
        • 选择average pooling 而不是dilated convolution增大感受野,是因为后者会带来较大时延以及栅格效应(grid effects)。
        • 结构如下:
    • 包含 信息屏蔽机制(information blocking scheme)的解码器。
      • 信息屏蔽机制:
        • 是根据深层低分辨率特征预测的人像置信度,在融合浅层高分辨率特征时,屏蔽高置信度区域,只融合低置信度区域的浅层特征,避免引入无关的噪声。
    • 最终完整的网络结构如下:

性能

  • 论文数据:SINet 在 EG1800 人像分割测试集的 MIOU 为 95.3%,但模型参数大小只有 86.9K,和 PortraitNet 相比减少 95.9% 的参数。
  • 实际使用:真的很轻量级。information blocking 很轻但是精度一般。