DL之PanopticFPN:Panoptic FPN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之PanopticFPN:Panoptic FPN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
目录
相关文章
DL之PanopticFPN:Panoptic FPN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之PanopticFPN:Panoptic FPN算法的架构详解
PanopticFPN算法的简介(论文介绍)
更新……
Abstract
The recently introduced panoptic segmentation task has renewed our community’s interest in unifying the tasks of instance segmentation (for thing classes) and semantic segmentation (for stuff classes). However, current state-ofthe-art methods for this joint task use separate and dissimilar networks for instance and semantic segmentation, without performing any shared computation. In this work, we aim to unify these methods at the architectural level, designing a single network for both tasks. Our approach is to endow Mask R-CNN, a popular instance segmentation method, with a semantic segmentation branch using a shared Feature Pyramid Network (FPN) backbone. Surprisingly, this simple baseline not only remains effective for instance segmentation, but also yields a lightweight, topperforming method for semantic segmentation. In this work, we perform a detailed study of this minimally extended version of Mask R-CNN with FPN, which we refer to as Panoptic FPN, and show it is a robust and accurate baseline for both tasks. Given its effectiveness and conceptual simplicity, we hope our method can serve as a strong baseline and aid future research in panoptic segmentation.
最近引入的泛光分割任务重新唤起了我们团队对统一实例分割(对象类)和语义分割(对象类)任务的兴趣。然而,目前用于这个联合任务的最先进的方法使用分离和不同的网络,例如语义分割,而不执行任何共享计算。在这项工作中,我们的目标是在体系结构级别统一这些方法,为这两个任务设计一个单一的网络。我们的方法是赋予流行的实例分割方法掩模R-CNN一个使用共享特征金字塔网络(FPN)主干的语义分割分支。令人惊讶的是,这个简单的基线不仅在实例分割方面仍然有效,而且还产生了一个轻量级的、性能最好的语义分割方法。在这项工作中,我们使用FPN对这个最小扩展版本的Mask R-CNN进行了详细的研究,我们将其称为Panoptic FPN,并表明它对于这两个任务来说都是一个健壮和准确的基线。鉴于其有效性和概念的简单性,我们希望我们的方法可以作为一个强大的基线,并帮助未来的研究全光分割。
Conclusion
We introduce a conceptually simple yet effective baseline for panoptic segmentation. The method starts with Mask R-CNN with FPN and adds to it a lightweight semantic segmentation branch for dense-pixel prediction. We hope it can serve as a strong foundation for future research.
我们介绍了一个概念简单但有效的全光分割基线。该方法以带FPN的Mask R-CNN为起点,在此基础上增加了一个轻量级的语义分割分支,用于密集像素预测。希望为今后的研究打下坚实的基础。
论文
Alexander Kirillov Ross GirshickKaimingHe Piotr Dollár 2019
Panoptic Feature Pyramid Networks
https://arxiv.org/pdf/1901.02446.pdf
0、实验结果
1、使用一个单一的ResNet-101-FPN网络,在COCO(顶部)和Cityscapes(底部)上生成Panoptic FPN结果
Panoptic FPN results on COCO (top) and Cityscapes (bottom) using a single ResNet-101-FPN network.
2、Cityscapes Semantic FPN
3、Multi-Task Training
4、Panoptic Segmentation
Panoptic R50-FPN vs. R50-FPN×2
使用单个FPN网络同时解决这两个任务,与两个独立FPN网络分别产生实例分割和语义分割相当的精度,但计算量只有一半。
1、不同架构比较
PanopticFPN算法的架构详解
更新……
PanopticFPN算法的案例应用
更新……
相关文章
- 【原创】数据挖掘案例——ReliefF和K-means算法的医学应用
- DL之Attention:Attention注意力机制算法的起源与盛行及其长距离有效的原因、概述(背景/本质/与ED框架关系/架构/优缺点/扩展,理解,本质,变种)、案例应用(CV/NLP)之详细攻略
- XAI之ALE:基于titanic泰坦尼克数据集对RF算法利用ALE累积局部效应图可视化算法进而实现模型可解释性案例
- CV之IG之Inception:基于TF框架利用Inception模型+GD算法的某层网络图像生成原始的Deep Dream幻觉梦境图片(特征可视化实现图像可解释性)案例应用
- CV之OD之YOLOv3:基于Tensorflow框架利用YOLOv3算法实现目标检测(以热播新剧《庆余年》为例)案例应用
- ML之Hash_HamMingDistance:基于输入图片哈希化(均值哈希+差值哈希)即8*8个元素的单向vector利用汉明距离算法实现计算图像相似度案例
- CV之FR:人脸识别(Face Recognition)方向的简介、常用算法模型、常用函数、案例应用之详细攻略
- CV:人工智能之计算机视觉方向的简介(CV发展史+传统方法对比CNN类算法+CV类会议/期刊、主要研究方向)、计算机视觉四大研究方向以及十大具体应用领域(知识导图+经典案例)之详细攻略
- DL之SegNet:SegNet图像分割/语义分割算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
- DL之R-FCN:R-FCN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
- DayDayUp:本博主预计2019下半年将会出两本书(关于人工智能算法及其实战案例应用方向、计算机算法竞赛集锦方向),如有合作意向,请留言告知
- ML与Optimality:最优化理论(GD随机梯度下降/QN拟牛顿法/CG共轭梯度法/L-BFGS/TR置信域/GA遗传算法/SA模拟退火算法)在机器学习中的简介、常用方法、案例应用之详细攻略
- ML之LiR:机器学习经典算法之线性回归算法LiR的简介、使用方法、经典案例之详细攻略
- ML之NB:朴素贝叶斯Naive Bayesian算法的简介、应用、经典案例之详细攻略
- DL之GoogleNet:GoogleNet(InceptionV1)算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
- DL之AlexNet:AlexNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
- DL之NIN:Network in Network算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
- DL之Xception:Xception算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
- ML之RL:基于MovieLens电影评分数据集利用强化学习算法(多臂老虎机+EpsilonGreedy策略)实现对用户进行Top电影推荐案例