特征融合 & FFM(Feature Fusion Module) 特征融合模块
大家好,又见面了,我是你们的朋友全栈君。
FFM(Feature Fusion Module) 特征融合模块 像FPN, FCN等都属于特征融合 在深度学习的很多工作中(例如目标检测、图像分割),融合不同尺度的特征是提高性能的一个重要手段。低层特征分辨率更高,包含更多位置、细节信息,但是由于经过的卷积更少,其语义性更低,噪声更多。高层特征具有更强的语义信息,但是分辨率很低,对细节的感知能力较差。如何将两者高效融合,取其长处,弃之糟泊,是改善分割模型的关键。 很多工作通过融合多层来提升检测和分割的性能,按照融合与预测的先后顺序,分类为早融合(Early fusion)和晚融合(Late fusion)。 早融合(Early fusion): 先融合多层的特征,然后在融合后的特征上训练预测器(只在完全融合之后,才统一进行检测)。这类方法也被称为skip connection,即采用concat、add操作。这一思路的代表是Inside-Outside Net(ION)和HyperNet。两个经典的特征融合方法: (1)concat:系列特征融合,直接将两个特征进行连接。两个输入特征x和y的维数若为p和q,输出特征z的维数为p+q; (2)add:并行策略,将这两个特征向量组合成复向量,对于输入特征x和y,z = x + iy,其中i是虚数单位。 晚融合(Late fusion):通过结合不同层的检测结果改进检测性能(尚未完成最终的融合之前,在部分融合的层上就开始进行检测,会有多层的检测,最终将多个检测结果进行融合)。这一类研究思路的代表有两种: (1)feature不融合,多尺度的feture分别进行预测,然后对预测结果进行综合,如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN) (2)feature进行金字塔融合,融合后进行预测,如Feature Pyramid Network(FPN)等。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/136267.html原文链接:https://javaforall.cn
相关文章
- 7 Papers & Radios | MIT研究登Science;腾讯深度学习推荐系统首次入选OSDI顶会
- 7 Papers & Radios | 联邦图机器学习综述;基于知识图谱和分子图的药物筛选模型
- STM&Sensory Enable Embedded VUI Through STM32Cube Ecosystem
- 7 Papers & Radios | 华为配置管理研究获SIGCOMM 2022最佳论文;用即插即用模块改进ViT和卷积模型
- Golang 并发&同步的详细原理和使用技巧
- ECCV2022 &CVPR2022论文速递2022.7.11!
- 跟着Nature ecology&evolution学python:toytree模块画进化树
- php 中输出控制器名称,Thinkphp5.0&&5.1怎么获取模块名控制器名方法名(权限配置中)
- WordPress 批量替换插件 Search & Replace 和中文包
- 如何增加Oracle数据库的AMP值(amp值oracle)
- AMP与Oracle结合提升数据库性能($amp oracle)
- Oracle替换技术一种提高工作效率的新方法(oracle &替换)
- Javascript按位与赋值运算符(&=)使用介绍