张丽霞, 曾广平, 宣兆成；多源图像融合方法的研究综述[J]. 计算机工程与科学, 2022, 44(02): 321-334.

众所周知，灰度图像是呈现黑色与白色之间不同级别颜色深度的图像，主要为亮度信息。而彩色图像的每个像素值包括了R、G、B 3个基色分量，每个分量决定了其基色的强度。因此，在图像融合时，不同图像采用不同的融合方法。本文对其分别进行了分析。

在下文中，图中的I_X , I_Y 均为输入的源图像， I_F 为融合结果。

01 灰度图像融合方法及分析

通常，像素级图像融合方法按照域的选择分为空间域和变换域2大类，此分类方法过于泛化。由此，依据融合策略，将像素级图像融合方法分为4类：直接操作像素点的空间域方法；处理图像变换后系数的多尺度多分辨率的变换域方法MST：采用特定数学模型精准提取图像特征的基于模型的融合方法；和2种或2种以上方法组合的混合融合方法。表1列举了4类方法及其包含的典型算法。

1.1 空间域方法

基于空间域的图像融合方法的融合过程如图1所示，直接操作图像的像素值。最简单的融合策略是最大值法和加权平均法，此2种方法计算简单、运算速度快，能够较好地保留结果图像的整体效果，但是边缘、轮廓等细节信息丢失严重。对此，人们提出基于信息统计的活动级方法，如文献[7]利用空间频率完成图像融合。考虑到局部区域内像素的相关性，基于区域分割的图像融合也应运而生，使得细节信息的提取效果有了很大的提高，例如，Zhang等与Aslantas等分别利用差分进化算法来自适应确定图像块大小的融合方法均取得了较好的融合效果。

主成分分析 PCA是一种典型的空间域方法，通过降维寻找图像的主成分，根据主成分来确定各融合图像的权重并完成融合。Wan等提出了基于鲁棒性的主成分分析 RPCA的多聚焦图像融合方法，采用滑窗技术和标准差参数对低秩分解得到的稀疏矩阵进行划分生成决策图完成图像融合。除此之外，Mitianoudis等提出的基于独立成分分析 ICA的图像融合方法和Jiang等提出的基于形态学成分分析 MCA的图像融合方法等也都属于空间域方法。

2013 年，He等提出图像引导滤波GF方法，利用像素间的线性关系，实现图像间结构的复制，达到保留边缘、平滑噪声的目的。由于计算复杂度低且边缘清晰，GF被广泛地应用在图像融合等图像处理相关领域。Liu等首先将图像引导滤波应用到图像融合并取得了较好的效果；Zhu 等提出了基于梯度域的图像引导滤波的多尺度图像融合方法；2019年，Zhang 等提出了交替引导滤波多聚焦图像融合方法，但是由于图像引导滤波方法使用了滤波器进行线性运算，所以部分边缘偶有模糊现象。

除此之外，模糊集、随机场等也用在了空间域图像融合中。空间域融合方法简单直观、融合速度快，适合实时处理。但是，基于简单的叠加运算的融合规则会大幅度降低融合图像的信噪比和对比度。

1.2 MST方法

变换域融合的处理对象是源图像变换后的分解系数。其融合过程主要包括3步：首先利用变换算法将源图像分解为高低频率系数；然后对不同的系数采用不同的融合策略，分层次分方向地完成融合；最后通过逆变换实现图像的融合。MST融合方法的融合过程如图2所示。其中， L_X 和L_Y 分别为源图像I_X 和I_Y 分解后的低频系数。H_X 和H_Y 为分解后的高频系数。L_F 和H_F 分别为融合后的低频系数和高频系数。

金字塔变换是最早应用于图像融合中的多尺度变换方法。采用隔行隔列降2采样获得的一系列分辨率逐渐降低的图像集合与分解获得的低分辨率系数和高分辨率系数，凸显了图像的重要特征和细节信息。金字塔算法较多，例如，拉普拉斯金字塔LP、对比金字塔、梯度金字塔和形态学金字塔等，均获得了良好的融合效果。基于金字塔变换的融合方法计算效率非常高，融合效果较为理想，至今仍然被广泛应用。但是，金字塔分解也存有以下缺点：冗余分解，无方向性，随着分解层的逐渐增加，分辨率会越来越小，边界越来越模糊。

随后，小波变换应运而生，它将图像分解为表示轮廓的低频近似系数和表示图像细节的多层3个方向(水平 垂直和对角)的高频细节系数，充分反映了源图像的局部变化特征。优点是分解后信息无冗余，具有方向性，克服了基于金字塔变换方法的缺点。但是，Li 等在多尺度变换实验中验证了小波平移不变性的重要性，不具备平移不变性的方法匹配不完好的图像时效果不理想。由此，学者们提出了改进的小波变换，例如多小波、双树复小波变换、轮廓波、曲线波和剪切波等，它们不但具有平移不变性，也具有方向选择性。当前，应用最广泛的是非下采样轮廓波变换NSCT和非下采样剪切波变换NSST。NSCT是在轮廓波基础上提出的非降采样变换，计算量大，耗时长，效率低。而NSST是在前切波基础上提出的非降采样变换，速度快，具有多方向性，融合效果更理想。

除此之外，多尺度变换的分解层数直接影响着融合效果：分解层数越大，提取的细节信息越多，融合质量越高，但是执行时间也会随之增加。如何平衡分解层、融合质量和时间效率之间的关系成为取待解决的问题。Li等通过实验验证了多分辨率变换、小波基和分解层对融合效果的影响，结果表明4层是最佳选择。Liu 等研究与稀疏表示法相结合的多尺度变换时，指出融合不同图像的最优分解层:多聚焦图像融合为1层，而像医学图像等的多模态图像融合为4层。

整体来看，MST方法的特征提取精准度较高，融合效果较好，优于空间域方法。但是，MST方法也存在一定的局限性：费时，实时性较差。

1.3 基于模型的融合方法

由于传统的多尺度变换方法采用预定义的固定承数实现特征的提取，如空间频率和梯度能量等，缺乏特征的泛化性。为了特征的自适应，学者们提出了一些自适应提取图像特征的新的数学模型应用于图像融合，例如，稀疏表示 SR、脉冲耦合神经网络PCNN，以及最新提出的基于卷积神经网络CNN的深度学习模型。为了便于与其他方法进行区分，将这些融合方法统称为基于模型的融合方法。

（1）稀疏表示

稀疏表示是在保留图像细节特征的基础上，将图像有效地分解为一组非零原子的线性组合。过完备字典和稀疏表示模型是稀疏表示的核心内容。

过完备字典为稀疏表示提供原子库，是稀疏表示方法的基础。一般来说，过完备字典的获取有2种方法。一是针对某种特定类型的图像，用已有的古定的信号模型构造原子，简单且易于实现。二是采用学习方法，例如奇异值分解K-SVD算法和 PCA 等，对大量的实验样本进行训练构造字典，是一和自学习的字典，冗余度更高。稀疏表示模型选择过完备字典中的小部分原子，采用某种线性组合重构图像，目的是降低数据维度和特征向量间的依赖性。目前，稀疏表示的模型有：SR基本模型、组稀疏模型、强健的SR RSR模型和交叉稀疏表示JSR模型等。

稀疏表示的融合过程如图3所示，首先构建过完备字典,接着依据过完备字典将源图像转换为一个由字典中原子线性组合的单尺度特征向量，然后对特征向量进行活动级测量和融合，重构得到融合结果。

基于稀疏表示的图像融合方法有很多。例如，2013 年，Liu 等提出了基于自适应空间域的稀疏表示的融合方法，解决了噪声问题，其效果明显优于传统方法的。尹雯等利用高、低分辨率过完备字典计算获取全色图像和多光谱MS图像的稀疏表示系数。张晓等在2016年依据图像块间的相似性提出了基于结构组稀疏表示的图像融合方法。Zhang等利用交叉稀疏表示模型完成了特征的抽取和融合。

稀疏表示的优点是模型构建简单，易理解，对噪声误差的处理较理想。但是，稀疏表示方法复杂度高、计算效率低,模糊了源图像中的细节信息，如边缘和纹理。

（2）脉冲耦合神经网络

脉冲耦合神经网络 PCNN 模型是通过对猫的视觉皮层神经元脉冲串同步震荡现象分析得到哺乳动物神经元模型的基础上提出的。由于PCNN模型的每个袖经元对应一个像素，像素的清晰度由神经元的点火次数确定。图4为PCNN融合过程，通过比较输入图像的神经元点火总数来确定清晰度。此方法具有提取局部细节信息能力强、目标识别率高等特点，又由于图像的清晰度的确定与图像的纹理等特征无关，所以，此方法具有一定的普适性，深受学者们的喜爱，并提出了很多PCNN方法。

图4中，T_S[N] 为某神经元的点火总次数。S \in \{X,Y\} 表示源图像的下标。输入图像经PCNN，通过比较点火总次数确定图像的清晰区域。越清晰的像素点火次数越多。传统的PCNN模型如图5所示，由多个袖经元组成，包含多个环形结构，形成了制约关系。S为输入图像，S_{ij} 为像素位置(ij) 上的值。F_{ij} 和L_{ij} 分别为像素位置(i,j) 上神经元的反馈和连接输入。U_{ij} 为内部活动项。Y_{ij} 用于判断神经元的状态。E_{ij} 为动态阈值。而\alpha_F,\alpha_L,\alpha_E,V_F,V_L,V_E,\beta,M,W 都是可调节的参数，其值影响结果精度。由此可知，传统的PCNN方法的实现需由多个迭代计算组合而成，具有运算耦合度高、参数较多、耗时较长等缺点。

为了降低 PCNN 模型的耦合性和计算复杂性，文献[42]提出了简化的 PCNN 模型。简化了反馈输入 连接输入和连接强度等，即减少了PCNN模型的代次数和参数个数。图6为基于脉冲皮质模型SCM的简化的 PCNN 模型 SPCNN，其输人参数变少了，迭代计算减少了。

PCNN 参数较多，其值是通过大量的训练获取，而其融合结果和性能受参数值的影响较大，由此，学者们在研究 SPCNN 模型的基础上，提出了自适应确定 PCNN 参数的方法。例如，苗启广等使用图像逐像素的局部对比度设置 PCNN对应神经元的链接强度；Ganasala 等采用特征激励自适应设置 SPCNN 的链接强度；文献[45]采用空间频率激励自适应设置 PCNN 的链接强度。但是，当前方法自适应设置的参数个数较少，尚未达到所有参数的自适应，所以，所有参数的自适应是 PCNN 融合方法的未来研究方向。

（3）卷积神经网络

卷积神经网络 CNN 是当前图像处理领域非常流行的模型之一。作为一种深度学习模型， CNN是基于 GPU 的并行计算，速度快，效率高。其特征提取是基于数据驱动的，经大量数据样本训练自动生成参数的值，通常数量级为上万，所以 CNN融合方法提取的特征具有很强的泛化性。且随着网络深度的加深，逐渐摒弃了物理等特性的影响，其特征越来越抽象，越来越精准，具有平移、旋转和缩放不变性的特性。

Krizhevsky等将CNN模型应用于图像分割，开启了CNN在图像领域的应用。在过去的5年里，CNN模型被成功地引入到计算机视觉的各个方面，例如，脸部识别、语义分割和图像超分辨率重建等。2017年，Liu等首次成功地将 CNN 应用到像融合，开启了CNN 模型用于图像融合的新篇章。Du等为了融合多聚焦图象，提出了多尺度CNNMSCNN的融合方法。2019年，Xia等为融合医学图像，提出了改进的CNN模型。Mostafa等提出了用于多聚焦图像的集成CNN方法。图7为基于CNN模型的图像融合过程。CNN模型助力图像融合是未来研究的热点问题之一。

CNN图像融合方法具有分层学习特征的能力，特征表达更具有多样性，判别性能更强，泛化性能更好。其缺点是训练数据耗时较长，无专门的训练集。由于数据样本的局限性，CNN通常针对专门图像进行训练，所以普适性的CNN 融合方法是一研究难题。

1.4 混合型融合方法

由于前文的方法都有优缺点，为了获得更好的融合效果，学者们提出了多种方法相结合的融合方法。例如，牛晓晖等提出了离散小波变换DWT与PCA相结合的方法 DWT + PCA，即近似系数采用 PCA 技术，高频细节系数采用自话应局部区域方差的方法。Tian等采用自适应拉普拉斯金字塔算法求解小波细节系数的局部清晰度，在一定程度上提高保留的信息量和清晰度，降低扭曲程度。2015年，Liu等提出了将多尺度变换和稀疏表示法相结合的多聚焦图像融合方法，在保留了图像的边缘信息和梯度信息的基础上，提高了图像的空间细节信息量，提升了融合质量。王威等在2017年为提高空间分辨率，提出了基于引导滤波和稀疏表示的副合方法，通过引导滤波算法，将全色图像作为向导图，对多光谱亮度图注入细节，加强局部细节，空间分辨率和光谱的保留度都优于其它方法。除此之外，基于NSCT 和稀疏表示的多聚焦图像融合方法、基于非下采样双树复轮廓波变换 NSDTC- CT和稀疏表示的红外和可见光图像融合方法等也取得了较好的效果。

PCNN 模型与其他方法也有结合。文献[59]提出PCNN与NSCT相结合的融合方法；文献[60]提出 NSST 域下双 PCNN 方法用于红外与可见光图像融合；文献[61]给出NSCT 域下稀疏表示与PCNN相结合的医学图像融合方法，这些方法从多层次多方向提取了图像细节，较好地改善了融合质量。为进一步加快融合速度，提高融合质量，学者们将自适应PCNN与其他方法进行了结合。例如，Ganasala等在NSST域下，采用特征激励自适应PCNN实现医学图像融合；戴文战等提出基于人眼视觉特性与自适应PCNN的医学图像融合方法。

总之，混合型融合方法是融合了2种或2种以上的方法，各取所长，优势互补，提高了融合质量。通常混合型的融合方法优于单一融合方法。

02 彩色图像融合方法

彩色图像色彩斑斓,细节丰富,贴近自然，深得众人喜爱。为了保障融合方法的普适性，学者们在研究彩色图像融合方法时，通常是在基于灰度图像融合方法的基础上展开，根据彩色空间的信息表达形式来设计。目前，已有了多种融合方法，通常分为2类：一类是多幅彩色图像的融合，另一类是彩色图像与灰度图像的融合。

（1）2幅彩色图像的融合

图8为2幅彩色图像融合的示例。图8a为近景聚焦的彩鱼图像；图8b为远景聚焦的彩鱼图像；图 8c 为融合后的效果图。融合结果由文献[66]的 CNN 方法计算获得。

通常，彩色图像按照三基色RGB分成三通道(R通道、G通道、B通道)分别融合，最后将三通道的融合结果合并成为彩色结果图像。该方法实现较为简单。但是，由于彩色图像本身的复杂性和细节信息的多样性，三通道图像会出现偏色失真等致命问题。而且，该方法运行时间较长，是普通灰度图像融合时长的3倍。所以，另一种融合方法应运而生。

公式I=0.2989R+0.5870G+0.1140B 是在保留图像清晰度和亮度的基础上，将彩色图像去除色彩信息，转换为灰度图像的方法。借助此式，先将输入的彩色源图像转换为灰度图像；然后根据灰度图像的融合策略，获得图像的决策图；最后根据彩色图像的清晰度与灰度图像的一致性，将灰度决策图转换为三通道决策图，并采用加权平均法融合源图像形成彩色融合图像。

在变换域融合方法中，需要进行逆变换运算，所以，通常选择三通道方法进行融合。而其他不涉及变换域的融合方法，在融合彩色图像时，既可以采用三通道方法来实现，也可以借助彩色空间转换公式将彩色图像转换为灰度图像来完成融合。

（2）彩色图像与灰色图像的融合

图9为灰度图像与彩色图像融合的效果。图9a为核磁共振 MR图像；图9b为正电子发射计算机断层显像 PET彩色图像；图9c为融合后的效果图。此类图像融合的结果由文献[47]的CNN方法获得。

彩色图像亮度信息与灰度图像相对应，其分离通常利用颜色空间的转换模型来实现，例如，Lab色彩模型、YUV 色彩模型和 HSV色彩模型等。YUV色彩模型是常用方法之一，由亮度信号Y和2个色度信号UV组成。其中，U和V用于描述色彩和饱和度，即色彩信息。式(1)~式(3)为RGB转换为YUV的过程，实现彩色图像细节信息的分离，其中Y为提取的亮度信息。式(4)~式(6)为YUV 转换为RGB的过程，将融合的灰度图像和分离的色度信号U、V融合，转换为RGB图像。

其融合过程如图10所示。其中，I_L 为从彩色图像I_Y提取的亮度灰色图像。I_{F\_G}为灰色图像I_X 和亮度图像I_L 的融合结果。其融合过程包括3步：

（1）利用颜色空间转换，将彩色图像的亮度通道分离,形成单通道的灰度图像。

（2）融合亮度通道的灰度图像与输入的单通道灰度图像完成灰度图像的融合。

（3）对融合的灰度图像与彩色图像分离的其他2种图像通过颜鱼空间逆变换,形成RGB鱼彩空间的彩色图像，即最终的融合图像。

尽管此方法取得了较好的效果，但是它并没有充分考虑彩色图像的特殊性。又由于人眼视觉对色彩信息较为敏感，因此色彩信息的融合是未来的研究热点之一。

精彩推荐

1. 多模态数据的行为识别综述
2. 未来自动驾驶必须解决哪些感知问题
3. 视觉3D目标检测，从视觉几何到BEV检测
4. 两万字 | 视觉SLAM研究综述与未来趋势讨论
5. 一文聊聊自动驾驶系统的传感器标定方法
6. 基于SLAM的机器人自主定位导航全流程