来自：CUIT数据生态与智慧空间研究中心

编辑：董亚微@一点人工一点智能

原文地址：基于深度学习的遥感图像地物变化检测综述

01  引言

遥感（Remote Sensing，缩写为RS）是指非接触式、远距离的探测技术。遥感技术通常使用航空航天平台、按照特定的波段对地球或其他天体进行成像观测，通过分析观测数据，探测地球或其他天体资源与环境。遥感技术在现代化社会中十分重要，它能够在一定程度上体现一个国家的经济实力和科技水平，故一直受到世界大国的高度重视。自从美国的陆地卫星Landat-1和法国的SPOT-1卫星相继升空，世界进入了高分辨率遥感技术发展和应用的新时代。2001年，美国发射的QuickBird卫星可采集分辨率为0.61m/像素的全彩色图像和2.44m/像素的多光谱图像，标志着世界进入“亚米级”高空间分辨率[2]遥感时代。在20世纪80年代后，我国遥感技术也进入飞速发展时期。风云气象卫星和资源系列卫星的成功发射为我国卫星遥感事业的发展奠定了坚实的基础。2006年到2016年间，我国陆续将遥感卫星一号到遥感卫星三十号共30个卫星送入太空，这些卫星在我国国土资源普及、防灾减灾等领域发挥了重要的作用。2013年到2018年间，我国相继将高分一号到高分六号等高分辨率卫星送入太空，其在国土统计、城市规划、路网设计、农作物估计和抗灾救援等领域取得了突出的成就。

自从人类进入利用遥感图像对地观测的时代以来，遥感影像处理技术不断推进包括变化检测、地物分类与分割、目标检测与识别在内的多个领域的发展。遥感影像变化检测是利用不同时期覆盖同一地表区域的多源遥感影像和相关地理空间数据，结合相应地物特性和遥感成像机理，采用图像、图形处理理论及数学模型方法，确定和分析该地域地物的变化，包括地物位置、范围的变化和地物性质、状态的变化。

变化检测已成功应用于众多领域。在林业领域，变化检测被用于森林覆盖率的监测、灾害评估和轮作监测。在军事领域，它现在被用于收集有关新军事设施、敌军动向、战场区域和损害评估的信息。在民用领域，变化检测用于控制城乡发展和城市扩展。变化检测带来诸多益处的同时，其面临的挑战也是严峻的，尤其是变化检测在面对相关变化和不相关变化的时候。不相关变化可以是云、雾、气候、光照条件、水面反射等，例如在t1时刻的图像被云雾覆盖，t2时刻没有，因此一个好的变化检测算法能够鲁棒地区分相关变化和不相关变化。

近年来，基于深度学习的变化检测方法逐渐受到关注，并在一些应用场景中取得了较好的效果。本文将对基于深度学习的变化检测方法进行概述和总结。根据学习方法和带标签与不带标签的训练数据，可以将这些基于深度学习的方法分为三类：第一种是从标记的训练数据集中学习来解决问题的完全监督学习；第二种是从没有标签的数据集中学习的完全无监督方法；第三种是基于迁移学习的方法，它试图利用从一项任务中（后文称为源域）学到的知识并将其应用于另一项相关任务（后文称为目标域）。

02  变化检测数据集

遥感变化检测任务是利用多时相得遥感数据，采用多种图像处理和变化检测算法提取变化信息，并定量分析和监测地表变化得特征和过程。即需要确定变化前后的地面类型、地块边界、及变化趋势，进而分析发生变化的特点与原因。

变化检测数据集按照检测方法的监督性质大致可以分为三种，第一种是由两个不同时相的图像以及带变化图标签的用于监督学习的数据集，第二种只有两个不同时相的图像构成的用于无监督学习的数据集，第三种则是由一个源域的双时相图像以及变化图标签，以及目标域的双时相图像组成的用于迁移学习的数据集。当然，每个数据集在标签数据或源图像都有着一定的差异。

Multi-temp Scene Wuhan(MtS-WH) 数据集主要用于进行场景变化检测的方法理论研究与验证。场景变化检测就是在场景语义的层次上，对一定范围区域的土地利用属性变化情况进行检测和分析。该数据集主要包括了两张7200*6000的大尺寸高分辨率影像，包含了蓝、绿、红、近红外四个波段。并且该数据集的变化图标签还有不同场景的类别标签，将地块分为7个类别。

另一类用于像素级别的变化检测以SZTAKI数据集为例，该数据集包含13对大小为952×640像素的航拍图像，空间分辨率为1.5m。图像想要揭露的变化是新增的城区，新增的建筑工地，新增的耕地，新增的林区以及新增的地基，但其标签不包含地表类别，只为每个像素标注了变化/无变化标签。

表1和表2分别列举了一些免费公开的用于变化检测的光学RS图像数据集和街景图像数据集，可以作为未来研究人工智能和精度评估的基准数据集。

2.1 光学遥感（RS）图像

光学遥感图像根据波段数可以划分为高光谱、多光谱、和全色图像。HIS（高光谱图像）由数百个波段组成的立体图像， HSI具有数百甚至数千条连续窄带，可以提供丰富的光谱和空间信息。多时相HSI通过其高维特征信息在区分地物细微变化方面具有重要意义。有关光谱变化的详细信息提供了有前途的变化检测性能。但是，它增加了数据的冗余并使其难以解释。此外，由于HSI的空间分辨率普遍较低，像素周围的纹理模糊，混合像素占很大比例。适用于HSI 的变化检测方法必须解决高维度、混合像素、高计算成本和有限训练数据的问题。

多光谱图像通常具有多个波段，一般不会超过15个波段，获取多光谱图像的途径也是经济和稳定的，空间分辨率从低到高。它们可以提供丰富的颜色、纹理和其他属性。高空间分辨率或超高空间分辨率（10~100cm/pixel）的图像也能反映地物的结构信息。因此，它们被广泛用于变化检测。具体来说，基于人工智能的变化检测方法最常用的多光谱图像类型来自Landsat系列卫星和Sentinel系列卫星，因为它们的获取成本低且成本高时间和空间覆盖。此外，其他卫星，如Quickbird、SPOT系列、高分系列、Worldview系列，提供高和超高空间分辨率图像，各种航天器所提供的高空间分辨率航拍图像，也让变化检测结果保留更多变化细节。

全色图像只有一个波段（即黑白波段），通常包含一组几百纳米的带宽。带宽使其能够保持高信噪比，使全色数据在高和非常高的空间分辨率下可用。因此，通常将全色图像与多光谱图像融合，以获得更丰富的光谱信息。为具有高和超高空间分辨率的变化检测提供了更丰富的的变化检测和空间信息。此外，全色图像也可以直接用于变化检测。

2.2 街景图像

与光学 RS 和 SAR 图像不同，街景图像是在视线高度而不是头顶处捕获的。它们在相对较小的区域和更多的观察角度提供更详细的信息，可用于动态或实时变化检测。基于街景图像的变化检测关注动态城市视觉景观的变化，例如特定地标、行人、车辆和其他路边建筑物的添加或减少。

一个关键的问题是如何在使用街景图像检测变化时识别由各种照明、相机视点、遮挡和阴影引起的噪声变化。这些噪音的变化与语义变化交织在一起，使得很难定义和测量街景图像中想要的语义变化。因此，使用人工智能算法来学习用于变化检测的深层特征，需要已进行空间配准的街景图像。

03  变化检测算法

3.1 全监督变化检测（SCD）

长期以来，监督学习被认为是费时费力且难以训练的训练方式，近年来一些新的学习策略，如随机初始化权重和残差连接等，可以改善梯度流和梯度消失的问题。在性能和可行性方面，全监督的训练方式优势尤为明显。多数网络是通过一个孪生网络来对不同时刻的图像进行编码解码，然后计算相似度或距离而后得到变化概率图，再通过标签数据和目标函数进行约束。基于全卷积的U-Net是用于变化检测任务的标准CNN架构之一。U-Net是一个对称结构，一部分是下采样提取空间特征的编码器，一部分是上采样从编码特征中构建分割图的解码器。

Jaturapitpornchai 等人提出了一种基于 U-Net 的变化检测网络，该网络使用在不同时间捕获的两张 SAR 图像来检测发展中地区的新型建筑结构。随后，U-Net 架构通过在其他作品中的一些修改还得到进一步发展。

Huiwei Jiang , Xiangyun Hu等人提出了基于特征金字塔的双重注意力孪生网络（DASNet），该网络以VGG-16和Resnet50作为backbone，引入了空间自注意力和通道自注意力分别加强了空间和通道之间上下文联系，并且引入了改进的对比损失WDMC 损失改善了天气、气候等非相关变化所导致的样本不平衡。

3.2 无监督变化检测（USCD）

得益于大型的标签数据集，诸如卷积神经网络 CNN 及其修改模型的全监督深度学习方法在许多计算机视觉任务中取得了令人满意的结果。然而，对于变化检测任务，通常没有足够的训练数据来构建这样的模型。此外，构建反映地物真实变化信息的真值地图需要花费大量的时间和精力。因此，在许多情况下，以无监督的方式学习遥感图像产生的变化特征会更加实用。

Caijun Ren, Xiangyu Wang, Jian Gao, and Huanhuan Chen等人提出了基于对抗生成网络的无监督变化检测网络，将GAN生成对抗网络作为中间过程以生成更多图像，生成器通过随机向量映射到图像空间来学习训练数据x的图像分布，并且生成的图像在图像空间中的坐标在未变化区域具有相同的坐标，变化区域的坐标则不同。辨别器是将图像映射到概率空间，生成真伪的概率值。并且用Wasserstein距离来测定训练数据的图像空间和生成器所构建的图像空间的相似度，从而改善原来的GAN-loss的梯度消失问题。最后通过一个简单的阈值法比较策略来生成变化图。

Hyeoncheol Noh，Jingi Ju，Minseok Seo等人受无监督异常检测的启发提出了unsupervised change detection based on image reconstruction loss（CDRL），用单一时相的图像来训练变化检测器，通过Cycle-GAN转换源图像的光度，生成一张图像与源图像组成伪无变化图像对，再通过一个基于图像对的源图像重构器(生成模型)，生成的图像与源图像求绝对误差得到变化概率图，并且重构器的解码器与一个判别器进行对抗训练以加强起生成能力。与异常检测相似的是，其将无变化图像对定义为正常数据，变化图像对定义为非正常数据。

Chen Wu,，Bo Du， Liangpei Zhang等提出了Fully Convolutional Change Detection Framework with Generative Adversarial Network用于无监督，弱监督和区域监督。该网络能够解决只有变化和无变化的弱监督信息的弱监督问题，以及利用分割器和生成器+判别器的对抗过程，有像素级别的标签（用矩形包裹的变化区域），通过将矩形区域替换掉变化前，图片的相应区域，然后构成模拟的无变化图像对，与分割器生成的mask遮住原来的变化图像对后模拟的无变化图像对一起送入判别器训练。

3.3 基于迁移学习的变化检测

Hongruixuan Chen，Chen Wu，Bo Du，Liangpei Zhang等将MK-MMD融合到深度学习网络模型中，MK-MMD即多核最大均值差异，用来表示目标域与源域的距离，提出了DSDANet: Deep Siamese Domain Adaptation Convolutional Neural Network即深度孪生域适应卷积神经网络。让模型学习到最小化目标域和源域之间距离或相似度的特征映射，就能较好的适用于多光谱图像的跨域变化检测。

04  挑战和未来发展

4.1 基于深度学习的变化检测算法主要存在的问题

深度学习的问题依然是需要大量的训练数据才能获得较好的性能，并且这些训练数据通常要求有良好的标签，获得大量的标签数据是费时费力的；第二则是深度学习模型所耗费的计算资源很高，需要大量的计算资源来训练和测试模型，并且耗时较长；第三则是模型的可解释性较差，深度学习模型结构十分复杂，模型的决策过程和参数更新过程难以解释，这也限制了模型的应用范围。

现如今变化检测算法存在的问题有：

第一是图像之间变化的细节和噪声难以平衡，在处理遥感图像的众多过程中会产生各式各样的噪声，较为明显的噪声会与不同时相的图像的细节变化相互干扰，从而导致模型的误判；

第二是缺少通用的变化检测算法，遥感数据多种多样，都有其独特的特征，现有的变化检测算法不能同时满足所有类型的数据，比如针对 SAR 图像变化检测算法迁移到光学遥感图像上并不一定可以取得优异的结果；

第三则是细节的保存问题。现有的变化检测算法在获取变化图时容易模糊变化区域的边角信息，导致部分变化区域的丢失。且当变化区域面积小于一定值时，很难区分丢失的细节部分和噪音，这将严重影响变化检测质量。

4.2 基于深度学习的变化检测算法的未来发展

弱监督学习和深度强化学习是变化检测的两个重要发展方向。

考虑到数据标记操作的高成本，在许多计算机视觉任务中，很难获得强有力的监督信息（例如，具有完全真实标签的数据集）。特别是对于变化检测任务，变化区域非常小，背景往往杂乱复杂，图像可能由不同的传感器拍摄。然而，训练一个基于弱监督学习 (WSL) 的变化检测框架可以减少手动注释的需要。弱监督数据包括少量准确的标签信息，这与传统监督学习中的数据不同。

由于监督变化检测任务缺乏足够的标记训练数据库，深度学习方法生成的特征的描述能力可能变得有限甚至贫乏。最近，深度强化学习成为机器学习领域备受关注的焦点，并在自动驾驶等计算机视觉的各个领域显示出巨大的潜力和卓越的表现、对象跟踪、人员重新识别等。

深度强化学习将深度神经网络与强化学习架构相结合，智能机器可以从它们的行为中学习，类似于人类从经验中学习的方式。强化学习使软件定义的代理能够在随机探索的基础上从环境中学习，并根据持续的反馈调整最佳可能的行动，以实现他们的目标。使他们达到目标结果的行动会得到奖励。