西南交通大学地球科学与环境工程学院（测绘学报）

本文内容来源于《测绘学报》2021年第10期（审图号GS（2021）6119号）

SAR影像和光学影像梯度方向加权的快速匹配方法

樊仲藜¹

, 张力¹,王庆栋¹

, 刘思婷^1,2,叶沅鑫³

1. 中国测绘科学研究院, 北京 100039;

2. 兰州交通大学测绘与地理信息学院, 甘肃 兰州 730070;

3. 西南交通大学地球科学与环境工程学院, 四川 成都 611756

基金项目：国家重点研发计划(2019YFB1405600)

摘要：针对SAR影像与光学影像之间存在显著的非线性灰度差异导致影像匹配困难的问题，本文提出了一种基于影像结构特性的快速匹配方法（SAR-to-optical fast matching algorithm，SOFM）。传统基于影像灰度的匹配方法一般难以抵抗影像间的非线性灰度差异，而影像中的几何结构和形状特征在不同类型的影像之间较为稳定，因此本文综合利用影像的梯度幅值和梯度方向信息构建出一种能够有效表达影像结构的特征描述符—角度加权方向梯度（angular weighted orientated gradients，AWOG），随后基于模板匹配的策略，选择描述符之间的差值的平方和（sum of squared difference，SSD）建立用于匹配的相似性测度，并给出了在频率域中表达的影像匹配函数。基于SOFM方法建立了一套完整的影像匹配流程，随后选择多组影像进行匹配试验，结果表明，本文方法能够有效抵抗SAR影像与光学影像之间的非线性灰度差异，并且在匹配性能和匹配精度等方面都优于经典的基于影像灰度的匹配方法以及其他基于影像结构特性的匹配方法。

关键词：SAR影像 光学影像 结构特性 影像梯度 模板匹配

引文格式：樊仲藜, 张力, 王庆栋, 等. SAR影像和光学影像梯度方向加权的快速匹配方法[J]. 测绘学报，2021，50(10)：1390-1403. DOI: 10.11947/j.AGCS.2021.20200587

FAN Zhongli, ZHANG Li, WANG Qingdong, et al. A fast matching method of SAR and optical images using angular weighted orientated gradients[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(10): 1390-1403. DOI: 10.11947/j.AGCS.2021.20200587

阅读全文：http://xb.sinomaps.com/article/2021/1001-1595/2021-10-1390.htm

引 言

近年来，随着SAR影像数据在地理国情监测^[1]、地表沉降变化检测^[2]等领域发挥的作用越来越显著，其与光学影像截然不同的成像机理与特性引起学术界和工业界的广泛关注。结合SAR影像与光学影像各自优势，实现对大量地表特性信息的互补，能够更好地解决变化检测、目标识别、地物分类等任务。目前SAR影像和光学影像联合应用的关键前提在于影像匹配，影像匹配的本质是在多幅影像之间寻找同名点的过程^[3]，但是由于SAR影像独特的成像机理，使其与光学影像之间存在显著的非线性灰度差异，同时SAR影像还会受到严重的相干斑噪声干扰^[4]，这些影响因素使光学影像上的显著特征点在SAR影像上极不稳定，甚至失效，导致现有的影像匹配技术难以应用于SAR影像和光学影像间的匹配，因此SAR影像和光学影像的匹配技术是目前遥感领域的难点，也是热点研究问题之一^[5-7]。

影像匹配方法主要可分为基于特征的方法、基于区域的方法^[8]和基于深度学习的方法^[9-10]。基于特征的方法通过在输入的影像之间提取共有特征，并检测特征间的相似性来实现影像匹配。这些影像特征可以是点特征^[11]、线特征^[12]、面特征^[13]或是局部不变性特征(SIFT^[14]、SURF^[15]等)。为了得到较好的匹配效果，检测到的影像特征应具有良好的稳定性、可区分性和可重复性，但是在具有显著非线性灰度差异的影像之间很难提取到具有高重复率的共有特征，从而导致匹配不到足够数量的同名点，使得此类方法在SAR影像和光学影像匹配任务上失败。

基于区域的方法也被称为模板匹配方法，通过在影像间设置一定尺寸大小的影像窗口，并选择某种相似性测度作为检测影像相似性的准则来实现影像匹配^[16]。传统的模板匹配方法通常是利用影像的灰度信息进行匹配，代表性的方法有：互信息(mutual information, MI)^[17]、归一化互相关(normalized cross correlation, NCC)^[18]等。由于NCC方法能够对影像间的线性灰度变化保持稳健，因此被广泛应用于光学遥感影像匹配，但其对影像间的非线性灰度差异较为敏感。对于MI方法，其本质是依赖于影像灰度的统计信息进行匹配，与影像间灰度变化的方式相关性较弱，故理论上其对影像间的非线性灰度差异有一定的适应性，然而MI方法忽略了邻域像素的影响，使得计算结果容易陷入局部极值而导致误匹配，并且其对模板窗口大小比较敏感，匹配过程计算量较大，因此MI方法在SAR影像和光学影像的匹配时效果不佳。

受到深度学习技术的影响，一些基于深度神经网络进行SAR影像和光学影像匹配的方法被提出。文献[9]提出了一种基于图像风格迁移的匹配方法，通过改进的VGG-19网络模型将SAR影像和光学影像进行风格互换，再利用SIFT或SURF等算法对互换风格后的影像进行匹配，该方法能够获取较多的正确匹配点。文献[10]改进了一种用于检测图像相似性的Siamese网络模型^[19-20]，通过抽取特征以及去除池化层对原网络进行优化，该方法取得了较高的正确匹配率和匹配精度。现阶段基于深度学习的方法存在一定的局限性，首先需要花费大量的时间和精力来制作训练数据集以及训练模型，并且由于地表形态构造的多样性，使得训练数据集难以具有良好的通用性，导致对于不同类型的地表形态，训练模型缺乏良好的泛化能力；其次，此类方法的执行效率较低，由于需要将遥感影像输入到神经网络模型中进行训练，这个过程需要对海量样本数据进行迭代计算，对计算环境的软硬件配置提出挑战，并且非常耗时，因此这类方法难以达到实际应用的要求，缺乏时效性。

除上述的各种方法之外，近年来，一些研究者发现影像的几何结构和形状特征能够有效抵抗影像间的非线性灰度差异^[21-22]，因而将其引入到SAR影像和光学影像的匹配当中，并取得了较好的匹配效果。这类方法不直接利用影像的灰度信息进行匹配，而是首先利用如影像的梯度、局部自相似性(local self-similarity, LSS)、相位一致性(phase congruency, PC)等能有效地表达影像结构的信息来构建特征描述符，随后建立描述符之间的相似性测度，并采用模板匹配的策略对影像进行匹配。文献[23]利用具有对比度和光照不变性的相位一致性特征对方向梯度直方图(histograms of oriented gradients, HOG)^[24]进行了改进，提出了相位一致性方向直方图(histogram of orientated phase congruency, HOPC)，在光学和SAR影像的匹配任务上取得了较好的效果。但是，HOG和HOPC是在一个稀疏的采样格网(非逐像素)内进行特征构建，是一种相对稀疏的特征表达方式，难以精确地捕获影像的细节结构信息，另外其计算效率较低。文献[25]利用方向梯度信息构建了一种稠密结构特征描述符(channel features of orientated gradients, CFOG), 通过逐像素地提取邻域结构特征，增强了描述符对于结构信息的细节表达能力，同时在频率域中完成影像匹配，显著提高了匹配性能及计算效率。不过，CFOG是利用水平和垂直方向的梯度内插出的方向梯度，其计算精度还可进一步提高。针对这一问题，本文提出一种更精确的方向梯度计算方法，并以此构建特征描述符进行SAR影像和光学影像的匹配。

本文提出的SOFM方法使用影像的梯度信息构建出一种表达影像结构的特征描述符，即角度加权方向梯度AWOG, 随后选择描述符之间的差值的平方和(SSD)作为用于匹配的相似性测度，并利用快速傅里叶变换将匹配过程转换到频率域进行。设计了一套基于本文方法的自动匹配流程，并通过设计多组试验来验证本文方法的有效性和匹配性能。

1 结构特性表达的影像相似性

本节将给出利用影像梯度信息构建AWOG描述符的详细步骤，以及给出在频率域中表达的影像匹配函数的详细推导过程。

1.1 特征描述符

AWOG描述符的提出受到HOG^[23]和CFOG^[25]的启发。HOG描述符最初被用于处理行人检测任务，由于对影像结构具有良好的表达能力，其应用范围被拓展到目标识别^[26]、影像分类^[27]和影像检索^[28]等领域。CFOG是在HOG的基础上发展的一种逐像素的结构特征描述符，其使用方向梯度信息来表达影像结构特性，能够有效抵抗影像间的光照和对比度变化，以及非线性灰度差异。因此，本文同样选择利用影像梯度幅值和方向信息来构建AWOG特征描述符。

如图 1所示，对于一幅给定的影像，首先使用x方向的滤波器dx=^{[-1, 0, 1]}和y方向的滤波器dy=^{[-1, 0, 1]T}对影像进行滤波，得到影像在x轴和y轴方向的方向梯度g_x和g_y。

图 1 影像梯度方向OG和梯度幅值IG的计算Fig. 1 Computational process of orientation and magnitude of image gradient

图选项

随后根据式(1)和式(2)计算影像的梯度幅值IG和梯度方向OG。由于不同类型的传感器所获取的影像之间存在辐射强度反转的现象^[29]，因此为削弱SAR影像和光学影像间因辐射强度反转所造成的影响，以提高描述符的稳健性，对梯度方向OG进行一步归化操作^{[25, 30]}，根据式(2)计算得到的梯度方向OG其值域为[0°, 360°)，将属于区间[180°, 360°)的值统一减去180°，OG的值域被归化到[0°, 180°)

(1)

(2)

如图 2所示，按角度间隔为22.5°将OG的值域8等分，等分的区间被9个角度方向所隔开，由于特征描述符将在这9个角度方向上统计得到，故将它们称为9个特征方向，按角度从小到大为9个特征方向赋予索引号0~8。

图 2 右特征方向索引表IRF的构建Fig. 2 Construction of index table IRF

图选项

对于影像中任意像元p(x,y)，其梯度方向值OG(x,y)存在于某两个特征方向所构成的角度区间内(极少数恰好位于某特征方向上，但不影响后续计算)，将该角度区间中角度值较大的特征方向称为像元的左特征方向LF，角度值较小的特征方向称为像元的右特征方向RF，根据式(3)进行计算

(3)

式中，