MIRD：基于归一化自相似区域描述子的稳健多传感器图像匹配

Robust multi-sensor image matching based on normalized self-similarity region descriptor

MIRD：基于归一化自相似区域描述子的稳健多传感器图像匹配

Robust multi-sensor image matching based on normalized self-similarity region descriptor - 中国知网 (cnki.net)

摘要

多模式图像匹配在航空航天应用中具有重要意义，因为它可以充分利用遥感图像的数量和多样性所包含的互补和有价值的信息。然而，由于不同传感器之间存在显著的非线性辐射测量、几何差异和噪声，这仍然是一项具有挑战性的任务。为了提高异种图像匹配的性能，提出了一种归一化自相似区域描述子来提取一致的结构信息。我们首先基于相邻图像块之间的欧几里德距离构造逐点自相似区域描述子，以反映多模式图像的结构特性。然后，采用线性归一化方法形成与形态无关的区域描述符，有效区分多模式图像中的点、线、角点、平坦等结构特征。为了进一步提高匹配精度，采用夹角余弦相似性度量来利用多维特征描述子的方向向量信息。实验结果表明，与现有的匹配方法相比，该方法对多种多模式图像匹配具有更好的匹配精度和鲁棒性。MIRD能够有效地提取一致的几何结构特征，并利用非局部邻域图像块操作抑制相干斑噪声的影响，有效地应用于各种多模式图像匹配。

关键词：遥感；多模式图像匹配；模板匹配；特征描述子；相似性度量；合成孔径雷达

1 引言

搭载在航空平台或地球观测卫星上的多传感器1提供了大量的图像，这些图像已广泛应用于地球物理、3测绘、计算机视觉、4-5农业、6灾害监测和其他领域7。高精度、稳健的多模式图像匹配技术能够充分、高效地利用多传感器信息，已成为遥感领域的一个重要研究方向。

合成孔径雷达(SAR)、光学图像、9图像和红外图像是常见的多模式遥感图像类型。合成孔径雷达是一种主动微波成像传感器，具有良好的穿透能力和全天候、全天时的观测能力。它主要是根据物体表面的介电常数和粗糙度成像的。合成孔径雷达图像通常含有大量的乘性相干斑噪声11，并且受到几何失真和辐射失真的影响。12光学图像是基于目标的光谱反射成像的，它包含了丰富的地物纹理信息。然而，图像质量容易受到天气的影响，在阴雨天气的情况下，图像质量会很差，甚至无法成像。红外传感器主要利用物体的热辐射特性进行成像。红外图像通常能显示目标的位置特征，但信噪比往往较低。不同的成像机制使得多传感器图像匹配更具挑战性。

许多学者在多模式图像匹配领域做了大量的研究。13现有的图像匹配方法可以分为三类：基于特征的方法、基于模板的方法、基于17-18的方法和基于学习的方法。19-21几乎所有的匹配方法都包括特征提取和相似性度量的步骤。22基于特征的方法从图像中提取明显的特征，如边缘、角点或斑点，并利用它们在每幅图像中找到对应点来对齐两幅图像。K-近邻(KNN)通常被用作相似性度量。基于特征的方法在可变形匹配中具有更高的计算效率和更好的性能。23然而，在多模式图像匹配中，基于特征的方法的主要挑战之一是不同模式之间的特征表示的差异。不同的成像模式捕捉相同结构的不同方面，导致不同的图像特征。物体的外观也可能因医疗模式而异，因此很难找到相应的特征。

基于模板的匹配方法提取全局特征，然后使用基于强度的相似性度量来找到对应关系，该度量将传感图像映射到参考图像的对应窗口。24全局特征提取方法是基于模板匹配的关键，直接影响算法的匹配精度。基于灰度的相似性度量计算两个图像窗口之间的灰度距离作为评价准则，搜索与匹配位置对应的极值。基于强度的方法包括绝对差和(SAD)、平方差和(SSD)、互信息(MI)、26-27和归一化互相关(NCC)。SAD和SSD使用图像之间的灰度欧几里德距离作为评价标准。相反，MI和NCC使用图像之间的亮度概率分布作为相似性度量。基于模板的方法的主要优点之一是其对图像变形和扭曲的稳健性。因为这些方法依赖于比较整个图像或图像块，所以它们对由于成像方式或其他因素的不同而可能发生的图像几何形状或外观的变化不那么敏感。另一方面，基于特征的方法可能难以匹配以某种方式扭曲或变换的特征。因此，基于模板的方法更适合于多模式图像匹配。随着人工智能以某种方式流行起来。因此，基于模板的方法更适合于多模式图像匹配。

随着人工智能的普及，基于数据驱动学习的方法在一般视觉模式识别任务中取得了重大进展。深度学习方法也被应用于图像特征的识别、提取和分类。28基于学习的方法将图像匹配转化为模式识别方式，并通过评估深度特征的相似性来实现图像匹配。Merkle等人。提出了一种基于暹罗网络的同质特征提取方法，并将深度学习方法应用于图像的匹配中，29具有较好的匹配性能。一些研究人员对暹罗网络进行了进一步的研究，并将其应用于多模式图像匹配。张某等人。30与传统方法相比，在数据集较多且不需要人工设计特征提取方法的情况下，基于学习的方法具有更好的鲁棒性。然而，基于学习的方法匹配精度往往不高，需要与传统方法进行改进。而这些方法依赖于大量的训练数据集，而这些数据集由于无法获得大量的数据而不能广泛应用于军事等领域。

在三种类型的图像匹配方法中，基于模板的匹配方法最适合在没有重要数据集和资源的情况下进行多模式图像匹配。本文重点研究了基于模板的匹配方法，以提高匹配的准确性和稳健性。基于模板的匹配方法提取多模式图像的全局特征，主要分为灰度级、梯度幅值、32-33个相位信息、34-35个或它们的组合。由于存在巨大的辐射差异，基于灰度强度的相似性度量不能直接应用于多模图像匹配。渐变信息突出显示结构细节，其中包含对象的轮廓信息。然而，它很容易受到噪音的影响。基于相位的度量方法也可以提取结构信息，但受角度模糊的影响，相似性度量的设计通常比较复杂。它依赖于连续的特征轮廓，很难描述弱纹理区域。

为了进一步提高基于模板的图像匹配方法的性能，许多学者提出了最新的多模式图像匹配方法，并提出了一些能够有效地提取多模式图像之间一致的结构或纹理特征的相似性度量。色调映射匹配(MTM)36是NCC对于非线性映射的推广，其在非线性色调映射下执行得很好。这是一种NCC的快速计算方案，但不能适应SAR相干斑噪声。

叶等人提出了一种新的描述子–定向相位一致性直方图(HOPC)37-38来描述模板匹配中图像的几何结构特征。该方法计算模板窗口中的相位一致性(PC)信息，将模板窗口分成由像HOG、39这样的单元格组成的块，并累加所有单元格和块的PC以构造HOPC描述符。此外，Ye et al.40-41做了进一步的研究，并设计了一种快速匹配方案来减少计算时间。HPC方法在272 X.Liu等人的基础上提出。在光学到SAR图像与快速NCC相似性度量的匹配中表现良好。然而，HOPC描述符的计算是复杂的。许多参数需要针对不同的图像进行调整，计算结果受参数的影响很大。与灰度特征相比，HOPC方法会丢失图像的细节信息。此外，文献40-41提出了一种基于方向梯度的通道特征表示方法(CFOG)，该方法在匹配性能和计算效率上都优于传统的基于方向梯度的图像特征表示方法。

Heinrich等人。提出了一种用于可变形医学图像配准的独立于形态的邻域描述符(Mind)42。该方法基于一幅图像内小块图像的局部自相似性，通过提取局部邻域结构构造逐点描述子。Mind在多模式医学图像配准中表现良好，例如计算机断层扫描(CT)和磁共振成像(MRI)。思维对通道之间最显著的差异是健壮的，但忽略了方位和阶段信息。由于使用归一化灰度梯度，因此对噪声敏感，不适合光学到SAR图像的匹配。

受思维特征提取方法的启发，为了利用局部自相似区域结构特征44，克服多模式图像噪声的影响，提出了一种用于多传感器图像匹配的独立于模式的区域描述子。本文的主要优势和创新点如下：

1. 提出了一种基于图像自相似结构特性的与形态无关的区域描述子。MIRD基于相邻图像块之间的欧氏距离构造逐点描述子，能够有效地提取一致的几何结构特征，并利用多模式图像之间的非局部相邻图像块操作来抑制噪声的影响。
2. 提出了一种线性归一化方法，使得MIRD能够有效地区分多模式图像中的点、线、角点和平坦区域的结构特征。
3. 为了有效地保留多维特征描述子的几何结构特征和方向信息，在MIRD中引入了余弦相似度量。

该方法可以有效地应用于多模式图像匹配，包括光学-合成孔径雷达匹配、红外-光学匹配和光学-地图匹配。MIRD比四种最先进的方法，包括Mind、HOPC、CFOG和NCC具有更好的匹配精度和稳健性。

2 计算方案

在这一部分中，我们通过估计相邻图像块之间归一化的自相似特性，提出了一种用于多模式图像匹配的与模式无关的区域描述符(MIRD)。首先，基于相邻图像块之间的欧氏距离构造逐点自相似区域描述子(RD)。其次，采用线性归一化方法形成与形态无关的区域描述子，使归一化后的区域描述子能够有效区分多模式图像中的点、线、角、平等结构特征。此外，为了充分利用多维描述子，采用夹角余弦相似性度量对多模式图像进行匹配。提出的MIRD算法能够高效、准确地实现异源图像匹配。

2.1 多方向区域描述符

在这一部分中，我们的目标是找到一种能够有效区分多模式图像之间不同结构特征的图像描述符。利用图像结构的局部表示，提出了一种基于区域的自相似描述子来描述多通道图像的纹理和结构特征。邻域图像块对线、边、点、角点和平面等图像特征非常敏感。该方法利用多模式图像间多维特征向量的夹角余弦实现高精度的模板匹配。

MIRD结构如图1所示。模板用于逐点计算邻域图像块的相似度，以形成描述符。模板大小可以根据图像进行调整，可设置为9×9、15×15、21×21像素块等，本文将其设置为9×9像素块。我们将以当前像素为中心的模板窗口(9×9像素)分成9个3×3像素块。在考虑离散扰动的情况下，选择合适的角度间隔来构造MIRD。在本文中，我们将区间取为45。，根据与中心块的局部空间关系(图1中的红色块)，将8个特征方向定义为具有正或负情况的R1至R4。同一方向上的正负块的计算使描述符能够区分不同的结构。

首先，需要构造局部区域梯度算子$O(I,p,k)$。$O(I,p,k)$计算输入图像$I$的每个像素在第$k$个方向上的区域梯度，$r_k\in R$表示当前像素在第k个方向上的位移向量，其中$k∈N$，$N∈\{1,2,3,4\}$对应于四个方向R1-R4。该过程在区域块$B$上操作，该区域块$B$是以当前像素为中心的像素块邻域。对于$B$内的每个像素$p$，运算符找到$p$与其在相应$r_k$方向像素块中的对应像素之间的平方差和(SSD)。在所提出的方法中，两个角间隔相差180。被认为是一个方向，标记为$r^+_k$和$r^-_k$。因此，可以将8维特征描述符压缩为4维特征描述符，从而在不丢失信息的情况下减少计算量。邻域块$R$由以当前点像素为中心的所有像素组成。基于归一化自相似区域描述子273的稳健多传感器图像匹配

定向距离运算符$O(I,p,k)$可以被认为是区域梯度运算符，因为它本质上计算当前像素块及其四个方向邻域像素块的SSD。

多模式图像往往含有正态分布噪声，这会干扰对图像的准确分析和解释。为了缓解这一问题，使用高斯核作为过滤方法。

本例中使用的高斯核具有与MIRD模板相同的大小($9x9$像素)。在高斯核$C$和定向距离运算符$O(I,p,k)$之间执行卷积运算。该操作包括在图像中的每个像素上滑动内核，并计算相邻像素的加权和。分配给每个相邻像素的权重取决于其与中心像素的距离，并由高斯核值确定。距离度量$D_R$以这种方式获得。

通过使用每个方向距离度量$D_R$的平均值来确定方差度量$V(I,p)$

方差度量的操作可以降低图像描述符对空间变化噪声的敏感性。具有四个特征方向的区域描述符$RD(I,p,k)$可以由距离度量$D_R$和方差度量$V(I,p)$定义：

$RD(I,p,k)$是一种基于图像局部自相似性概念的特征提取方法。该描述子捕获了图像的纹理结构信息，可用于识别和比较多模式图像之间的相似纹理。

2.2 归一化自相似区域描述子

提出的四维MIRD能够有效地描述图像的局部强度自相似特性。特征向量的1-4个元素可以描述图像块在R1-R4的相应四个方向上的灰度差异：水平、右倾斜45。、垂直和向左倾斜45。，分别为。由于不同传感器的成像原理不同，同一点的灰度差异往往很大，尤其是SAR图像和光学图像。因此，矢量幅值没有多少有价值的信息。相比之下，向量元素之间的数值差异包含了更多实用信息。由于成像原理不同，应抑制没有明显构造特征的区域的干扰，突出点、线、平、角、边等实际纹理特征。

提出了一种指数归一化方法来描述异质图像。本节对提取的MIRD描述符采用自适应分段线性拉伸，如公式(4)所示。如果$RD(I,p,k)$中的最小元素大于自适应最大阈值$β$，则认为该特征是点，并且将向量中的所有元素设置为1。如果$RD(I,p,k)$中的最大元素小于自适应最小阈值$χ$，则认为该特征是曲面，并且将向量中的所有元素设置为0。在其他情况下，该点被认为是纹理区域，并使用斜率$K(I,p)$进行自适应线性对比度拉伸以突出其特征信息。eq(7)-(8)描述自适应阈值$β$和$χ$的计算。

其中，$M$，$N$是图像的大小，而$k∈\{1,2,3,4\}$表示MIRD的四个维度之一。参数λ可以根据$RD(I,p,k)$的分布来设置，本文取经验值$λ$=0.9.

经过归一化和自适应分段线性对比度拉伸后，MIRD能够更好地描述异源图像之间的局部结构特征。每个点的四维特征向量能够高效、准确地描述该点的特征类型，并且在异质图像之间具有良好的跨模鲁棒性。

表1显示了不同特征对应的中心点的MIRD向量。图像块大小为$9×9$。为了验证MIRD的特征描述能力，我们比较了6种不同的纹理结构。MIRD向量的每个分量表示相应方向上的灰度差的大小。不同类型的图像特征和对应的MIRD向量如表1所示。$MIRD(I_i，p_c)$对应于图像块的中心点。MIRD的每个分量被归一化为0-1，并且幅度可以指示中心和周围区域之间的相似性。图像特征的类型可以分为点、角点、平坦、直线、边缘等。由于中心区域和周围区域之间存在显著的灰度差异，所以点特征呈现出中心明亮和周围环境暗的效果，所以归一化后每个特征向量元素为1。对于拐角，沿拐角平分线的灰度变化最显著，在其他方向的变化较小。沿角平分线法线方向的灰度差异最小。因此，特征向量包括1、0和中间值。对于平坦区域，每个方向的灰度差异很小，因此分段线性拉伸后的特征向量为0。线区域在线方向上的灰度差异很小，在其他方向上的差异是显著的。水平直线在对应的R1方向上的灰度差为0，在其他方向上的值显著。对应R3方向的垂直线的灰度差相对为0，其他方向的值相对更显著。边缘区域具有与线类似的属性。MIRD的数字顺序包含有关直线方向的信息。

表1中心点对应的图像特征类型和特征向量。

多模式图像，特别是光学图像和合成孔径雷达图像之间，由于成像原理的不同，往往会出现明显的几何和辐射差异。此外，它们具有不同的噪声特性，光学图像主要受加性高斯噪声的影响，而合成孔径雷达图像主要受乘性斑点噪声的影响。这些差异往往导致局部纹理差异显著，从而增加了图像匹配的难度。然而，尽管存在这些局部纹理差异，整个图像的全局特征通常表现出一致性，这为匹配多模式图像提供了可能性。通过利用全局特征中的一致特征，可以识别不同模式之间的对应关系。

该方法能有效地提取多模式图像之间的局部结构信息。MIRD由四层特征地图组成，每一层代表特征结构的不同方向。我们将MIRD显示在伪彩色图像中，根据梯度分布进行加权。首先计算原始光学图像和合成孔径雷达图像的区域梯度分布，构建图1所示四个方向的区域梯度分布直方图，然后在MIRD中选择与梯度方向直方图中权重最大的方向对应的特征图，并将其唯一地分配到伪彩色图像的红色通道。对应于第二大方向的特征地图仅被分配给绿色通道。将权重最小的两个特征地图加权并分配给蓝色通道，生成MIRD的可视化。我们将MIRD的局部可视化伪彩色图像与光学图像和SAR图像进行了比较，如图2所示。与光学图像和SAR图像相对应的一致特征，如河岸、桥梁和船舶，在子图像中具有相对恒定的结构显示。它可以为异质图像匹配提供清晰的特征描述。MIRD的结构特征提取能力可以降低后续相似性度量的复杂度。图2是将4维特征映射投影到3维伪彩色图像上的可视化。它提供了对图像的主要纹理结构信息的定性评估。一般来说，纹理结构信息在图像匹配任务中起着重要的作用。

图2用于光学到SAR图像匹配的MIRD描述符。

在第三节中，我们将进一步利用特征向量的方位角信息进行异源匹配。提出的MIRD描述子包含了异质图像的强度和方向信息，更有效地描述了多模态结构特征。

2.3 基于MIRD的多峰余弦相似性度量

传统的基于灰度的相似性度量，如SAD、SSD和NCC，使用灰度欧几里德距离或两个图像匹配区域之间的互相关来计算对应关系。在计算多维特征向量时，这些方法将向量转化为标量特征进行运算。MIRD包含四维特征向量，不同维度的特征相互关联，代表不同方向的灰度梯度信息。将MIRD矢量转换为标量特征将丢失其方向信息之间的相关性。

为了有效地利用多维特征描述子的矢量信息，我们用夹角余弦代替欧氏距离作为相似性度量来判断多模式图像之间的相关性。提出的相似性度量使用不同图像的特征向量之间的角度$θ$作为计算指标，如

对感测图像与参考图像中大小相同的对应区域进行像素化相似度评估，计算其每个像素特征向量的夹角，并求和。$S$是感测图像上所有像素$t$的集合。当$\|v_s(I_s,p)\|=\|v_r(I_r,p)\|=0$时，两个特征向量完全相关，将包含角$θ$设置为$0^\circ$。

$T(t)$是$I_s$上的掩蔽函数，其中在模板窗口内$T(t)$=1，否则$T(t)$=0。

显然，两幅图像的特征向量之间夹角较小的位置具有较高的相似性。最佳匹配位置$p$位于$A$的最小值，如中所示

利用余弦函数可以有效地保留特征向量的方向信息。因此，可以区分特征信息，包括点、边、角、纹理和平坦。

图3显示了所提出的方法的主要处理链。这一过程的步骤如下。

图3 提出的方法的主要处理链。

1. 首先选择合适的角度间隔和模板大小来构造自相似区域描述子。
2. 对多通道图像进行像素化的MIRD计算。构造的多维特征空间包含多方向的强度和梯度特征。
3. 对分段多维特征描述子进行归一化。如果向量的最大值小于最小阈值，则向量应设置为0，因为该特征被识别为平坦。如果向量的最小值大于最大阈值，则向量应设置为1，因为该特征被识别为点。在其他情况下，描述符应该用Sigmoid函数进行归一化，以有效地突出多模式图像之间的点、角、边缘和平坦特征。
4. 采集归一化后的MIRD，计算搜索区域内每个点内多模图像间多维向量夹角之和。夹角最小的点为对应的匹配位置。

4 结论

本文提出了一种用于多传感器遥感图像匹配的与通道无关的区域描述符。提出的MIRD描述子可以利用4邻域区域块之间的欧氏距离来描述异质图像之间的自相似结构特征。该方法能够有效地提取多模式图像的结构特征，并利用余弦相似性度量实现高精度的匹配。匹配实验在三类数据集上进行：光学到合成孔径雷达、红外到光学和光学地图。实验结果表明，与HOPC、CFOG、Mind、NCC相比，该方法具有较小的平均绝对误差和较好的正确匹配率，同时具有较高的匹配精度和较强的鲁棒性。