LAV：多传感器图像匹配的局部非线性仿射验证

IEEE Xplore 全文 PDF：

摘要：

匹配两个重叠图像之间的局部特征是摄影测量和遥感中的一项基本任务。但是，由多个传感器获取的图像通常在属性上存在很大差异，因此对特征匹配方法的鲁棒性和灵活性提出了巨大挑战。在本文中，我们提出了一种用于鲁棒多传感器图像匹配的局部非线性仿射验证 (LAV) 方法。LAV的主要思想是开发非线性回归公式，该公式实际上对仿射验证过程中点周围的真实表面与其切平面的非线性偏差进行了建模。具体来说，我们首先选择一组受限制的可靠且分布良好的推定匹配作为匹配的种子，并将它们分配给邻居以构建搜索空间。在每个搜索空间中，回归寻求与潜在正确匹配一致的最平滑仿射模型，从而得出一组仿射参数，以验证真实匹配的对应假设。验证可以扩展到所有最近的邻居匹配，以发现其他的无关匹配。对视点，比例，照度和外观变化程度不同的多传感器图像数据集的评估表明，所提出的LAV始终优于现有方法。LAV可以实现相当数量的高质量匹配，在现有方法提供很少或没有正确匹配的情况下。

关键词：特征匹配、图像配准、多传感器图像、离群值去除。

1. 引言

特征匹配是摄影测量和遥感领域的一项基本视觉任务。通过链接两个或多个重叠图像中同一场景点的投影，特征匹配为广泛的应用提供了第一个输入，包括来自运动的结构 [1]，[2]，图像拼接 [3]，遥感图像配准 [4]，[5]，和数据融合 [6]。为了服务于这些不同的应用程序，图像必须由可能包含各种场景和基线的各种平台和传感器捕获。因此，这些多传感器图像通常会在视点，分辨率和照度以及噪声和遮挡方面发生较大变化。这些干扰因素对特征匹配方法的鲁棒性和效率提出了很大的挑战，值得进一步研究。

作为图像分析的关键组成部分，特征匹配已经被研究了丰富的历史 [7]-[12]。通常，对于一个图像中的每个点，通过在另一图像中搜索其最近的对应物 (即，具有最相似的特征描述符) 来建立对应关系，这生成了假定的匹配。鉴于局部描述符的局限性，仅基于特征比较的多传感器图像匹配不可避免地会导致异常值。抢先异常值去除 (例如比率测试一下 [13]) 可以消除很大比例的高度不相似的匹配。尽管简单高效，但仍需要进一步纯化以过滤顽固的异常值。一种标准方法是恢复基础图像变换，并迫使内部满足此变换所施加的几何约束 [14]，[15]。然而，跨大图像区域的变换通常是复杂的，并且可以根据不同的数据而变化 [16]。宽基线中常见的高异常值率可能会进一步混淆转换模型的估计，因为当异常值在整个推定匹配集中占主导地位时，模型更喜欢拟合异常值。

离群值拒绝的另一种解决方案是使用预定义的变换模型 [17]，[18] 在局部施加几何约束。在这一研究领域中，一个众所周知的假设是，3-D平面的两个投影 (与点相切) 会引起单应性，该单应性通过图像空间中的仿射变换在局部很好地近似 [19]。这激发了对局部仿射一致性的验证，以过滤异常值，因为一致的相邻真实匹配 (其3-D点位于同一切线平面上) 共享相同的仿射变换。但是，在现实环境中，物理对象的表面在局部区域中可能不是严格的平面。在3-D点的切线平面和真实表面之间可能存在偏移。结果，不在同一切平面上的一致的相邻3-D点在其投影中产生非线性偏差。弯曲表面的偏差更为严重。此外，多传感器图像通常会在视点，分辨率和照度方面发生较大变化，并伴有遮挡。这些因素可能会改变图像像素的外观和显着性，从而导致不准确的关键点定位，其中匹配的两个关键点表示不同场景点的投影。这也加剧了非线性偏差问题。在这种情况下，采用严格的仿射约束可能会导致验证过程中inliers的丢失。

为了解决上述非线性偏差问题，一个自然的想法是将每个匹配与仿射参数相关联，并针对每个匹配进行一对一仿射建模，而不是从局部噪声推定匹配中采样单个仿射模型 (例如，通过RANSAC)。但是，对困难的一对一映射进行建模是棘手的，并且也不太可能准确。为此，我们在本研究中引入了一种用于鲁棒多传感器图像匹配的局部非线性仿射验证 (LAV) 方法。我们开发了一种非线性回归公式，通过利用它们之间的相干关系来共同解决所有局部匹配的仿射参数集。回归函数通过检查其假设的仿射运动与目标仿射模型的一致性 (由其仿射参数表示) 来计算每个匹配的匹配可能性 (相干成本)。通过联合最小化总成本，回归寻求与潜在正确匹配一致的最平滑仿射模型。此平滑仿射模型允许每个仿射参数与单个严格仿射的偏差，并且可以有效地用于验证特征对应假设。此外，为了生成用于仿射验证的合理的局部邻域，应用了类似的回归公式来创建平滑的相似性约束，通过该约束，将一组可靠且分布良好的推定匹配 (在比率测试一下之后) 作为匹配种子进行推广。然后，将每个匹配的种子分配给邻居，以构建用于实现仿射验证的搜索空间。可以将验证外推到所有最近的邻居匹配，以发现比率测试一下丢弃的其他内匹配。

我们的回归公式配备了稳健的非凸成本函数，可以限制总异常值带来的异常损失。我们还结合了分级非凸性 (GNC) [20] 技术，以有效地实现全局最佳解决方案，而无需初始化。我们恢复了非参数回归函数的适形性，并通过在具有高斯核的再现核希尔伯特空间 (RKHSs) 中对其进行正则化来强制执行平滑性约束。结果，我们的LAV对高噪声匹配特别鲁棒，因此，即使在高达90% 的离群率下，也为多传感器图像产生优异的匹配性能。

本研究的主要贡献总结如下。

• 我们提出了一种局部非LAV方法，用于对属性通常存在很大差异的多传感器图像进行鲁棒匹配。
• 开发了一种非线性回归公式，以解决由3-D切平面和真实物理表面之间的偏移引起的局部非线性偏差问题。此公式放宽了严格的仿射约束，使特征匹配变得平滑实用。
• 广泛的实验表明，所提出的LAV可以始终优于现有的匹配方法，在其他方法没有或很少提供正确匹配的情况下，在多传感器图像上产生出色的性能。

本文的其余部分安排如下。第二节对相关工程进行了回顾。第三节介绍了拟议的LAV的细节。第四节讨论了LAV性能验证的实验。第五节得出结论。

2. 相关工作

在本节中，我们简要回顾了与本研究相关的一些先前工作。这些工作包括基于全局几何验证的方法，基于局部一致性约束的方法以及基于深度学习的方法。

2.1 基于全局几何验证的方法

这类方法假设inliers服从全局几何模型，该模型可以是参数的，也可以是非参数的。

参数模型通常是特定于任务的，将具有严格几何约束的图像对相关联。此类模型的示例包括3 × 3仿射变换 [21]，表位几何 [22] 和单应性 [23]，它们广泛适用于图像配准和全景图像拼接 [24]。全局参数化简化了具有少量参数的图像变换模型，大大减轻了计算负担。但是，它缺乏灵活性，因为其适用性通常仅限于特定的图像场景 (例如，单应性仅适用于平面场景或无视差的相机运动)。它还倾向于忽略遥感图像中由地表波动和视点变化引起的常见变形 [25]。此外，参数模型主要通过基于假设和验证的思想的最大共识技术来解决。典型的例子有RANSAC及其后继者 [26]-[29]。尽管进行了各种改进，但这些方法无法保证最优解，并且它们的计算复杂度随离群率呈指数增长 [30]。

利用参数化模型的问题启发了人们对连续全局运动建模的工作 [31]-[35]，它更加灵活，可以很好地概括不同类型的转换。这些方法由于其强大的表达能力而采用非参数模型，并嵌入了平滑度约束以保持运动相干性并恢复此高自由度问题的适格性。通常，模型是在最大后验 (MAP) [31]，[32] 或M估计框架 [36]，[37] 下制定的。全局非参数建模可以保留对应关系的全局和局部异质性 (分段平滑度)。然而，面对高离群率，其性能趋于退化。基于MAP的方法通常假设一个均匀的离群分布，这在实际情况下通常是不正确的。通常，在城市场景中，由于重复模式而导致异常值随机分散或分布在集群中，这严重干扰了对inliers的基础模型的估计。此外，M估计框架采用稳健的损失函数来减轻异常值的影响。但是，几乎所有稳健成本的细分点都不大于0.5，这意味着对于这些方法而言，只有异常50% 是可以接受的 [38]。

2.2 基于局部一致性约束的方法

基于局部一致性的方法将inliers的一致性行为限制在小区域。在图像的不同区域中，此行为可能会有很大差异。局部一致性通常作为约束约束或局部几何验证来实施。coneighboring约束旨在保留相邻匹配 [16]，[25] 之间的空间 [39]，[40] 或几何结构 [41]，而局部几何验证依赖于特定的变换模型 [18]，[42]，[43]。对于局部方法，适当的局部区域 (邻域) 的定义对于匹配结果的质量至关重要。许多研究人员试图设计自适应或多个邻域，以相对精确的方式捕获内部的局部一致性 [16]，[25]。但是，局部区域的定义需要转换的内部同质性，如果没有复杂的场景语义或结构知识，很难确定。一旦划分，每个本地区域将被独立对待。在没有全局约束的情况下，当面对由重复模式引起的持续错误匹配的大区域时，局部方法仍然会失去效果。

2.3 基于深度学习的方法

最近，已经开发了基于深度学习的方法来去除异常值。一些开创性的工作已经表明了将特征坐标信息纳入神经网络以区分内部和异常值的可行性，例如DSAC [44]，LFGC [45]，DFE [46] 和oa-net [47]。其中，LFGC是一个典型的示例，它试图通过基于深度学习的技术来寻找inliers。它将损失函数分为两部分，即分类损失和回归损失，以根据假定的匹配来训练网络，然后同时识别内部因素并估计摄像机参数。最近，一些作品通过将额外的强大学习工具 (例如注意力机制 [48]) 纳入匹配网络来改进网络架构。尽管基于深度学习的方法在图像匹配方面表现出一定的潜力，但目前仍面临以下挑战。

• 点特征属于非欧几里得数据 [49]，它们是离散的和无序的。很难准确地学习点特征的空间规则。
• 当前基于深度学习的方法仍然高度依赖于训练数据的数量，并且可能难以转移到具有与训练数据不同的统计属性的场景。

3. 局部非线性仿射验证

在本节中，我们将详细介绍用于多传感器图像匹配的LAV组件。总体工作流程如图1所示。给定一组通过比率测试一下过滤的最近邻匹配 (表示为推定匹配集M)，如图1(a) 所示，我们主要通过以下三个步骤来区分inliers和outliers: 1) 我们选择一组受限制的自信且分布良好的匹配作为匹配种子，并为每个种子分配相邻的匹配，以构造其仿射搜索空间; 2) 我们在每个搜索空间上执行非LAV，以通过施加平滑仿射约束来找到兼容的inliers；3) 验证外推到所有最近的邻居匹配，以发现其他潜在的inliers。所提出的LAV的详细框架如图2所示。

3.1 局部仿射指标构建

仿射变换可以被认为是与点P相切的3-D平面的两个视图之间的单应性的良好近似值 [43]。这意味着，如果我们找到正确的匹配作为点P的假设，则可以通过验证其仿射一致性来搜索与P周围的3-D点的一致匹配。但是，由于稀疏匹配的分布不均匀以及异常值的污染，并非所有匹配都适合选择为P的二维假设以支持仿射验证。因此，我们首先需要找到一些分布良好且高度可靠的匹配项作为匹配的种子 (P的假设)，然后为它们中的每一个构建一个粗略的搜索空间。我们将此过程视为局部仿射指标的构建，用于指导局部仿射验证的实施。

尺度和方向一致性的验证已被广泛采用作为寻找内线的粗略指示 [13]，[50]。为了选择高度可靠的匹配种子，通过检查本地匹配的相似性转换一致性来增强此粗略验证。令$M_i=\{k_i^1,k_i^2\}$与$k_i^1$和$k_i^2$匹配，作为从一对重叠图像中提取的两个关键点。每个关键点可以表示为$k_i^1=\{x_i^t,o_i^t,s_i^t\},t\in\{1,2\}$，其中$x_i^t$，$o_i^t$和$s_i^t$分别表示$k_i^t$的位置，方向和比例的齐次形式。我们定义由关键点对引起的相似性转换如下:

其中Ri是两个关键点之间的旋转变换的粗略估计，可以从关键点的方向计算为

Ti表示相应的转变变换。与 [13] 和 [50] 类似，我们认为相邻的inliers会引起兼容的相似性转换，而异常值则具有不一致的相似性转换。在此基础上，我们通过回归公式验证相似性变换一致性，由以下能量函数表示:

其中N是M (假定匹配集)中的匹配数。$\R^{13}$中第i个匹配$M_i$的$p_i=\{x_i^1,x_i^2,S_i\}\in\R^{13}$可以视为代理空间 ($\R^{13}$中表示$M_i$的数据点)，$S_i$作为向量表示由$M_i$引起的相似性转换的参数。详细地，$S_i$由来自$(s_i^2/s_i^1)R_i$和$T_i$的元素组成。为简单起见，我们使用匹配的两个关键点之间的位移作为$T_i$的粗略近似，即$T_i=x_i^2-x_i^1$。$\tau_\theta(\cdot)$是将高维输入数据映射为似然的函数，该似然暗示匹配的置信度为inlier，θ 表示要求解的未知参数。此映射基于从每个$p_i$到其他输入数据点的累积距离，主要表示它们的相似性转换亲和力。诱导与更多其他匹配兼容的相似度变换的匹配获得较小的累积距离值，表明较高的概率是inlier。相反，异常值通常会获得较高的距离值，因为它倾向于诱发与大多数或所有匹配不一致的相似性变换。f(·) 是非凸鲁棒成本函数。采用此成本函数来减轻由不良异常值引起的大残差的影响，这些异常值可能会破坏最小化过程。f(·) 的其他详细信息在第iii-c节中提供。

公式(3) 中回归背后的直觉是将连续似然曲面p拟合到输入数据点。作为回归公式，成本采用形式为 $(x-τ)$，而不是$ (-τ)$ 或$ (-log(τ ))$，以允许全局最小化。可以将任何值设置为假设值x。为简单起见，我们使用1作为假设值来识别inliers，可以将其视为$\R^{13}$空间中理想inliers所在的参考超平面$\Gamma_1$。公式(3) 的最小化驱动连续表面p在1左右。匹配$M_i$成为inlier的概率越高，其代理$p_i$越接近$\Gamma_1$。换句话说，如果$M_i$更有可能是较小的，则$\tau_\theta(p_i)$更接近1 [在 (3) 中得出较小的损失]。

公式(3) 和$\tau\theta(\cdot)$ 的详细解在第iii-c节中描述。一旦完成 (3) 的最小化，我们就可以获得最佳的$\tau\theta(\cdot)$ ，该值可用于指示每个匹配的置信度得分。任何不满足条件$|1-\tau_\theta(p_i)|<\epsilon$的具有其代理$p_i$的匹配$M_i$都被认为是不自信的，因为其代理距离自信的参考平面$\Gamma_1$太远。这种不自信的匹配被排除在匹配种子选择和随后的仿射验证之外。

对于其余的匹配，我们将每个$\tau_\theta(p_i)$标准化为置信度得分。$c_i=1-|1-\tau_\theta(p_i)|(1-\epsilon<c_i\leq1)$。最后，我们对分数进行局部非最大抑制 (NMS)，以促进匹配的种子。匹配种子是在半径R内具有最高置信度分数的那些匹配，确保匹配种子的可靠性和覆盖率，如图1(b) 所示。对于每个匹配的种子，我们将其周围的其余匹配项分配为$\mathcal{z}R$半径内的邻域，这为实现本地仿射验证建立了一个粗略的搜索空间。$\mathcal{z}$是控制邻域之间重叠的超参数; 在实验设置部分 (请参阅IV-B1部分) 中，与R一起讨论了此超参数的设置。

3.2 非线性仿射验证

有了匹配的种子及其搜索空间，我们现在验证每个搜索空间上的局部仿射一致性。让$seed_i$作为种子匹配和$\mathcal{N}_i\subseteq\mathcal{M}$是$seed_i$搜索空间内的匹配集，用于验证仿射一致性。$N_i$表示$\mathcal{N}_i$的匹配数。如第一节所述，局部仿射一致性的验证面临着一个具有挑战性的局部非线性偏差问题，其中点P附近的一致3-D点 (以seedi为其在图像空间中的假设) 可能不在同一切平面上。因此，施加严格的几何约束以限制满足单个仿射变换的局部匹配集$\mathcal{N}_i$可能会导致意外的结果，例如，对于仿射模型估计，inliers的丢失或有偏差的解。为了解决这个问题，我们为$\mathcal{N}_i$中的每个匹配分配一个仿射参数，以放松由单个仿射变换描述的严格仿射约束。具体来说，令$M_j$为局部匹配集$\mathcal{N}_i$中的第j个匹配项，其两个关键点的位置为$(x_j^1,x_j^2)$，$M_j$诱导仿射变换如下:

其中$a_{j(k)},k\in\{1,...,6\}$是仿射参数$a_j$的第k个分量; $\Phi$表示未知误差项。如 (4) 所示，对每个匹配及其仿射变换之间的硬一对一映射进行建模是棘手的，并且不太可能依靠来自单个匹配的信息来准确地进行建模。为了解决这个问题，我们开发了一种非线性回归公式，以联合估计$\mathcal{N}_i$中所有匹配的仿射参数集。我们将此公式描述为以下能量函数:

其中，分别针对图像坐标系的X和Y方向求解Ea。等式 (5) 计算每个匹配的匹配成本，该匹配成本由映射$x_j^1$到$x_j^2$与$a_j$的投影误差来描述。这里的回归可以理解为将平滑模型拟合到仿射域中的观测数据 (即局部匹配)，它概括了两个局部图像部分之间的转换。一旦获得了最佳模型，由该模型编码的仿射参数集就可以得出将所有局部关键点从图像映射到另一重叠图像的最小总损失。换句话说，(5) 中$E_a$的最小化将导致仿射参数集是最优的。

由于两个原因，(5) 的优化在我们的匹配管道中是可行且有效的。

• 回归诉诸于稳健的非凸性成本函数f(·)，该函数限制了不良异常值对总能量函数的贡献。由于不良异常值最初可以不受限制地产生非常大的残差，因此平等对待残差的回归很可能会通过偏向不良异常值而导致较小的总损失。因此，采用非凸性成本函数可以防止估计模型拟合坏异常值的风险。
• 由于在匹配种子选择步骤中已经排除了很大比例的高度不自信的匹配，剩余的匹配 (用于回归) 在仿射变换中变得不相容，使得总损失更容易收敛。

完成 (5) 的最小化后，将获得每个$\mathcal{N}_i$的仿射参数$a_{N_i\times6}$的集合。我们使用$a_{N_i\times6}$来验证局部对应假设。任何具有满足条件$||x_j^2-a_jx_j^1||<\epsilon$的匹配成本的匹配$M_j\subseteq\mathcal{N}_i$都被保留为一个离群值; 否则，它被拒绝为一个离群值。$\epsilon$的设置在第IV-B1节中给出。此外，鉴于比率测试一下操作是一种低级描述符检查，因此可以在复杂情况下轻松过滤掉inlier。为了获得额外的高质量匹配，可以将本地非LAV外推到比率测试一下丢弃的匹配项。外推是通过将所有保留的内部器 (经过本地验证) 输入到 (5) 来实现的，以寻求全局最平滑的仿射模型。然后，该模型用于为每个丢弃的匹配插值仿射参数，以验证其对应假设。

3.3 求解

在本节中，我们描述了如何使用统一的非凸性回归框架来解决估计 (3) 和 (5) 中的参数的两个不适定问题。我们从两个问题的一般公式开始，然后详细介绍估计$\tau(\cdot)$和$a_{N_i\times6}$的解决方案。

(1). 非凸性估计框架: 我们给出 (3) 和 (5) 的一般公式如下:

其中$r_i(\cdot)$是第i个残差项，θ 表示需要估计的未知参数，$f(\cdot)$是稳健的成本函数。为了简化，我们将$r_i(\cdot)$称为$r_i$。通常，估计问题被表述为最小二乘优化，其中成本函数为二次型。但是，在存在坏异常值的情况下，这种公式倾向于带来有偏差的估计，因为坏异常值会导致非常大的成本。为了抑制坏异常值的影响，我们用Geman-McClure (GM) 损失 [51] 代替二次损失，这是一个非凸函数作为我们的鲁棒滤波器

其中 α 是控制函数形状的超参数。GM的非凸性很好地阻止了不良异常值的成本无限增加，相反，当残差超过某个特定阈值时，这种情况趋于稳定。该阈值由 α 确定，α 通常设置为inliers的最大可接受残差的平方: α = 2。

然而，求解非凸函数并非易事，它往往陷入局部最小值。因此，我们采用GNC技术 [20]，该技术不直接优化非凸函数，而是从凸估计开始优化一系列代理函数到更多的非凸估计，直到最终恢复原始非凸成本函数。

在我们的框架中，优化过程交替更新两个迭代: 外部迭代和内部迭代。在外部迭代时，我们通过引入变量 μ 来利用GNC技术来生成损失函数的凸近似，如下所示:

参数 μ 决定了函数的凸性，当代理函数收敛到原始损失时，参数 μ 逐渐减小，直到小于1。在内部迭代时，我们使用给定的 μ 优化 (8) 以估计最佳参数。我们不是直接优化 (8)，而是利用Black-Rangarajan对偶 [52] 将 (8) 转换为更简化的形式，如下所示:

其中$\omega_i$表示每个残差的权重，而$\Psi_{f_u}(\omega_i)=\mu\alpha(\sqrt{\omega_i}-1)^2$表示权重的正则化项。Black-Rangarajan对偶通过将稳健滤波器的效果转换为每个残差对总损失的显式贡献，弥合了稳健估计和离群值过程之间的差距,从而促进优雅的解决方案。

通过交替更新参数$\theta^{(t-1)}$和权重$w^{(t-1)}=\{\omega_1^{(t-1)},\omega_2^{(t-1)},...,\omega_N^{(t-1)}\}$来执行 (9) 的优化。

1. $\theta^{(t-1)}$使用固定的$w^{(t-1)}$进行更新，如下所示:

2. $w^{(t-1)}$使用固定的进$\theta^{(t-1)}$行更新，如下所示:

为了确保迭代从原函数的凸近似开始，我们将 μ 初始化为$\mu=2r_{max}^2/\alpha$，其中$r_{max}$表示所有数据点的最大残差。我们在每次迭代时将 μ 更新为 μ/1.4，并在 μ ≤ 1时终止迭代。此外，我们将$\omega_i$的初始值设置为1。在下文中，我们在 (3) 和 (5) 中的参数估计上实现了非凸性框架，其中 (10) 是根据残差$r_i^2(\theta)$的特定形式具体化的。

(2). 公式(3) 中$ τ ( · ) $的估计:(3) 中$ τ(·) $的估计可以视为经验风险最小化问题。为了恢复其适定性，我们应用Tikhonov正则化 [53] 使函数$ τ(·) $平滑，同时拟合输入数据。我们将惩罚项引入到原始能量函数中，并将该函数限制在假设空间中，如下所示:

其中超参数$\lambda$控制经验误差和惩罚项$||\cdot||_{\mathcal{H}}^2$之间的平衡，这是函数空间$\mathcal{H}$中的范数。在这里，我们选择与高斯核相关的RKHSs [54] 作为假设函数空间。RKHS的再现特性使我们能够将数据点之间的距离信息编码到函数中。

根据representer定理 [55]，正则化最优$ τ(·) $有如下形式:

其中$\tau(p_i)$被重新表述为$k(p_i,p_n)$的线性组合。为简单起见，我们将$k(p_i,p_n)$称为$k_{in}$。$k_{in}$表达了$p_i$与$\R^{13}$空间中其他输入数据点之间的高斯距离，可以预先计算。$c_n$是要估计的参数，该参数使inlier的$\tau(p_i)$接近假设值1，如第iii-a节所述。

同样，惩罚项$||\tau||_{\mathcal{H}}^2$被重新表述如下:

其中$c_i$和$c_n$是N × 1列矩阵$C=[c_1,..,c_N]^T$中需要估计的元素。(12) 的优化形式如下:

给定 (11) 为每个残差计算的权重wi，我们现在通过取 (15) 相对于C的导数并将其设置为0来更新参数C的值。我们可以通过以下线性系统得到C:

其中$W=d(\omega_1,..,\omega_N)$，算子$d(·) $返回主对角线上$\omega_1,…,\omega_N$的对角矩阵。K是由$k_{in}$和$Q_{N\times1}=[1,…,1]^T$组成的N × N Gram矩阵。然后，我们可以计算每个数据点的残差，并根据 (11) 更新$\omega_i$。最后，我们获得每个匹配的置信度值$ τ(p_i)$，直到满足迭代的终止条件为止，如第iii-c节中所述。

(3). (5) 中仿射参数集$a_{N_i\times6}$的估计:

下面，我们详细介绍了非凸性框架在基于相邻匹配的相干关系估计仿射参数集中的应用。我们通过用高斯核对RKHS中的仿射参数进行正则化来实现平滑度约束。与 (13) 中$ τ(·) $的估计类似，对于第i个对应关系，仿射向量集$a_{N_i\times6}$中的每个仿射分量$a_{j(k)},k\in{1,…,6}$采用以下形式:

其中$N_i$是第i个局部匹配集$\mathcal{N}_i$中的特征匹配数。$x_j^1$和$x_m^1$表示关键点$k_j^1$和$k_m^1$的位置。$k(x_j^1,x_m^1)$计算$k_j^1$与位于同一局部图像区域上的其他关键点之间的高斯距离，可以预先计算。为简单起见，我们在下文中将$k(x_j^1,x_m^1)$称为$k_{jm}$。$c_{m(k)}$是每个仿射参数的第k个分量要估计的第m个代理参数。假定图像部分中的附近像素在仿射变换中更兼容，关键点也是如此。因此，在 (17) 中，将与关键点$k_j^1$相关联的第k个仿射分量视为代理参数$\{c_{1(k)},..,c_{N_i(k)}\}$。与$k_j^1$的仿射参数更接近的关键点的仿射参数贡献更多的j。以这种方式，(17) 保留了仿射变换的局部性。为了描述未知误差带来的影响，我们在 (5) 中考虑$\Phi$作为要估计的变量，并将其相对于每个仿射分量分解为$\Phi=\{\Phi_{(1)},..,\Phi_{(6)}\}$。

基于 (17) 中的公式，可以通过最小化 (5) 中的总匹配损失来逐步优化局部匹配集Ni的仿射参数集。根据representer定理，(5) 中的能量函数附加正则项，X方向上的能量函数可以重新表述为

在Y方向上重新制定的能量函数采用与 (18) 相同的形式。根据 (5) 和 (17)，局部集合$\mathcal{N}_i$中所有匹配的X方向上的仿射变换分量可以进一步用简单矩阵形式表示:$\tilde{K}$$\tilde{C}$. :$\tilde{K}$是:$\tilde{K}$是$N_i\times(3N_i+3)$矩阵

其中$K_i$是由$k_{jm}$组成的$N_i\times N_i$gram矩阵。$d(·) $是对角矩阵的符号。$X_{N_i\times1}^1=(x_11,…,x_{N_i}^{1)$连接第一个图像的关键点的坐标。$\tilde{C}$是包含仿射变换参数的$N_i\times(3N_i+3)$列矩阵:$\tilde{C}_{N_i\times(3N_i+3)\times1}=[C_1,C_2,C_3,\Phi_{(1)},\Phi_{(2)},\Phi_{(3)}]}T$，每个分量$C_k=[c_{1(k)},…,c_{N_i(k)}]$。

给定由 (11) 计算的每个残差wi的权重，我们对$\tilde{C}$取 (18) 的导数并将其设置为0，我们可以更新$\tilde{C}$按照下列线性系统：

其中权重矩阵$W=d(\omega_1,..,\omega_{N_i})$是$N_i\times N_i$对角矩阵，并且$Q=[x_{i(1)}^2,..,x_{N_i(1)}^2]$。然后，我们可以通过根据 (11) 计算每个匹配的投影残差来更新W。我们执行$\tilde{C}$和W的替代更新的迭代，直到满足终止条件并获得最优$\tilde{C}$，详见第III-C节。将X方向和Y方向上的$\tilde{C}$代入 (17)，我们可以将每个对应关系的投影误差计算为$||x_j^2-a_jx_j^1||$。

对于提出的LAV算法，我们需要求解两个线性系统 [参见 (16) 和 (20)]，以根据RKHS [54] 中的表示定理估计 $τ(·)$ 和$a_{N_i\times6}$。总体计算复杂度为$O(I_1N^3+I_2(3N_i)^3)$，其中I1和I2是两个解决方案中的迭代次数，N是输入匹配的总数，Ni (<<N) 是本地搜索空间中选择匹配的最大次数。