无人机数字影像配准技术研究及精度分析
钟镇声1 高崇越2
(1. 广东五度空间科技有限公司,广东 广州 510663;2. 青海大学 地质工程系,青海 西宁 810016)[摘 要] 无人机数字影像配准技术是无人机航空摄影测量的基础技术之一。针对无人机遥感影像配准问题,本文选取地物特征点进行坐标系投影变换,从而确定影像空间位置,完成影像配准工作,并进行精度评定。研究表明:①通过手动选取控制点进行坐标拟合,可有效将TIF和JPEG影像进行配准。②基于灰度共生矩阵的特征点匹配法具有较高的配准精度,基于相位相关的区域配准法适用于处理大面积的影像配准问题。③利用TIF 影像数据配准精度较高,JPEG 影像数据更便于传输与存储。④配准的最佳方法取决于所应用的场景。
0 引言
近年来,随着空间信息科学与对地观测技术的快速发展,无人机航空摄影测量需求与日倍增,在设备维护巡查、地质灾害监测等多领域发挥着重要作用。相对于卫星遥感,无人机遥感具有时效性强、成本低、时空分辨率高等优势,在小范围作业优势明显。多传感器无人机可获取多视角目标影像,因而日渐普遍。但无人机在实际作业时会受到作业条件干扰,面临影像偏移、扭曲、变形等问题,完善数字影像配准技术具有重要意义[1-2]。国内外从业人员做出大量研究,所提出方法可主要分为基于区域的配准方法、基于频域的配准方法和基于特征的配准方法。基于区域的配准方法的基本原理是将影像的灰度信息与特定的相似性度量作为衡量标准,寻找参考影像与待配准影像之间的映射关系,使影像在同一坐标系下对齐[3];基于频域的配准方法的基本原理是在图像变换到频域的基础上,采用影像频域信息特征对影像进行配准。但此类方法需考虑影像全部信息,导致计算量较大,难以满足无人机影像配准需求[4-5]。基于特征的配准方法相比于上述两种方法,只考虑参考影像与待配准影像之间的共有特征,如特征点、特征边缘、区域面等,可大幅度提升作业效率[6-7]。基于特征的配准方法的核心思想在于对影像间的共有特征进行寻找与匹配,通过建立变换模型进行影像配准。其中,特征点的使用最为常见,如尺度不变特征变换(scale invariant feature transform,SIFT)算法。本研究在此基础上,对不同数字影像配准技术进行研究与精度分析。于欢等[8]基于特征的控制点配准算法和图像灰度融合的对比度调制法,实现了无人机影像自动无缝拼接技术,解决了上百幅多航带具有重叠度的影像能够快速拼接成一幅影像的技术难题,但配准精度仍需提高;尚明姝[9]采用Harris 提取角点,利用最小中值法去除局外点,实现图像拼接,但是由于最小中值法计算复杂度较高且不能处理小区域重叠的影像;何敬等[10]提出了一种将SIFT 提取的点特征与Cann 算子提取的边缘特征相结合的配准方案,但此方案受影像内容影响较大,在被水域所包围的区域,无论是采用点特征还是线特征都无法对其进行匹配,所以在采用小面元微分校正时无法对影像的边缘构建三角形对其进行校正。本研究在以上研究的基础上,运用多种方法对无人机数字影像进行配准,对配准结果精度进行定性评价,并对TIF 和JPEG 格式影像在影像配准中的优点和缺点进行了讨论,提出了根据不同需求选用不同影像格式的方法。1 研究方法与技术路线
数字影像配准技术是指对相同或不同坐标系下的多幅影像进行投影变换到某一相同坐标系下,使所表达相同内容的像元对齐的技术。基于特征点的配准方法是目前最为常用和有效的数字影像配准方法之一。将两幅或多幅不同角度、不同变换的图像,使它们在同一坐标系下重叠,实现像素点之间的精确对应关系,包括图像坐标系配准、物理坐标系配准和混合坐标系配准。图像坐标系配准是指将源图像和目标图像在图像坐标系下对准;物理坐标系配准是指将源图像和目标图像在物理坐标系下对准;混合坐标系配准是指将源图像和目标图像在混合坐标系下对准。配准过程包含三个步骤:特征提取、特征匹配和变换估计。其中,特征提取是指对源图像和目标图像所包含特征点进行提取;特征匹配是指对源图像和目标图像中的特征点进行匹配;变换估计是指根据匹配的特征点将源图像和目标图像进行变换,使目标在同一坐标系下精准对齐[11-13]。在数字影像配准过程中,往往会有影像的格式、分辨率等问题,因此对影像进行重采样必不可少。重采样是指将具有不同的分辨率、尺寸或像素间距的多幅影像进行处理,使其在相同尺度上对齐。重采样主要方式包括点采样、区域平均采样、区域最近邻采样等。点采样速度快,但会丢失部分细节信息;区域平均采样可以很好地保留影像的细节信息,但会造成某些部分模糊;区域最近邻采样可以保留边缘信息,但会造成某些部分过于尖锐。不同重采样技术的应用对配准结果具有较强的影响,采用合适的重采样方式可以提高数字影像配准的精准度[14]。无人机遥感影像配准技术是将无人机获取的遥感影像与地理空间参考数据进行准确的对齐和配准的过程。这种技术广泛应用于农业、土地管理、城市规划、环境监测等领域。本文对实验数据采用基于灰度共生矩阵的特征点匹配法和基于相位相关的区域配准法进行影像的配准,并比较了两种方法的优缺点[15-16]。本文在对无人机影像数据进行预处理的基础上,对影像进行重采样以获取相同空间分辨率,利用选取特征点的地理坐标与像素坐标,运用Matlab 图像拟合实现影像配准与精度评定,通过分析拟合确定系数与均方根误差(root mean square error,RMSE)误差,得出精度最优的配准方法,并对配准结果定性评价。2 结果与分析
对导入的影像进行预处理,包括去除畸变、图像重叠度调整、背景去除等,确保像素坐标和空间坐标的坐标系具有一致性。本文实验数据如图1所示。待配准影像和基准影像的分辨率不同,因此将基准影像进行重采样,使两幅影像分辨率相同,重采样前后影像如图2 所示。选取影像配准特征点应具有显著的、鲜明的可见特征、具有高局部变化的细节特征、分布均匀以及具有不受噪声等影响的稳定性。选取控制点(15 组特征点)如图3所示。
图2 重采样前后影像数据
导出特征点地理坐标后利用画图软件找出待配准图像中对应的像素坐标,由于与像素坐标的拟合及配准的需要,输出为地理坐标系,如表1所示。
采用Matlab 图像拟合技术计算影像配准精度,实现对配准结果的可视化管理与统计分析,并选取控制点对图像拟合获取配准误差进行分析与统计[15]。通过以上四种模型对X 和Y 地理坐标和像素坐标的拟合分析,拟合度及误差分析如表2所示,结合确定系数与RMSE 结合分析,表明一次多项式拟合度较好,因此,采用一次多项式拟合对整张影像进行坐标变换。
通过Matlab 中根据待配准影像像素坐标建立两个矩阵,以463×535像素输出,经计算得到的地理坐标基础上,依据Matlab 控制点坐标拟合中应用的一次多项式拟合公式进行计算,得出地理坐标,其计算方法如式(5)所示。其中,在进行X 坐标拟合时,p1 =-7.505 ×10-2,p4 = 7.188 × 105;在进行Y 坐标拟合时,p1 =-5.622 × 10-2,p4 = 4.025 × 106。该公式为y = kx + b形式的二元一次方程,p1和p4分别代表为k和b两个常数,都是在Matlab一次多项式拟合中计算生成的。利用Matlab 将转换得到的地理坐标和空间信息写入到JPEG 图像中,生成新的标签图像文件TIF 图片的基础上,利用ArcGIS 叠加显示,获取配准结果。采用定性评价的方式对配准结果进行评价。定性评价准则主要以主观方式进行评价,常用目视检查为主,也有学者采用棋盘格镶嵌图及放大图进行精度评价。该方法可以观察影像特殊地物的连续性,及地物轮廓是否对齐。此类方法虽然较为直观,但是易受实验者的专业知识和经验影响。此外,需要结合定量评价方法共同评价影像配准精度,配准结果如图4所示。
图4 配准细节图集
3 讨论
无人机拍摄的TIF 影像和JPEG 影像具有不同的优点与劣势。TIF 影像是一种无损压缩格式,存储的是图像的每个像素的精确数据,能够保存较高的图像质量和细节。然而,TIF 格式的影像通常具有较大的文件大小,在进行传输和存储时需要更多的空间和时间。JPEG 影像是一种有损压缩格式,可将图像压缩,使其具有较小的文件大小。由于压缩会使图像的细节失真或丢失,因此图像质量难以与TIF格式图像相比较。因此,TIF 格式影像更适用于精确测量和分析的任务;JPEG格式影像更适用于无人机图像的传输和共享。在实际应用中,应根据不同任务的需要,使用不同格式的影像。TIF 格式的影像保存了每个像素的精确数据,配准精度通常较高。在进行TIF影像配准时,可以利用地面控制点(ground control point, GCP)和数字高程模型(digital elevation mode,DEM)相结合的方式提高配准精度。JPEG格式影像存在一定的数据压缩误差,对配准精度具有一定影响,但可通过使用高精度配准算法(SIFT 算法等)与GCP 和DEM 数据相结合的方式进行误差校正,提升配准精度。此外,在遥感图像中,异源图像的配准一直是研究难点,如可见光图像和合成孔径雷达图像的配准[17],这些将在以后工作中重点研究。4 结束语
本研究在运用多种方法对无人机数字影像进行配准的基础上,对配准结果精度进行定性评价,并对TIF 和JPEG 格式影像在影像配准中的优点和缺点进行了讨论,得出以下结论:(1)通过手动选取控制点进行坐标拟合,可有效地将TIF和JPEG影像进行配准。(2) 基于灰度共生矩阵的特征点匹配法具有较高的配准精度,基于相位相关的区域配准法适用于处理大面积的影像配准问题。(3)利用TIF 格式影像数据配准精度较高,JPEG格式影像数据更便于传输与存储。(4)配准的最佳方法取决于所应用的场景,不同应用场景下的最佳配准方法不同。研究中使用了手动选取控制点的方法,但在实际应用中,自动化的配准方法将更具实用性和效率。可以探索使用计算机视觉算法和机器学习技术,例如,特征提取与匹配算法、深度学习模型等,来实现无人机影像的自动配准。对于配准结果的进一步提升,可以考虑将无人机影像与其他数据源进行融合,如卫星影像、地面观测数据等。通过多源数据的融合,可以提高配准结果的准确性和可靠性,适应更复杂的地理环境和场景。由于不同应用场景的特点和需求各不相同,最佳的配准方法也会有所不同。因此,在实际应用中,需要根据具体场景和目标进行选择和优化,结合专业领域知识和实验评估结果,选择最适合的配准方法进行应用。