1.简介
低成本无人机平台在应急救援和其他活动中有着广泛的应用。使用低成本无人机平台获取必要信息以进行紧急救援和其他操作是相关研究中的一个热门话题。以前的大多数研究都是基于RGB图像和视频流[1,2,三,4]. 然而，大多数灾难救援行动必须持续进行。热红外（TIR）传感器非常适合于在夜间通过收集地面物体的热辐射来获取信息，无需额外的照明措施，并且能够以良好的隐身性对地面目标进行成像；此外，这些传感器可以很容易地由低成本的无人机携带。 然而，与RGB摄像机相比，TIR摄像机有一些局限性。例如，它们的分辨率较低，目标的外观可能与它们在RGB视频流中的外观有显著差异。在夜间TIR图像中，可见光波段中的一些独特特征也可能变得难以区分。这些限制在一定程度上增加了地面人员使用TIR视频流的难度，使得仅依靠UAV TIR视频数据流获取场景的状态信息变得非常困难。将现有的地理信息叠加到实时无人机TIR视频流上，可以提供丰富的信息来描述现场情况，这可以对无人机TIR视频流起到重要的补充和补充作用。因此，在无人机TIR视频流中同时向前线操作员提供已知的地理信息，帮助指挥官在夜间建立更好的态势感知，做出更好的作战决策，具有巨大的研究意义和应用价值[5,6]. 基于无人机平台的增强现实（AR）地理注册有两种主要实现方法[7]第一种方法是通过跟踪视频流中的特征点来计算摄像机的位置和姿态参数，从而在视频场景中稳定地注册虚拟目标[8,9,10,11]. 第二种方法是直接使用内部测量单元（IMU）等传感器获取摄像机的位置和姿态参数，然后在场景中注册虚拟目标[12,13]. 前一种方法的缺点是计算量大，当摄像机移动或大范围旋转时，配准信息很容易丢失。后一种方法的缺点是它依赖于高精度的姿态传感器，这在价格和普通无人机的负载能力方面都很难负担。 这两种方法的结合利用了每种方法的优点，并将其缺点的影响降至最低。然而，在本研究工作中，这些算法预计将直接运行在无人机平台上，并且主要应用场景是在紧急救援等领域。因此，必须最大程度地减少设备的计算负担，从而降低使用难度。此外，当特征点跟踪算法用于TIR视频流时，由于地面场景单调，在洪水、雪灾、草地和林地等场景中，匹配效果受到显著限制。因此，在本研究中，重点是直接使用姿势传感器来获取相机的姿势。
在作者之前的研究中[14]提出了一种基于实时动态全球定位系统（RTK-GPS）提高无人机视频流地理注册精度的方法。然而，只使用了RTK单点定位的结果，并且RTK系统的双天线航向数据没有得到进一步利用。在本研究提出的方法中，在无人机上进行了双天线RTK系统，并对扩展卡尔曼滤波算法进行了改进，以利用RTK输出航向数据进一步优化无人机姿态结果。这将DJI UAV位置和基于传感器的视频流注册的准确性从3米提高到1米。 本文的其余部分组织如下。第2节审查现有的相关研究，以及第3节描述了本文提出的方法。第4节描述了实验和结果，以及第5节对实验结果进行了分析和讨论。最后，这项工作在第6节. 2.相关研究
如引言所述，本研究的主要目标是在夜间环境中为TIR视频流实现AR。就现有技术手段而言，TIR视频流是夜间提供场景信息的主流方法。然而，TIR视频与可见视频在分辨率和纹理特征方面存在显著差异，因为亮度值基于对象的温度。此外，与普通可见视频流相比，它还存在分辨率低和纹理特征弱的问题。在紧急救援场景中，也可能存在缺乏足够质感的大型单调环境，如水和雪。在这种情况下，基于视觉跟踪的方法将导致大量不匹配，甚至没有匹配。相反，实时特征匹配也会增加机载设备的计算负担。
准确的摄像机定位和方向跟踪对于AR系统正确地将虚拟信息覆盖到真实场景中是必要的。提高地理注册精度是无人机AR研究的一个主要主题。地理注册的准确性直接关系到任务的准确性，例如视频流中人的定位、特征位置与道路之间关系的确定以及车速的估计。提高地理注册精度通常采用两种核心思想，第一种是使用高精度姿态传感器获取高精度相机姿态数据，从而直接实现高精度地理注册。第二个概念是基于计算机视觉的方法，通过该方法恢复摄像机和地面景物之间的相对运动，以获得准确的摄像机位置和姿态数据。
采用第一个概念的典型研究包括以下内容。
为了实现TIR图像中建筑物的全方位纹理映射，Stilla等人[15]利用机载定位设备和高精度惯性导航设备提供的位置和姿态数据进行地理注册。发现附在载人飞机上的定位和姿态传感器系统在横向和航向方向上的误差小于1°，定位误差为2.8 m。仅使用这些传感器数据，就可以实现更理想的地理注册。然而，该系统使用了一个重量近3公斤的高精度IMU系统，适合在载人飞机上使用，而载人飞机应用的成本对绝大多数用户来说并不现实。 由于目前在低成本无人机上携带高精度姿态传感器设备在重量和价格上都不可行，因此第二个概念，即使用图像特征点跟踪来实现地理重新注册，在以前的研究中主要采用。通过这种方法，卫星定位数据和IMU数据通常与计算机视觉方法相结合，以实现高精度配准。
安吉利诺[16]2012年，提出了一套利用卡尔曼滤波融合全球导航卫星系统（GNSS）、IMU和计算机视觉定位数据的方法，为无人机提供高精度的位置姿态信息，可将无人机的平均姿态角误差降至1°。然而，实验评估仅使用模拟数据，而非实际无人机飞行数据。 2015年，Chen等人[17]提出了使用GNSS定位信息和重力传感器数据来增强本地聚合描述符向量（VLAD）图像搜索算法，以实现移动设备的AR地理配准。然而，VLAD算法需要在高性能服务器上运行，初始运行期间的初始化操作具有巨大的计算负担。 Liu等人[18]通过将摄像机获取的帧特征与周围环境的激光点云进行匹配，实现了图像的地理注册。该系统必须以高精度和良好表现的激光点云数据运行。因此，对于大多数应用程序环境来说，通用性不够好。此外，该研究没有提供基于匹配结果的相机姿态精度等数据，也不知道基于该方法能否获得良好的配准结果。 2020年，Balázs等人[19]建议使用数字高程模型（DEM）、航天飞机雷达地形测量任务（SRTM）和先进的星载热辐射计（ASTER）等地形数据的组合用于计算用户位置的天际线并将其与从相机提取的天际线进行比较的数据，以校正便携式罗盘的向北误差。实验结果表明，该方法可以将平均角误差降低到1.04°。然而，该方法需要开放用户环境视图才能获得高质量的天际线图像，而无人机在地面观测中往往不包含天际线，这也限制了该方法在无人机AR领域的应用。 这些先前研究中使用的卫星定位模块的精度较低。考虑到无人机在地理注册过程中的位置信息对注册精度有着重要影响，一些学者将RTK模块附加到无人机上，通过低成本、高精度的测量来提高无人机视频流的地理注册精度。
2016年，施耐德[20]提出了利用同时定位与制图（SLAM）计算机视觉算法结合双天线RTK-GPS系统获得无人机的精确姿态，并实现了姿态和航向误差小于1°，以及厘米级定位误差。然而，该系统主要用于地图绘制，在实时AR过程中是否能够达到高精度配准的预期效果还需要进一步研究。此外，SLAM算法计算量大，不适合处理TIR视频流。 此外，一些学者还为无人机配备了RTK模块，以提高无人机的测绘精度，这对本研究具有一定的启示。例如，Nakata[21]提出使用配备RTK的无人机进行地表位移监测，发现使用事后差分辅助定位地面点的精度可达0.1米。什特罗纳[22]建议使用配备RTK模型的无人机对地面进行航拍，在不进行地面控制点校正的情况下实现厘米级的测绘结果。斯维丁[23]提出了一种基于RTK技术的低成本合成孔径雷达（SAR）遥感平台的构建。他们的实验表明，无需依赖地面控制点即可实现亚米级精度。 虽然这些研究没有直接使用AR技术，但理论和实践表明，在无人机上搭载RTK定位模块可以有效提高无人机相对于地面的定位精度。
因此，在本研究中，通过仅使用基于低成本无人机平台的GNSS和IMU传感器数据，提出了一种更理想的无人机TIR视频流地理配准方法。根据之前对现有研究的回顾，仅基于传感器数据的方法是低成本无人机使用AR而不考虑视觉跟踪的更理想解决方案。在现有无人机传感器中引入RTK模块可以显著提高视频流的地理注册精度。
在作者之前的研究中[14]，比施耐德使用的RTK数据更准确[20]结合改进的扩展卡尔曼滤波算法，提高了无人机的定位和姿态精度。然而，该工作仅使用了单个天线的RTK定位结果。在本研究中，利用双天线RTK模块结合改进的扩展卡尔曼滤波算法有望进一步提高无人机的配准精度。 3.方法
3.1. 基于位置和姿态传感器数据的增强现实地理注册
如前所述，本研究基于使用卫星定位和姿态传感器对来自无人机的无人机TIR视频流进行直接地理注册。基本原理是，虚拟场景中的相机被赋予与无人机相机相同的位置、姿态和视点。机载相机捕捉到的地面目标可以与虚拟场景中地面目标对应的标记重叠。机载相机通常采用中心投影模型，经过镜头的中心投影变换后，目标点位于地面具有坐标在屏幕上，可以使用以下公式进行计算：哪里是从世界坐标系到屏幕坐标系的转换，包括从世界坐标系统到相机坐标系、从相机坐标系到投影坐标系以及从投影坐标系到显示屏坐标系的变换矩阵。确定参数包括无人机的三维位置相机的横向、俯仰和航向角，摄像机的视野（FOV），以及屏幕的纵横比。当虚拟场景中的相机被指定与机载相机相同的参数时，转换矩阵车载TIR摄像头的值与转换矩阵的值相同虚拟场景摄影机的。这意味着接地点及其在虚拟空间中的对应物将具有相同的屏幕坐标经过投影变换，实现了三维地理注册。在作者之前的研究中可以找到对此内容的详细描述[14]. 3.2. 扩展卡尔曼滤波的基本原理
经典卡尔曼滤波器仅适用于线性系统。然而，在无人机的惯性导航系统模型中存在许多非线性操作。扩展卡尔曼滤波器[24]使用泰勒级数展开将非线性模型在工作位置线性化，通常应用于组合导航算法，以组合来自不同传感器的数据。 卡尔曼滤波器的工作过程由以下两个主要部分组成。（1） 首先，预测系统的当前状态，包括不确定性。（2） 当输入包含误差和噪声的新测量值时，使用这些测量值的加权平均值更新系统状态的预测，更准确的测量值获得更高的权重。如所示图1，此过程是递归的，可以实时运行，只需要前一步的当前测量和预测及其不确定性矩阵，而不需要更多的历史数据。 3.3. 一种改进的RTK航向扩展卡尔曼滤波算法
RTK定位数据通常高度准确，可以近似为相对于无人机通常工作范围的准确测量值。在作者以前的工作中[14]，另一项研究中描述的扩展卡尔曼滤波算法[25]有目的地进行了改进，以更好地利用高精度RTK定位结果。在标准卡尔曼滤波算法中，来自各种传感器的大多数输入数据都是具有较大置信区间的不可靠测量值。因此，有必要使用相应的误差参数初始化卡尔曼滤波器，并在卡尔曼滤波器运行时循环更新误差参数。然后必须使用误差参数校正测量值。在这项工作中，作者认为RTK-GPS接收机的测量由于其高精度而是可靠的。 由于误差参数是在程序运行过程中动态更新的，因此，根据RTK数据的置信区间简单地初始化卡尔曼滤波器将无法有效利用RTK数据高精度的特性，并且会增加滤波过程的不确定性。因此，改进的扩展卡尔曼导航算法只保留滤波后的姿态数据，用于每个卡尔曼滤波操作周期后的下一个周期。卡尔曼滤波操作的下一个周期的位置直接使用中值滤波后的RTK位置。
在本研究中，将RTK双天线定向测量获得的航向角添加到扩展卡尔曼滤波模型中，以进一步提高无人机姿态测量精度。改进的扩展卡尔曼滤波器算法的工作流程如所示图2. 如图6所示，RTK接收机配备了双天线，在定位过程中可以使用双天线的定位数据来确定无人机的航向角。以往对使用双天线定向的导航算法的大多数研究都假设每个天线的原始定位信息都是完整的。因此，可以将每个天线的测量状态分别纳入卡尔曼滤波器的工作模型中，并在工作过程中对每个天线测量状态的测量误差进行单独修正。此外，系统的姿态测量结果可以根据天线安装的相对位置进行修正。作为一种典型的低成本无人机RTK接收机，本研究中使用的双天线RTK接收机直接输出使用双天线导出的航向角，而不是提供每个天线的原始定位信息。为了解决这种情况，需要对扩展卡尔曼滤波导航算法进行有针对性的改进。该算法可以直接接受RTK双天线航向值作为输入值进行处理。
将RTK航向值添加到扩展卡尔曼滤波器需要将航向值用作新的观测值。相应地，RTK模块的双天线航向角测量值必须添加到包含每个周期新测量值的矩阵中，扩展卡尔曼滤波器中的卫星定位测量值矩阵通常如下：哪里：哪里是系统的观察状态，是观测到的三维速度误差，是通过惯性导航估计的机身速度，以及是通过GPS测量获得的机身速度。此外，是观察到的三维位置误差，是通过惯性导航估计的车身位置，是GPS测量的身体位置，是从身体坐标系到世界坐标系矩阵的转换，是GPS天线安装位置，是从纬度和经度到直角坐标系的转换矩阵，是地球的子午线半径，是地球的正常半径，以及是相对于参考椭球体的机身高度。 将RTK测量得到的航向角相加后，系统的输入矩阵会因方位误差而增加，输入矩阵变为：哪里：哪里是IMU根据无人机角速度计算的无人机航向角，以及是RTK接收机通过双天线定位获得的无人机航向角。 输入到系统的测量值必须乘以测量矩阵，在原始卡尔曼滤波算法中，该矩阵如下：哪里我是一个3×3单位矩阵是一个3×3矩阵。第一列对应于测量矩阵中的姿态测量，第二列对应于速度测量，第三列对应于位置测量。因此，改进的度量矩阵必须在顶部包含一行，该行对应于航向度量。 在新添加的行中，元素1对应于新添加的方向差，从而使尺寸对应于.
相应地，不确定性矩阵必须根据之前的更改进行更改。原始不确定度矩阵如下： 添加航向测量值后，不确定度矩阵还必须增加航向测量对应的不确定度项，并保持对角形式，并更改为：哪里是RTK双天线航向角的方差。 通过使用改进的扩展卡尔曼滤波算法，可以添加双天线RTK航向作为滤波操作的附加测量。与改进的卡尔曼滤波算法相比，无人机姿态角不再受GPS位置和机身运动状态的间接约束，而是直接受输入RTK双天线定向结果的约束，从而可以获得相对准确的无人机姿态角度。基于机身姿态数据，可以导出精确的机载相机姿态。
由于UAV机身通过三轴万向节与相机相连，因此三轴万向节拍可以在滚动和俯仰轴方向上稳定相机姿态，同时跟踪机身在航向轴上的运动，这使得当用户不输入旋转命令时，相机的滚动和俯仰角保持稳定。此外，在航向轴方向上，当无人机机身不水平旋转时，相机航向与无人机机身保持一致。相反，当无人机机身旋转时，相机会以特定的速度差跟随无人机机身的旋转。无人机通过码盘确定相机相对于机身的旋转角度，并结合机身的姿态来推断相机在导航坐标系中的姿态。
作者在之前的研究中描述了使用这些数据对无人机TIR视频流进行AR地理注册的详细步骤[14]. 3.4. 用于地理定位的相机姿态计算
根据中描述的扩展卡尔曼滤波算法第3.3节，可以计算出无人机机身的姿态。机载摄像机通过万向节与无人机相连，以补偿无人机在飞行过程中的抖动。可以根据万向节上的码盘读取机载相机相对于机身的三轴角度。摄像机俯仰和滚转轴相对恒定，而航向角在飞行过程中变化更频繁，更容易受到干扰。因此，在相机的三轴姿态角中，俯仰角和横滚角可以使用飞行控制器提供的原始值进行计算，并且航向角基于通过所述方法获得的机身航向角第3.1节.哪里和分别是无人机飞行控制直接给出的摄像机横滚角和俯仰角，是通过改进的扩展卡尔曼滤波算法获得的车身航向角，以及是无人机机身和相机之间的航向角差，通过万向节码盘获得。在确定无人机的三维位置和三轴姿态后，可以对无人机TIR视频进行AR地理注册。 3.5. 用于地理登记的位置和姿态传感器数据误差分析
从上一节的讨论中可以清楚地看到，获得准确的相机位置和姿势是实现准确地理注册的先决条件。无人机TIR视频的地理注册依赖于无人机的三维位置和机载相机的姿态。无人机位置和姿态误差会导致配准结果出错。另一方面，摄像机成像误差也会影响配准结果，因此在进行误差估计时还必须考虑成像过程中产生的误差。因此，注册误差可以表示为：哪里是相机位置对配准精度的影响，是相机姿态误差对配准精度的影响，以及是相机镜头畸变对配准精度的影响。相机的俯仰和滚转轴通过万向节保持稳定，相机姿态的修正仅针对相机的航向角；因此，可以简化为，这是摄像机航向角对配准精度的影响。摄像机镜头变形对配准精度的影响通过镜头的标定结果进行补偿。综合考虑这些因素，本研究考虑的影响注册准确性的因素如下： 在图3，B是相机的位置，其3D坐标为(,,). 此外，AB是相机的中心光轴，平面ACD是地面，D是图像中的目标点。摄像机的俯仰角和航向角为和分别是。地面上D点的坐标可以表示为：哪里是点的地面坐标在图像中，屏幕坐标系的原点位于图像的中心。是镜头的焦距（像素）。由于相机通过万向节在横向滚动和俯仰方向上保持稳定，因此横向滚动方向可视为水平，俯仰角可视为稳定值。从方程中可以看出()目标位置的准确性受摄像机位置的影响()和摄像机的偏航因此，这些因素引起的误差可以用方程式估算(). 3.5.1. 摄像机位置误差对配准精度的影响
摄像机位置误差对配准精度的影响是：哪里和是相机的定位误差，等于无人机的定位误差。此外，是由GPS定位误差产生的配准精度误差，其标量值如下： 3.5.2. 摄像机高度误差对配准精度的影响
高度误差引起的接地点D的定位误差为：哪里是无人机在垂直方向的定位误差。的标量长度如下所示： 3.5.3. 摄像机姿态误差对配准精度的影响
相机姿态包括三个方向，即俯仰、滚动和航向方向。由于本研究中使用的机载相机的俯仰和滚转轴是通过万向节来稳定的，因此，随着无人机运动而变化并影响配准精度的实际姿态方向是航向。由摄像机航向引起的接地点D的定位误差为：哪里是摄像机航向角误差。的标量长度如下所示： 从方程式中可以看出()和()，由于图像中地面物体相对于相机的距离不同，由相机高度和照片每个部分的相机航向误差引起的配准误差将随着物体与相机之间的距离而变化。当地面目标距离摄像机较远时，摄像机高度和摄像机航向误差对配准精度的影响增大。当地面目标距离相机较近时，相机高度和相机航向误差对配准精度的影响减小。基于方程式估算地理注册误差的理论值(), ()和()，水平摄像机定位误差()，垂直摄像机定位误差，以及相机方向角错误必须从无人机数据表中计算或获得。
由于RTK数据的高精度，它们可以用作真实值。通过RTK测量获得的无人机位置与基于普通GPS数据的无人机飞行控制输出之间的平方根误差（RMSE）可用作估计配准误差理论值时的取值(). 类似地，RTK模块测量的高度和飞行控制输出的高度之间的RMSE可用作，并且RTK航向和飞行控制输出之间的RMSE可以作为.RMSE的计算公式如下： 在方程式中(),是采样点的数量，是的标准值第个采样点，用于,、和,是使用RTK模块的相应项的值。此外，是使用常规GPS接收器的测量值。对于,是通过所提方法滤波后的摄像机航向值，以及是无人机飞行控制系统直接给出的摄像机航向值。计算结果报告于表1. 根据表1在飞行过程中，使用RTK和普通GPS接收机获得的无人机水平方向的根方定位误差分别为和。发现无人机定位误差导致的注册误差为类似地，发现无人机在垂直方向上的根方定位误差为. 高度误差导致的摄像机视场内的配准误差分布如所示图4. 如所示图4发现由摄像机视场高度误差引起的配准误差的分布随地面目标与摄像机的距离增加而增加，摄像机视场平均误差为5.6036m，大多数定位操作将在靠近相机的地方进行，测量的误差可能低于视野中的平均值。根据飞行参数设置，即无人机飞行高度=20米，图5显示了由方程式计算的摄像机视野内的摄像机航向角产生的误差分布(). 计算出摄像机视场内摄像机航向角产生的误差的理论平均值为1.2497 m。综合考虑这些结果，对摄像机水平定位误差、垂直定位误差、，和摄像机航向角误差报告表2. 如所示表2，对配准结果影响最大的实验数据是相机高度误差数据；然而，此计算基于摄像机视野的平均值。实际上，由于屏幕上透视投影的影响，距离较远的对象占用的区域较小，并且可用性较低。因此，靠近相机的目标具有更高的重要性，实际测量的误差可能低于此估计值。 4.实验
4.1. 实验平台
本研究中使用的无人机平台是DJI M600无人机[26]这是一种六轴多旋翼无人机，可以配备各种类型的传感器。此外，无人机可以配备RTK定位套件，以实现更精确的定位。无人机的性能指标报告于表3. DJI M600无人机可以根据任务携带各种有效载荷，包括RGB摄像头、TIR摄像头以及通过综合万向节系统满足重量和尺寸要求的任何定制传感器。
本研究中使用的XT2 TIR传感器具有双TIR/可见光成像功能，可以同时捕获TIR和可见光图像和视频流。具体规格见表4. 如所示图6M600无人机可配备D-RTK差分GPS套件，使无人机定位更加准确，并可基于双天线定向获取无人机航向。此差分GPS套件的水平定位精度为1 cm+1 ppm，垂直定位精度为2 cm+1 ppm[28]. D-RTK的航向精度为（0.2/R）°，其中R是天端两个天线之间的距离，单位为米。当D-RTK安装在M600机身上时，两个天线之间的距离约为0.5米，因此定向精度约为0.4°。然而，D-RTK套件仅提供1°的双天线方向输出，因此无法独立依赖RTK双天线横向来提供准确的无人机航向信息。D-RTK套件的差分地面站如所示图7. 4.2. 实验区和地理数据收集
无人机TIR视频AR地理注册实验区位于中国北京市通州区鹿城医学艺术园。实验区地形平坦，地面目标具有大量鲜明的角点，便于选择目标点进行定位。实验区域如所示图8. 实验区的可见图像首先使用无人机采集，然后使用Pix4Dmapper软件缝合在一起，以获取用于增强TIR视频的地理信息。数据采集时，天气多云，微风习习。该无人机飞行高度为80米，航向重叠75%，侧向重叠75%，航线总长度为4058米，共获得360张可见图像。路线范围如所示图9，Pix4Mapper拼接后的地面分辨率为2.15厘米，如所示图10. 为了确保基于无人机可见图像绘制的地理信息的准确性，在现场具有显著角点特征的区域收集了地面控制点，如所示图11. 控制点均匀分布在拐角特征较丰富的区域，共有20个。控制点用于精确校准缝合图像。由于没有控制点的区域可能存在显著的重采样误差，因此仅保留那些具有控制点的地区，以便在校准的可见图像中映射矢量图。目标区域包含多个具有丰富角点特征的花坛，适合识别和测量控制点。通过将D-RTK天线放置在控制点的位置上，测量控制点的坐标。控制点的水平精度为1 cm+1 ppm，垂直精度为2 cm+1 ppm[28]. 基于获取的控制点，对缝合图像进行三次多项式变换。图像中控制点的平均残差为3.52像素。 根据目标区域内花坛特征的轮廓获得的矢量图如所示图12. 4.3. TIR视频和无人机飞行数据采集
飞行采用预先定义的航路点进行TIR视频和无人机姿态数据采集，无人机根据预先定义的航路点和轨迹自主飞行。飞行过程中记录TIR视频流，机载计算机获取无人机定位数据、姿态数据、加速度和角速度等必要信息。无人机的速度为3米/秒，高度为20米，全程飞行所需时间为107秒。
TIR和可见光视频分别显示在图13和图14在飞行过程中，万向节相对于水平方向向下倾斜30°。由于摄像机倾斜，视频中的地面分辨率不是恒定的；考虑到TIR相机的水平视野为45°，水平像素数为640，TIR视频中图像中心的分辨率约为0.05m。 图15显示了RTK轨迹。由于RTK记录数据的频率相对固定，弹道点的稀疏性对应于无人机的空速。 4.4. IMU误差参数采集
在中提出的方法中第3.3节基于改进的扩展卡尔曼滤波算法，将RTK数据与其他无人机姿态数据进行融合，以提高无人机姿态测量的精度。该算法要求在计算过程中设置无人机飞行控制传感器的误差参数。通过高精度RTK定位和双天线定向测量数据，在一定程度上提高了无人机TIR视频的配准精度。 传感器误差参数使用Allan方差算法计算，该算法是一种广泛使用的惯性器件随机误差建模方法。通过分析惯性器件的输出结果，可以计算出随机漂移误差、陀螺仪和加速度计的动态误差等一系列误差特性。
为了计算M600平台IMU的误差特性，首先记录了静止M600无人机的陀螺仪和加速度计的输出值，时间为5小时，输出数据显示在图16和图17. 如所示图16，分别使用无人机传感器在无人机车身坐标系下测量三轴方向上的加速度，其中x-,年-、和z-轴分别表示无人机的向前、向右和向下方向。可以看出，无人机加速度计的输出在无人机的静止状态下仍然表现出较大的波动。 如所示图17无人机的角速度输出也有较大的波动。由于无人机的姿态角必须通过角速度积分获得，因此无人机的角速度精度将对无人机姿态计算产生很大影响。 发件人图16和图17可以看出，无人机的加速度和角速度测量都存在较大误差。这些误差将导致无人机位置和姿态测量的进一步误差，从而影响TIR视频地理注册的准确性。 Allan方差计算后，无人机IMU输出的加速度和角速度数据报告于表5. 4.5. 无人机姿态数据增强结果
改进的扩展卡尔曼滤波算法是基于一个处理组合导航系统的开源工具箱NaveGo实现的[25,29]，并使用中报告的参数进行初始化表5初始化算法后，使用改进的扩展卡尔曼滤波算法计算无人机姿态数据，如所示图18. 如所示图18，相对于无人机三轴姿态的原始值，在添加RTK定位和双天线航向角数据后，对无人机的三轴姿态进行了不同程度的修正。航向修正值如所示图19。使用航向轴数据进一步计算相机航向角，结果如所示图20修正后的相机航向角可用于无人机TIR视频流的高精度AR地理注册。 4.6. 无人机TIR视频的高精度地理注册结果
通过改进的扩展卡尔曼滤波算法处理得到的摄像机姿态和位置可用于注册无人机TIR视频。视频传输设备制造商通过测试提供延迟值。在本研究中，根据无人机手册，机载视频链路的延迟为50毫秒[30]. 根据无人机与地面站之间的距离、无线电推断和其他因素，此延迟在飞行过程中可能会有所不同。对于多旋翼无人机，工作距离不会太长；因此，手册中的这种延迟将适合于实际操作。无人机TIR视频的地理配准是根据作者先前研究中描述的方法进行的[14]，中提供了注册后获得的AR视频流的一些截图图21. 如所示图21，无人机TIR视频中的特征与矢量地图没有明显错位，表明可以使用校正后的数据正确计算从世界坐标系到屏幕坐标系的转换关系。 5.评估和讨论
5.1. 地理登记准确性评估
可以通过在配准的视频中定位地面目标来进行配准精度的实际评估。良好的配准精度意味着配准视频中地面目标的定位结果应尽可能与目标的实际位置相匹配。定位地面目标的过程与作者先前出版的地理注册算法相反[14]，即屏幕上目标的坐标以及在世界坐标系中查找接地点坐标的过程定义为：哪里是从世界坐标系到屏幕坐标系的转换矩阵。方程式()表示连接透镜光学中心、投影平面和地面目标实际位置的光线。将此光线与地形相交意味着使用已知的,和制作，生成地面位置对应于屏幕上的点。由于本研究的目标区域相对平坦用作地面的近似地形。 基于用于无人机TIR视频的地面控制点，评估了AR地理注册的准确性第4.3节，它们是具有显著角点特征的地面目标，并且使用差分GPS接收机精确测量位置。在测试过程中，从地理注册TIR视频中选择相应的点，并根据方程式计算地面坐标值()已记录。每个点测量三次，一些控制点的测量屏幕如所示图22. 为了比较精度，根据高斯投影将定位结果和参考点坐标转换为以米为单位的平面坐标系，并使用三个测量值计算RMSE作为点的定位误差：哪里是控制点位置，是TIR视频中第次测量地面目标，是该点的测量次数，以及测量结果如所示表6，并确定测试结果之间差异的统计显著性，a吨-对三组测量值进行了测试。这个第页-值结果报告于表7. 数据显示在表6结果表明，使用RTK定位数据和过滤后的摄像机航向数据，地面点定位结果有显著改善。这个第页-价值结果以表7结果表明，三组测量值在95%置信水平下的数据之间存在高度显著的统计差异。 根据图23当使用原始姿态数据进行地理注册时，会产生较大且不稳定的定位误差。在定位误差的方向上识别出了某种模式，但在同一方向上误差的绝对值变化很大。平均RMSE为3.2149 m，小于理论计算值。因为在理论计算时使用FOV内的平均值和，FOV远端的误差值越大和.在实际测量中，为了便于识别视频中的地面目标点，地面目标点的定位操作通常发生在视野中离摄像机较近的位置，导致实际测量中的定位误差小于估计值。 图24结果表明，使用RTK定位结果后，视频中地面目标的定位精度得到了提高。相对于图23，部分定位结果的方向与标准值不同，误差显著减小，方向性显著。RMSE降低到2.4630米。在计算配准误差时，由于表2，由于使用原始GPS和相机姿态定位地面目标的误差小于理论计算值。 图25介绍了作者先前研究中提出的方法的结果[14]. 从图中可以看出，定位精度有所提高，但不太稳定；这样，既取得了好的结果，也取得了差的结果。 图26展示了使用该方法增强的无人机姿态数据进行地理注册的定位结果。定位精度和误差分布都得到了显著改善。这意味着，用滤波后的相机航向数据替换原始相机航向信息后，地理注册和目标定位精度进一步提高，平均RMSE降低到1.0905 m。误差的降低与第3.5节. 5.2. 机载万向节稳定效果评估
如前所述，在无人机飞行过程中，机载万向节保持相机在相机横向和俯仰方向上的姿态角稳定。这会导致机载摄像头跟随机身在航向角方向上的旋转。因此，我们认为摄像机姿态角在俯仰和横滚方向上相对稳定。相机姿态角误差的主要来源是航向误差。为了验证机载万向节在俯仰和横滚方向上的稳定能力，对机载万向节的稳定性进行了评估。
如所示图27，将棋盘校准板垂直固定在墙上，车载摄像头指向棋盘。机身在三个方向上旋转，即俯仰、滚转和航向，并拍摄了一段持续时间的视频。以每秒10帧的速度提取录制的视频，以获得包含校准板的一系列静止图像。 通过MATLAB相机校准组件校准采集的静态图像[30]，结果显示在图28. 如所示图28通过标定操作计算出的标定板相对于相机的姿态变化主要是在航向方向上，由于万向节的稳定，俯仰和横滚方向没有明显变化。校准板相对于相机的姿态角如所示图29。根据包含校准板的图像计算得出的相机相对于校准板的姿态角在航向方向上随随机身体运动发生了30°的变化，而俯仰和横滚轴上只有约1°的轻微波动。 各方向姿态角的标准偏差报告如下表8。在俯仰和滚转方向上，校准板和相机之间的相对姿态角的标准偏差均小于1°。然而，标准偏差在航向方向上更为显著，达到13.8857°，因为相机跟随机身运动，航向角变化更大。 报告的数据表8证明无人机万向节能够有效地稳定摄像机在俯仰和横滚方向上的运动。因此，无人机飞行控制器提供的摄像机俯仰和滚转数据可以直接用于AR地理注册。此外，在误差分析中，俯仰角和横滚角误差的影响可以忽略，重点可以放在相机航向角误差对地理注册的影响上。 5.3. 透镜畸变的评估和校正
屏幕上AR信息的显示符合理想的中心投影模型。相机镜头畸变会使相机的成像变形，从而增加地理注册的误差。为了确保TIR视频地理注册的准确性和基于注册结果的地面点定位，必须对TIR相机的镜头误差进行校准和校正。使用棋盘进行透镜误差的校准和校正。然而，由于TIR摄像机基于温度对物体进行成像，因此需要一个独特的棋盘。
如所示图30，普通棋盘上的黑色方块用铜箔胶带覆盖，使棋盘能够展示TIR图像中方块的外观。校准过程中拍摄的TIR图像如所示图31. 使用MATLAB相机校准组件校准捕获的图像[31]，如所示图32. 如所示图33参与标定图像的平均重投影误差约为0.51像素，最大重投影误差不超过0.8像素；因此，校准结果被认为具有较高的准确性。如所示表9，由图像主点位置在水平和垂直方向上的偏差引起的像素位置误差分别为27.5725和3.044像素。校准计算中校准板的相对位置如所示图34。TIR图像中像素位置的透镜校正校正值可以使用径向像差和切向像差方程计算，分别由方程（26）和（27）给出：哪里是像差校正前的像素位置，以及是像差校正后的像素位置。和是标准化像素坐标除以相机焦距值（以像素为单位）。此外，是从标准化像素点到光学中心的距离。根据方程式()和()径向像差在水平方向和垂直方向产生的像素位置误差最大值分别为11.72和9.37像素，切向像差在垂直方向和水平方向产生的最大像素位置误差分别为1.59和0.73像素。 中的错误参数表9用于进一步的AR配准操作，以校正TIR图像的镜头畸变，校正结果如所示图35。校正后的结果显示在右侧，图像边界区域严重失真后的空白部分用红色标记。 5.4. 身体态度突然改变的影响
飞行过程中，风切变等突变可能会使无人机机身发生突变。我们从两个方面考虑这个问题：
6.结论
本研究提出了一种新的地理注册算法，其中利用AR技术将地理信息叠加到无人机TIR视频上，通过在夜间紧急救援和其他操作中对双天线方向数据使用高精度RTK固定，提高无人机TIR图像地理注册的准确性。为了实现RTK的高精度，对传统的扩展卡尔曼滤波算法进行了优化，RTK定位结果被认为是每个周期中更新的合理值。改进的扩展卡尔曼滤波算法可以接受双天线RTK的定向结果作为输入的测量值。
为了对该算法进行实验验证，利用实验区现有的矢量地图和无人机的实时飞行状态数据，使用该算法对实验区的TIR视频进行了增强。确定了用AR进行地理注册的视频中地面目标的位置，并与目标的实际位置进行了比较。与使用无人机飞行控制提供的定位和相机姿态数据相比，使用RTK定位，无人机TIR视频流的配准误差从3.22米减少到2.46米，利用改进的扩展卡尔曼滤波算法计算的航向数据，将地理误差进一步减小到1.09m。因此，注册错误总共减少了66.15%，无人机TIR视频流的地理注册精度显著提高。
实验结果证明，所提出的利用高精度RTK位置和双天线航向数据通过改进的扩展卡尔曼滤波算法对无人机姿态数据进行增强，可以有效提高低成本无人机的姿态数据精度，在此基础上可以实现无人机TIR视频流的高精度地理配准。通过对无人机TIR视频流进行高精度AR地理注册，可以有效增强AR技术应用于低成本无人机TIR视频流的效果，为夜间应急救援行动提供更好的地理信息支持。
