FFAU—Framework for Fully Autonomous UAVs

Pedro, Dário; Matos-Carvalho, João P.; Azevedo, Fábio; Sacoto-Martins, Ricardo; Bernardo, Luís; Campos, Luís; Fonseca, José M.; Mora, André

doi:10.3390/rs12213533

开放式访问第条

全自主无人机FFAU框架

通过

达里奥·佩德罗

^1,2,3,*

,

乔·马托斯·卡瓦略

^4,5

,

法比奥·阿泽韦多

^5,6

,

里卡多·萨科托·马丁斯

^2,3,5

,

路易斯·贝尔纳多

^{3, 7}

,

路易斯·坎波斯

¹,

何塞·M·丰塞卡

^2,3

和

安德烈·莫拉

^2,3

¹

葡萄牙里斯本PDMFC，1300-609

²

葡萄牙卡帕里察UNINOVA技术和系统中心，2829-516

^三

葡萄牙卡帕里卡2829-516里斯本诺瓦大学FCT电气工程系

⁴

COPELABS，葡萄牙里斯本人文科技大学，1749-024

⁵

Beyond Vision，2610-161年，葡萄牙

⁶

葡萄牙波尔图4099-002波尔图大学FEUP电气与计算工程系

⁷

葡萄牙里斯本电信研究所，1049-001

^*

信件应寄给的作者。

远程传感器。 2020,12(21), 3533;https://doi.org/10.3390/rs12213533

收到的提交文件：2020年9月16日/修订日期：2020年10月21日/接受日期：2020年10月22日/发布日期：2020年10月28日

（本文属于特刊用于环境应用的无人机遥感多传感器数据融合)

下载

浏览地物

审查报告版本注释

摘要

:

无人机（UAV）虽然不是一项新技术，但最近在许多行业中发挥了突出作用，不仅在热情的消费者中得到了广泛应用，而且在高要求的专业场合中也得到了广泛使用，并将在未来几年产生巨大的社会影响。然而，无人机的操作充满了严重的安全风险，例如与动态障碍物（鸟类、其他无人机或随机抛掷的物体）发生碰撞。这些碰撞场景非常复杂，难以实时分析，有时无法用现有的最先进（SoA）算法进行计算求解，这使得无人机的使用成为一种操作风险，因此大大降低了其在城市环境中的商业适用性。在这项工作中，介绍了单机和群（网络）无人机的概念框架，重点是防撞子系统的架构要求，以实现可接受的安全性和可靠性水平。回顾了SoA对静止物体的避碰原理，描述了一种新的方法，使用深度学习技术解决动态物体实时避碰的计算密集问题。提议的框架包括一个网络接口，允许将无人机作为远程客户端与基于云的监管平台进行完全控制。该方法的可行性通过使用无人机的实验测试得到了证明，无人机是使用该框架从零开始开发的。本文给出了世界多个国家监测的自主无人机的测试飞行结果。

关键词：

无人机;框架;无人机;避免碰撞;弹性;人工智能;机器学习;神经元网络;深度学习

1.简介

我们生活在无人机系统（UAS）的“时代”，这是一个包罗万象的术语，包括飞机或无人机、地面控制器（操作机器的人或软件代理）以及连接两者的通信系统[1]. 此外，正在提出新的解决方案，允许使用面向云的体系结构互连此系统的不同组件[2].

如今，无人机正在以几乎无人能想象的方式彻底改变世界和商业[三,4]. 无人机的快速发展，更重要的是，无人机在更大范围的场景中的商业应用，增加了对更安全、更可靠解决方案的需求[5,6,7,8]. 与此同时，传感技术（如热、多光谱和高光谱）在多个领域的不断发展可能通过创造新的解决方案和应用改变社会的某些方面[9,10,11,12,13].

为了在城市环境中安全部署无人机，无人机必须达到与汽车相同的可靠性和安全性水平[14]. 无论运行条件如何，也无论意外事件的发生，都必须确保这种安全性和可靠性。这导致了一个明显的结论，即与其他自动车辆一样，需要开发一种不受环境约束的碰撞避免体系结构，并且能够实时找到意外事件的解决方案。缺乏这种健壮的体系结构在过去导致了多次灾难[15,16,17,18,19,20,21]，这将随着将部署的无人机数量的预期指数增长而自然增加（消费者和公司）。本文提出了一个健壮的体系结构，它是全自主无人机（FFAU）完整框架的一部分，以及满足该体系结构的功能和技术要求的完整实现（软件和硬件）。拟议框架的安全性提高，允许新的有趣的使用场景，例如无人机的远程遥控。此外，还提出了一种新的动态避碰算法，该算法利用卷积神经网络（CNN）从视频帧中提取特征，以及递归神经网络（RNN），该递归神经网络利用能够估计是否存在传入碰撞的视频时间特征，如图1此图显示了从ColANet数据集检索的视频中的两个帧[22]这是一个孩子把球踢进无人机的画面。

有很多尝试将无人机集成到一个架构中，该架构将不同的无人机模块和云平台连接起来。中所示的体系结构[23]涵盖三个主要主题：空中交通管制网络、蜂窝网络和互联网。分层架构为不同的UAV应用程序提供服务，例如监视或搜索和救援。本文没有介绍所提议体系结构的任何实现，只概述了IoD（Internet of D rones）的一般概念，后者后来有部分实现[2]. 这两篇论文都没有对关键因素给予太多重视：无人机本身。相反，本文在不忽略同等重要的云连接的情况下，对UAV功能块进行了更深入的分析。

Apvrille提出了无人机在自然灾害中的使用模型[24]. 它可以帮助救援人员在灾难发生后找到受害者。所提议的系统解决了基于机载图像处理的自主无人机任务开发，而不是通过云端控制无人机或将计算卸载到远程服务器。

Mahmoud等人提出了一种协作无人机模型[25]它将云计算资源映射到无人机的资源。此外，还提出了基本服务和定制服务，作为通过互联网访问无人机资源和控制其任务的选项。对系统架构、组件和服务进行了高级描述，但缺乏实现和结果的详细信息。继续这项工作，开发了一种代表无人机资源和服务的面向资源的体系结构（ROA）方法[26,27]. 原型是使用模拟无人机及其资源的Arduino实现的。然而，这种方法与真实的实验原型相差甚远，不能充分证明真实无人机的概念，因此不能证明这种方法的可行性。

在这项相关工作的范围之外，还有一些概念的详细描述，作者认为这些概念是机器人和云领域的先验知识，例如MAVLink协议[28]、机器人操作系统（ROS）[29]，后端（BE）[30]，Web应用程序（WA）[30]，码头工人[31]和kubernetes[32,33].

本文的其余部分分为以下几个部分：第2节介绍了无人机安全操作的框架。该框架的主要创新点是避免碰撞和云块，分别在第3节和第4节分别是。第5节描述了对所提出框架的具体实现（软件和硬件）的实验测试，并分析了收集的数据，验证了我们的方法和实现。本文介绍了其主要结论和未来可能的研究工作第6节.

2.全自主无人机框架

本文提出了中描述的体系结构图2核心元素在ROS框架之上实现，并利用其抽象和消息传递系统实现所有必要的功能[29]. 块之间的通信是使用发布者/订阅者范式在整个ROS主题中完成的。云平台，命名为天际线以外是一个模拟无人机无线电指挥的云平台，其优点是飞行员可以通过互联网远程控制无人机。飞行员和UAV只需与平台建立互联网连接。

开发理想的（即安全可靠的）无人机系统需要多个软件组件。ROS库用于UAV中运行的模块，因为它具有较高的灵活性，并且更容易集成未来的附加功能。此外，它还提供了几个现成的节点，可以进行调整或重用，以适应新的用途。本节的其余部分使用ROS固有的一些术语来解释图2。可以在源代码旁边找到其他详细信息（位于https://gitlab.pdmfc.com/drones/ros1/heifu网址).

2.1. 感知

感知是当前架构的核心块。它封装了一组功能，这些功能可以分解为多个节点（通常每个传感器一个），更高级别的节点从直接处理物理传感器的节点获取输入数据。

直接处理传感器的节点如下：

摄像头节点：从摄像头接收数据并以传感器图像消息格式发布。这看起来是一个相当简单的节点，但也可能非常复杂。ROS以自己的消息格式传递图像，但许多开发人员使用与OpenCV等不同图像处理库捆绑在一起的图像节点[34];
里程节点：该节点可以估计无人机相对于其起点的位置。这可以通过使用无人机运动传感器数据，通过视觉里程计进行估计，或使用混合方法的任何类型的融合算法来实现。来自该节点的数据发布在以消息格式命名的导航里程信息上；
IMU节点：惯性测量单元（IMU）负责处理IMU传感器（加速计、陀螺仪、磁强计和气压计），并定期向ROS网络发布传感器IMU消息；
GNSS节点：从全球导航卫星系统（GNSS）获取数据，并定期在ROS网络上发布导航消息。

在每个节点中，可以在ROS网络上发布数据之前应用过滤算法。重要的是过滤传感器的错误读数，并避免噪声污染顶级节点。因此，在第一组感知节点之上，可以开发使用过滤数据的其他节点。一些示例是定位节点[35]，3D节点[36]（使用运动中的结构）或深度图像到点云节点[37].

2.2. 碰撞感知规划器

碰撞感知规划器（CAL）模块负责建立安全路径。该模块接收一个或多个坐标，并在这些坐标之间生成一条路径，同时考虑来自感知层的数据（障碍物点云）。在长期自主任务中，CAL在全球任务的两个航路点之间创建轨迹。这些轨迹是其输出，由一组地理参考轨迹航路点组成。

如Galceran等人所述，解决规划问题有多种形式[38]. 大多数SoA算法都假设世界可以建模为简单的平面。Hert等人[39]将2D知识应用于3D环境和一些其他方法，以避免障碍物。另一种方法是插入用户给定的目标点，并设置每当检测到障碍物时进入游戏的退出回调[40].第3节将添加有关此主题的其他详细信息。CAL生成一条轨迹，该轨迹是一系列具有距离公差的点，并更新计划处理程序。

2.3. 计划处理人

根据CAL输出，计划处理程序使用移动约束和命令操作插值轨迹点。计划处理程序节点接收来自UAV执行机构编码器和输入设定点的联合状态数据作为输入。它使用通用的控制反馈回路机制，通常是PID控制器来控制输出。由于无人机的关节数通常很简单，因此可以创建一个标准动作控制器，将此CAL生成的轨迹转换为无人机控制器的命令。

2.4. 命令多路复用器

优先考虑安全和控制主题是当今无人机的一项强制性预防措施。安全要求在按下遥控器的任何按钮时，能够自动从自主行为切换到手动控制。因此，必须将所有输入源多路复用到与硬件控制器通信的单个汇聚点。

命令多路复用器（CM）订阅主题列表，这些主题发布命令并根据优先级标准多路复用命令。优先级最高的输入控制UAV，成为主动控制器。活动控制器可以通过超时（输入无响应）或主题锁定（某些输入可能被锁定或丢弃）进行更改。实际上，该节点将从不同发卡机构获取多个输入主题，并输出优先级最高的发卡机构的消息（阻止其他发卡机构）。当无人机自主飞行且飞行员想要控制无人机时，这尤其有用。如果飞行员被设置为最高优先级，则飞行员的任何命令都将使其成为主动控制器。

2.5. 动态防撞

动态防撞（DCA）节点是一个新颖的节点，通过提高安全性，将FFAU与SoA框架区分开来。其核心思想是，它实现了与需要立即关注的计划外行动相关的逻辑。例如，如果有人在无人机执行自主任务时向其投掷物体，则该节点负责迫使无人机改变轨迹并避开障碍物。

为了实现这一点，它从感知块接收实时视频流信息，当检测到传入的碰撞时，它以高优先级向CM发送命令。在提出的DCA算法的基础上，结合一组深度神经网络（DNN）来实现这一结果。

防撞算法要求无人机定位与图像处理相结合，因为惯性引起的运动漂移很容易导致DCA节点错误计算传入物体周围的安全轨迹。

本文介绍了一种用于运动目标检测的新型DCA节点和一种使用标准摄像机数据的碰撞避免算法，详细描述见第3节。该节点是体系结构的可选节点，仅处理传入的冲突。

2.6. 通信处理程序

为了与该框架通信，通信模块将ROS发布者/订阅者转换为网络套接字。通过这样做，可以从Beyond Skyline平台的任何距离控制无人机机队（开发的Beyond-Skyline平台可以通过链接访问-https://beyond-skylene.com/). 该模块还处理WiFi、4G和5G之间的切换。这是通过在所有可用的通信通道中创建流，并始终使用具有最佳连接的通道来实现的。当UAV经过身份验证时，它会接收一个专用通道，以使用实时传输协议（RTP）流式传输视频和音频数据[41].

3.防撞

创建从位置a到位置B的路径规划，同时避免障碍物并对环境变化做出反应，对于人类来说是简单的任务，但对于无人机来说却不是那么简单。这些任务提出了每个无人机需要克服的挑战，以实现完全自主。无人机使用传感器感知环境（在一定程度上是确定的），并构建或更新其环境地图。为了确定导致所需目标位置的运动动作，可以使用不同的决策和规划算法。在路径规划过程中，需要考虑无人机的运动学和动力学约束。

最短路径发现用于解决不同领域的问题，从简单的空间路径规划到选择实现特定目标所需的适当动作序列。由于环境并不总是事先知道的，因此这种类型的规划通常仅限于预先设计的环境，并在规划过程之前进行足够准确的描述。可以在完全已知或部分已知的环境中，以及在完全未知的环境中计算路线，在这些环境中，传感信息用于定义所需的UAV运动。

已知环境中的规划是一个活跃的研究领域，为环境未知的更复杂场景奠定了基础先验的本节概述了适用于无人机的最常见路径规划方法。

在本工作中，碰撞避免问题分为两类：

静态碰撞 $秒_{c}$ -表示无人机与任何移动速度比无人机慢得多的障碍物之间的碰撞。人们认为，以世界为参照物，如果一个物体的移动速度低于无人机最大速度的5%，就会产生静态碰撞 ${v（v）}_{米一 x个}$ ;
动态碰撞 ${d日}_{c}$ -表示UAV与任何移动速度超过点云计算速度的障碍物之间的碰撞，以便路径规划人员规划安全路径以避免碰撞。人们认为，将世界作为参照物，如果一个物体的运动速度超过5%，就会产生动态碰撞 ${v（v）}_{米一 x个}$ .

将对象当前速度表示为

{v（v）}_{o（o）}

，这两种碰撞类别可以表示为：

\{\begin{matrix} 秒_{c} \in {v（v）}_{o（o）} ⩽ 0.05 \cdot {v（v）}_{米 一 x个} \\ {d日}_{c} \in {v（v）}_{o（o）} > 0.05 \cdot {v（v）}_{米 一 x个} \end{matrix}

(1)

值得注意的是，5%最大速度的启发式并不重要，因为CAL块在框架中使用的静态碰撞避免（SCA）算法可以处理以更快速度移动的障碍物（从其最大速度的0%到25%），而不会避开错误的路径。同样，动态碰撞避免算法处理各种碰撞，即使路径规划器无法检测到静态对象，也不会生成避开障碍物的轨迹。

3.1. 静态碰撞避免

正如Marr在[42]，视觉世界中的大多数结构都是刚性的，或者至少几乎是刚性的。这句话是大多数防撞算法的起点。核心概念是，规划师应尝试制定一个计划，在向航路点前进的同时，最大限度地增加与障碍物的距离。

人们提出了大量方法来自动化空中交通冲突检测和解决（CDR）[43]. 大多数方法可分为：状态信息维度（垂直、水平或三维、3D）、动态传播方法（标称、最坏情况或概率）、冲突解决方法（计划、优化、力场或手动）、机动维度（速度变化、横向、垂直或组合机动）、，和多架飞机冲突管理（成对或全局）。

本节特别关注使用实时避障算法的多旋翼无人机解决方案，该算法具有最常见的传感器配置，即单目摄像机[44]、激光雷达[45,46]，立体摄像头[45]，或组合[45].

全局快门相机可以提供给定瞬间的环境快照，并生成稠密的3D深度信息，空间中的每个点都有RGB颜色映射，从而可以检测到远处的物体。使用此解决方案的主要缺点是依赖于视觉环境的条件和处理所需的计算能力。除此之外，它的测距精度会随着测距的平方而下降[47]. 还有其他解决方案[44,48,49,50]它们使用单目摄像机和雷达生成3D地图，以防止与静态结构发生碰撞。

障碍物可以在地图上用一个简单的点云表示，其中包含距离或深度传感器提供的测量值。然而，这占用了大量的内存，而且处理和计算成本都很高，这可能会影响实时需求。数据聚类可用于降低此成本，从而产生更稀疏的表示。这种表示方法的另一个缺点是很难区分自由空间和未知空间。使用点云作为输入，可以使用基于体素的技术（如Octomap）减少存储地图信息所需的内存空间[51]或GPU体素[52]. 对其他表示占用率图的方法进行了分析和总结，见[53].

为了更好地理解所有提出的概念，图3描述了使用Gazebo模拟的六直升机无人机[54]和ROS。在本例中，UAV使用深度相机处理环境，并从Octomaps填充八叉树。然后，添加目的地航路点，用更透明的无人机模型表示无人机规划的路径(图3d） ●●●●。基于传统概率路线图（PRM）的方法进行了具有环境意识的路径规划[55]和快速展开随机树（RRT）[56].

另一种避障算法如所示[57]. 在这种情况下，车辆被视为一个球体，这简化了无碰撞路径的计算，并在其周围构建了一个安全体积。每当障碍物进入安全体积时，它都会在障碍物周围构建一个椭球体体积，并搜索允许自由路径的点。这是从当前位置到逃生点的计算，确保在从逃生点到路线点的定义距离内没有碰撞。如果没有找到安全路径，它会增加椭圆半径（一定次数）并执行另一个搜索。如果在最大椭圆半径之前找不到自由路径，UAV将向飞行员发出警报，并保持在相同位置，直到飞行员获得控制权。

该方法的优点是允许不间断飞行以避开障碍物，而处理量相当低，无需考虑任意避开点重新计算轨迹。

Sabatini等人有了这样的想法[58]考虑到无人机的动态特性，在障碍物周围设置了一个避障椭球形安全区。例如，当无人机高速和/或加速移动时，找到替代路径的时间和到障碍物的距离是成本函数的主要输入，因为它们是关键情况下要考虑的主要参数。

3.2. 动态防撞

为了避免与动态障碍物（如动物）或来袭物体（如投掷的球）发生碰撞，无人机需要检测并执行安全机动以避开它们。感知延迟是用于感知环境并处理捕获数据以生成控制命令的时间[59,60,61]. 无人机与目标之间的相对速度越高，感知延迟的作用越重要。

与SCA算法相比，DCA算法没有得到太多的研究，这使得任务更加困难。有一些作品，如普瓦西和卡瓦拉罗的作品[62]其中探索了估计传入对象碰撞时间的多种图像处理算法。检测是准确的，但该算法处理每个帧大约需要10秒（在Intel i7-10750H Hexa-Core上），因此该解决方案不适用于实时场景。此外，Faland等人[63]深入研究了事件摄像机，以生成一个计算效率高的传感管道，该管道能够避免以高达9米/秒的速度将球抛向四翼直升机，类似于在[60]. 然而，这些类型的相机在商用无人机上并不常见。

本文提出了一种使用深度学习（DL）的新解决方案。为了简化任务，这个问题被分为三个部分。第一个块是特征提取（FE），它利用CNN为视频帧生成特征向量。第二个块处理带有RNN的视频时间信息（流）和多个

S公司 E类 问

特征向量。最后，第三个块接收最后一个块的结果

R（右） N个 N个

并使用前馈神经网络（FNN）输出决策，可以是碰撞检测或逃逸轨迹。建议的架构表示为图4这些区块将在以下小节中进一步详细说明。有关实现、可视化功能和更多信息，请访问https://github.com/dario-pedro/uav-collision-avidance/tree/master/train-models.

3.2.1. 特征提取

FE应用于每个帧并生成特征向量。为此，使用了CNN，即MobileNetV2（MNV2）[64]. 该体系结构基于一个反向剩余结构，其中传统剩余块的输入和输出是薄瓶颈层，而剩余模型在输入中使用扩展表示，并使用轻量级的纵向卷积来过滤中间扩展层中的特征[64]. 之所以选择此模型，是因为目前它实现了无人机中低功耗处理器在精度和计算之间的最佳平衡[64,65,66]在ImageNet上，仅使用2.2M个参数即可达到72.8%的top-1精度。模型接收到

224 \times 224 \times 三

图像并作为输出返回

7 \times 7 \times 1280

矩阵，通过应用2D全局平均池转换为1280特征向量[67].

3.2.2. 时间相关性和决策

通过应用RNN，可以获得从每个帧提取的特征数据的时间相关性。本文提出了一种三深度块长短期存储器（LSTM）结构，它接收一个序列

φ

25个输入向量中的一个，表示大约1秒的25帧速率视频（选定数据集ColANet的平均视频帧速率）。第一层有八个LSTM，第二层和第三层各有两个LSTM。这三层之后都是衰减和批量归一化。此外，最后一个RNN层连接到一个FNN，其中有四个神经元，最后连接到两个输出神经元。

在实际场景中，该架构使用滑动窗口方法执行，其中特征队列总是包含最后25个特征向量，并被馈送到RNN。每当有新的视频帧可用时，FE就对该帧进行处理，并通过移动先前的值将新的特征向量添加到特征队列中。此外，对于一组25个特征向量阵列，RNN和FNN的结果是对最后一帧的预测。算法1提供了处理新视频帧所需的顺序操作，其中假设所有模型都已预先加载。

算法1：动态防撞-处理最新的视频帧。

序号=25
features_queue=deque（maxlen=SEQ_LEN）# 双引擎队列
定义dcaProcessFrame（视频帧）：
#将图像大小调整为cnn输入大小
img=视频帧调整大小（224224,3）
#ML libs预测函数输出数组
cnn_pred=cnn_model.prdict（img）[0]
#Shift将图像功能添加到功能队列
features_queue.append（cnn_pred）
#检查是否看到了足够的图像
如果(伦恩（features_queue）>=SEQ_LEN）：
rnn_pred=rnn_model.predict（features_queue）[0]
返回决策模型预测（rnn_pred）[0]#返回结果
其他的:
返回 0 #返回无碰撞

与conv3d等解决方案相比，该处理过程得到了优化[68]，将卷积应用于3D空间。在建议的架构中，CNN只需要处理最后一帧，并将其引入传递给RNN的队列中。随后，RNN和FNN被触发，将输出预测。

3.2.3. 培训和结果

为了训练建议的体系结构，数据集ColANet（位于https://colanet.qa.pdmfc.com/)已使用[22]它包含大约100个视频，生成18872张图像。这是一个碰撞视频数据集，可以输出分类目标（碰撞或无碰撞）或回归目标。为了简化，本文的训练和结果都是针对分类问题的。然而，使用所提出的架构，处理回归问题只需要添加四个额外的输出神经元，并将每个输出作为回避轴的目标。机器学习框架Tensorflow和Keras用于促进此类网络的构建和培训[69].

最初，MNV2模型是通过使用传递学习方法使用Tensorflow获得的[70]，在ImageNet数据集上预先训练权重，该数据集包含1.4M张图像和1000类网络图像[71]. ImageNet有一个相当任意的研究训练数据集，其中包含像飞机和鹰这样的类别，但这种知识基础有助于特征提取任务，并且传递了一般的世界感知。

首先，选择要用于FE的MNV2的层。最后一个分类层（在“顶部”，就像大多数机器学习模型的图表一样，从下到上）是无用的。相反，通常在展开操作之前使用最后一层。这一层称为“瓶颈层”。与最终/顶层相比，瓶颈功能保留了很多通用性。这可以通过加载不包括顶部分类层的网络来实现，这是FE的理想选择。

之后，在编译模型之前，所有层都会被冻结，这会阻止在训练期间更新权重。然后，添加一个分类块，该分类块由一个全局平均池2D层和一个密集层组成，前者用于将每个图像的特征转换为单个1280元素向量，后者用于将这些特征转换为每个图像的单个预测。没有必要添加激活函数，因为此预测将被视为原始预测值。正数预测“碰撞”，负数预测“无碰撞”。最后一个分类层使用二进制交叉熵损失和Adam优化器进行训练，以提供有关目标的一些知识[72]带有

1 \times 10^{- 4}

学习率和a

1 \times 10^{- 6}

衰减率。对于研究中的分类问题，损失可以描述为方程式(2),

J型 (w个) = - \frac{1}{N个} \sum_{我 = 1}^{N个} [年_{我} 日志 ({\hat{年}}_{我}) + (1 - 年_{我}) 日志 (1 - {\hat{年}}_{我})],

(2)

哪里w个指模型参数（权重），N个是图像的数量，

年_{我}

是目标标签，并且

{\hat{年}}_{我}

是预测的标签。精度指标由方程式给出(三):

精确 (年, \hat{年}) = \frac{1}{N个} \sum_{我 = 0}^{N个} 1 ({\hat{年}}_{我} = 年_{我}) .

(3)

添加的分类器的训练结果在图5（微调前）。在20世纪末，仅使用单帧信息，该模型以62.02%的准确度（验证准确度）预测了碰撞。随后，训练了MNV2基本模型的微调版本。为此，所有层都被解冻。需要注意的是，第一步是强制性的，因为如果在预训练模型的顶部添加一个随机初始化的分类器，并尝试联合训练所有层，梯度更新的幅度将过大（由于分类器的随机权重）而预训练模型会忘记它所学的内容（转移的知识）。微调FE的训练结果是图5最终验证准确率为74.18%。在最后一个时期，训练和验证之间的差异开始增加，这表明开始过度拟合，因此，没有再训练更多的时期。

MNV2网络的微调提供了一个高度面向碰撞分类问题的模型。一方面，这很好，因为它允许美国有线电视新闻网对某些特征进行优先级排序，但另一方面，它很糟糕，因为它泛化较少（可能导致数据过拟合），使数据集中的特征更为重要。因此，RNN+FNN块的训练将分两个版本提供。第一个版本使用带有来自ImageNet的预训练权重的MNV2。第二个版本使用MNV2，其权重来自ImageNet，并在ColANet数据集中进行微调。

最初，RNN+FNN块使用来自CNN的特征数据进行训练，这些特征数据尚未与ColANet数据进行微调。为了准备第二个块的数据，必须添加一些约束：

输入数据必须是SEQ长度的数组。本文考虑了25的值，但20到50之间的任何值都会产生类似的结果；
生成的序列必须仅包含单个视频中的帧。在GPU上处理视频数据不是一件小事，生成视频序列会增加开销。模型将数据集视为连续的数据流，必须强制执行此约束，以避免模型学习在视频之间跳跃（错误知识）；
最后一个帧目标标签是整个序列的目标。

Adam优化器[72]带有

1 \times 10^{- 4}

学习率和

1 \times 10^{- 6}

使用衰减率。带有FNN分类层的RNN的训练结果（带有转移的FE权重和微调的FE）可以在图6分别是。

所有模型的结果总结如下表1可以得出结论，这是解决DCA问题的有效方法，但应进行一些额外的开发和测试。CNN训练的图像数据产生了分数

74.18 %

对未发现数据的准确性，而RNN设法使用了未经训练的MNV2的时间特征，并达到了上述精确度

87 %

这导致人们相信，时间信息在避免碰撞问题中，甚至在任何视频相关的分类问题中都更为重要。比较上的结果表1，可以得出结论，DCA模型得分非常相似。这表明，在更糟糕的情况下，MNV2的微调通过将更糟糕的RNN+FNN指向正确的方向来增加值，但在最重要的结果中，当关键是泛化时，没有太大差异。ColANet是一个较新的数据集，无人机碰撞视频数量较少（少于100个）。由于模型有过盈的趋势，这使得训练任务更加困难。随着可用视频数量的增加，模型将更好地概括并产生更好的结果。

该算法被部署在Jetson Nano中的拟议FFAU的DCA模块上。Jetson Nano以平均182毫秒的速度运行了整个算法管道，证明它是SoA UAV的有效解决方案。

对于估计碰撞概率的模型，而不是分类问题，FNN的最后两个神经元将对每个轴进行回归。

4.天际线以外

为了将所有无人机集成到一个平台中，开发了Beyond Skyline平台。它是一个基于云的平台，允许远程控制无人机。该平台有五个主要功能：

与无人机实时通信，接收遥测、视频数据和发送命令；
通过上传任务和指定的航路点来驱动这些无人机；
用多架无人机协调群体任务；
收集和分析每次飞行中多架无人机产生的数据，并有可能重播给定的飞行/任务；
并行运行计算量大的人工智能（AI）算法，方便用户决策。

该平台是图2它设想对多个自主无人机进行安全的远程控制。该平台由BE、非临时数据的关系数据库（如无人机身份和有该无人机权限的用户）、高速时间数据的时间序列数据库（如UAV飞行遥测）、无人机传入视频的Media-Gateway服务器和WA组成。

在开发的平台中，BE在NestJS中开发，关系数据库在MySQL中开发，时间序列数据库在InfluxDB中开发，媒体网关服务器使用WebRTC，WA在Angular 8中开发。BE还实现了服务层，以简化与外部API的进一步集成。所有组件都被开发为docker图像，然后在Kubernetes中运行，这使得这种方法易于缩放。

无论何时打开UAV，它都会尝试通过5G、WiFi或4G（按此顺序）使用网络套接字与BE建立连接。

5.现场试验结果

为了充分证明该框架的安全性和可靠性，开发了一种定制的六翼直升机，名为Hexa Exterior Intelligent Flying Unit（HEIFU），如图所示图7选择六架直升机布局是因为其固有的安全性高于更常见的四架直升机。六翼直升机因其六个螺旋桨而具有显著优势。即使其中一个螺旋桨出现故障，其他五个螺旋桨也可以保持无人机飞行。这意味着，电机故障并不意味着无人机会坠毁，损坏与其相连的设备。即使两个螺旋桨发生故障，尽管无人机将无法飞行，但它仍有可能保持足够稳定，安全到达地面。

HEIFU重6.5 kg，带电池，悬停时间约35分钟（无额外负载）。它由运行Ardupilot的PixHawk和运行Ubuntu 18.04的Jetson Nano组成，ROS Melodic为Mavlink消息搭建了一座桥梁。此外，GPS-RTK Zed-F9P被集成以增强定位，在RTK校正下提供2厘米的精度，在不校正的情况下提供40厘米的精度。当无人机被远距离控制时（即当驾驶员开始看不见无人机时，超过4公里），定位精度至关重要。前几节中介绍的模块在Jetson Nano中运行，通信处理器能够在UAV中使用WiFi、3G、4G或5G链路。

通过分析往返时间（RTT），确定了无人机与平台之间的通信性能。从客户开始算起天际线以外WA位于右侧图8无人机。

完整的RTT是指完成以下六个步骤所需的时间：

来自WA的客户端发送RTT主题的计数器编号和目的地UAV的名称。保存与此消息关联的时间戳；
BE接收、分析消息结构和权限，并将此编号发送给UAV。此外，在消息中添加时间戳；
无人机收到信息；
UAV重新发送接收到的消息的副本；
BE接收此消息并将其发送给所有有权接收此UAV信息的连接客户端。此外，它使用步骤2中注册的时间戳计算服务器和UAV之间的RTT；
服务器接收此消息，验证其值，创建一个新的时间戳，从中减少步骤（1）中保存的时间戳并计算RTT。它增加计数器并从步骤（1）开始重复。

无人机的飞行能力在里斯本附近进行了测试。WA接口在垂直任务中迭代RTT测量值，无人机起飞后到达120米高度，然后在4点下降到地面

{毫秒}^{- 1}

自主，以1的下降速度在10米处开始着陆程序

{毫秒}^{- 1}

。这是在天际线以外任务生成器，如所示图9无人机任务在同一天重复了15次，WA控制器在世界各地的不同城市运行。总结结果如所示表2记录了每次飞行的起飞时间，并显示在表格的第二列中。此外，平均RTT(

\bar{R（右） T型 T型}

)和标准偏差

σ_{R（右） T型 T型}

为不同的链接提供。表按

\bar{R（右） T型 T型}

它由九列组成，分别是用户所在的位置、自主任务开始的时间、

\bar{R（右） T型 T型}

，的

\bar{R（右） T型 T型}

无人机-BE，

\bar{R（右） T型 T型}

BE-WA，总计

σ_{R（右） T型 T型}

BE-WA公司，

σ_{R（右） T型 T型}

无人机-BE，

σ_{R（右） T型 T型}

BE-WA和第99个百分位。

结果讨论

测试中常见的连接是UAV和BE之间的连接。RTT在此连接上是稳定的，在≈61到80毫秒之间变化。差异在于BE和WA之间的链接。当用户靠近BE设施时，RTT约为13 ms（从里斯本），当用户距离里斯本约18000 km时，RTT约为352 ms（从悉尼）。在航空领域，从飞行操纵角度来看，最大RTT延迟约为300ms[73]. Wang等人测试了潜伏期对飞行员的影响[74]并建议在高达360ms的延迟时间内完成任务。

通过查看上的结果表2也可以得出结论，连通性是可视化部分性能的关键因素。在葡萄牙，从不同的地点进行了四项测试。里斯本和卡帕里卡是距离服务器最近的地方，取得了与该国北部波尔图相似的结果。此外，贝贾和波尔图距离测试场地的距离大致相同，波尔图表现出更好的性能。图10a显示了相对于起飞的无人机高度的RTT读数。X轴表示使用里斯本WA测试数据得出的近似高度间隔。每250毫秒执行一次RTT测量请求，但测量次数因环境条件而异（风可能会影响UAV的速度）。

在图10可以观察RTT测量值随无人机相对高度的变化。可以得出结论，在测试位置上，相对高度与RTT没有明显的相关性，在任何高度上都表现出类似的性能。表3显示条件

\bar{R（右） T型 T型}

通过海拔间隔里斯本试验，也可以验证这一结论。对所有试验进行了相同的分析，得到了类似的结果。机载通信继电器在[75]，并且在5至15 m范围内无变化潜伏期。

以下图表图11说明了RTT累积分布函数（CDF）。除科孚和比萨的RTT方差较高外，大多数测试都呈现出类似的曲线。从无人机控制的角度来看，可靠的低延迟比平均延迟更重要。无人机控制算法的设计必须能够容忍由信道中最大延迟定义的延迟，并符合超可靠低延迟通信（URLLC）要求[76]. 在本文中，99%的百分位被认为是对被测信道的URLLC性能的测量。在图11还可以得出结论，WA侧的连接比距离本身更重要。悉尼的第99个百分位数低于比萨。

据作者所知，这些是创新的测试结果，没有可直接比较的类似分析。然而，也讨论了一些相关的工作相关性。在年测试了一个对极之间地面车辆的4G遥控器[77]，但没有显示定量结果，测试表明大约有1s的延迟和安全套接字外壳（SSH）隧道的必要性。在[78]开发并测试了一个基于云的无人机应用程序，这表明所提出的FFAU具有可扩展性。如果没有可用的蜂窝通信，也可以使用WiMax连接[79].

最后，给出了一个

\bar{R（右） T型 T型}

打开热图图12进行测试的同事被要求从应用程序中驾驶无人机，并声称这就像是一次实时体验，他们可以毫不费力地完成。

防撞算法也经过了测试，但没有保存任何重要数据用于定量分析。未来，作者将研究这个主题，进行额外的测试，并确定一些指标，以便与文献中的算法进行比较。

6.结论和未来工作

在这项工作中，提出了一种全自主无人机的框架。作者认为，安全性和可靠性是无人机自主导航的两个关键因素。因此，对碰撞避免问题进行了深入研究，并提出了一种由DNN块组成的动态避障新解决方案，表明使用ColANet数据集对分类问题具有较高的准确性。在本文中，针对碰撞分类任务开发了所建议模块的第一个版本。该网络以一种易于适应逃逸向量回归任务的方式呈现。

远程和全自动无人机框架中的所有模块都是在一个定制的六直升机上开发和集成的，连接到一个名为天际线以外所提议的体系结构使无人机能够通过互联网在便携式、可扩展的开放源代码平台上远程控制，该平台管理集装箱化的工作负载和服务，从而促进了可扩展性、配置和自动化。行动通过平台发送，而安全则由FFAU执行，为飞行员提供持续反馈和遥测，飞行员可以在需要时控制自动无人机。

开发了一个通信试验台，通过接收来自世界各地不同地点的无人机遥测数据，注册连接指标，对框架进行了测试。结果证明，通过标准的互联网连接，无论在何处，都可以远程驾驶或管理无人机。此外，根据提议的框架，向无人机发送任务是安全的，可以进行实时监控。

这项工作将继续进行，并对本文中介绍的模块进行进一步开发。作为未来工作的指南，以下列表列举了一些将提供新贡献的主要主题：

优化了DCA。DCA模块可以进行更深入的探索，因为该领域仍然存在许多未解决的问题。必须放大数据集，并且需要优化所建议的算法以更快地运行。可以通过探索不同的特征提取器、运行RNN的序列大小的变化以及不同类型的RNN来优化该概念；
在自主任务中的真实无人机上测试DCA算法；
边缘多租户计算。当无人机在不同国家飞行时，应在附近实例化BE和WebRTC服务器，以最小化RTT，从而更好地控制无人机；
框架模块变体。应制定拟议框架的不同实施方案，以便进行性能评估和比较。

作者贡献

概念化，D.P。；融资收购，L.M.C。；调查、D.P.、J.P.M.-C.、F.A.、R.S.-M.、L.B.和A.M。；资源，L.M.C。；软件、D.P.、J.P.M.-C.、F.A.和R.S.-M。；监理、L.C.、J.M.F.和A.M。；验证、D.P.、J.P.M.-C.、L.B.和L.C。；撰写初稿，D.P.和J.P.M.-C。；Writing-review&editing，D.P.，J.P.M.-C.，F.A.，R.S.-M.，L.B.，L.C.，J.M.F.和A.M.所有作者均已阅读并同意手稿的出版版本。

基金

这项工作得到了欧洲区域发展局的支持基金（FEDER），通过里斯本区域业务计划（POR）LISBOA 2020）与竞争力和国际化葡萄牙2020框架的业务计划（COMPETE 2020）【项目5G，编号024539（POCI-01-0247-FEDER-024539）】。本项目还收到了ECSEL联合承诺（JU）根据授予协议编号783221。JU得到了欧洲的支持欧盟地平线2020研究和创新计划以及奥地利，比利时、捷克共和国、芬兰、德国、希腊、意大利、拉脱维亚、，挪威、波兰、葡萄牙、西班牙、瑞典。这项工作也得到了葡萄牙机构“技术基金会”（FCT）UIDB/00066/2020项目框架。

致谢

作者感谢Beyond Vision研究小组和PDMFC研发团队。此外，作者还要感谢一组同事，他们从世界各地的不同角度帮助测试了该平台，即印度、Kike、Didier、Diogo、Vale、Kate、Miguel、Haris、Rita、André、Gonçalo、Max和Oz。

利益冲突

作者声明没有利益冲突。

工具书类

Patias，P.《无人飞机系统导论》。照片。工程远程。传感器。 2016,82, 89–92. [谷歌学者] [交叉参考]
Koubaa，A。；库雷希，B。；Sriti，M.F。；Javed，Y。；Tovar，E.一种面向服务的基于云的互联网管理系统。2017年4月26日至28日在葡萄牙科英布拉举行的2017 IEEE国际自动机器人系统与竞赛会议记录，ICARSC 2017。[谷歌学者] [交叉参考] [绿色版本]
Alvarez-Vanhard，E。；Houet，T。；莫尼，C。；Lecoq，L.公司。；Corpetti，T.无人机能填补原位调查和卫星栖息地测绘之间的空白吗？遥感环境。 2020,243, 111780. [谷歌学者] [交叉参考]
纳瓦罗，A。；杨，M。；艾伦·B。；卡内尔，P。；Macreadie，P。；Ierodiaconou，D.无人飞行器（UAV）在红树林生态系统地上生物量估算中的应用。遥感环境。 2020,242, 111747. [谷歌学者] [交叉参考]
沙哈特雷，H。；Sawalmeh，A.H.公司。；Al-Fuqaha，A。；窦，Z。；阿拉木图，E。；哈利勒，I。；新南威尔士州奥斯曼。；Khreishah，A。；Guizani，M.无人机：民用应用和关键研究挑战调查。IEEE接入 2019,7, 48572–48634. [谷歌学者] [交叉参考]
R.E.威布尔。；R.J.汉斯曼。国家空域系统中无人飞行器运行的安全考虑; 麻省理工学院国际航空运输中心：英国剑桥，2005年。[谷歌学者]
钟，Y。；胡，X。；罗，C。；王，X。；赵，J。；Zhang，L.WHU-Hi：基于深度卷积神经网络和CRF的高空间分辨率（H2）基准数据集和分类器的无人机超光谱作物精确识别。遥感环境。 2020,250, 112012. [谷歌学者] [交叉参考]
Meinen，英国大学。；Robinson，D.T.绘制农业景观中的侵蚀和沉积：SfM-MVS无人机图像采集方案的优化。遥感环境。 2020,239, 111666. [谷歌学者] [交叉参考]
Bhardwaj，A。；山姆·L。；阿坎沙；F.J.马丁·托雷斯。；Kumar，R.无人机作为冰川学遥感平台：当前应用和未来展望。遥感环境。 2016,175, 196–204. [谷歌学者] [交叉参考]
姚，H。；秦，R。；Chen，X.用于遥感应用的无人机——综述。远程传感器。 2019,11, 1443. [谷歌学者] [交叉参考] [绿色版本]
Gerhards，M。；施勒夫，M。；Mallick，K。；Udelhoven，T.《作物水分胁迫检测的多/高光谱热红外遥感的挑战和未来展望：综述》。远程传感器。 2019,11, 1240. [谷歌学者] [交叉参考] [绿色版本]
墨西拿，G。；Modica，G.无人机热成像在精准农业中的应用：最新技术和未来研究展望。远程传感器。 2020,12, 1491. [谷歌学者] [交叉参考]
加菲，C。；Bhardwaj，A.无人机在冰冻圈中的应用：最新进展和前景。远程传感器。 2020,12, 948. [谷歌学者] [交叉参考] [绿色版本]
罗德岛。；斯塔德勒，S。；Meschtscherjakov，A。；Tscheligi，M.走向自主汽车：自主水平对接受度和用户体验的影响。2014年9月17日至19日，美国华盛顿州西雅图，与ACM SIGCHI合作，在2014年第6届汽车用户界面和交互式汽车应用国际会议记录中。[谷歌学者] [交叉参考]
在加拿大无人机撞上飞机后，对航空安全的新担忧。2017年。在线提供：https://www.nytimes.com/2017/10/17/world/canada/canada-strone-plane.html（2019年5月19日访问）。
英国广播公司。“无人机”撞上了正在接近希思罗机场的英国航空公司飞机。2016年。在线提供：https://www.bbc.com/news/uk-36067591（2019年5月19日访问）。
加拿大，C.Drone在魁北克市机场附近撞毁飞机违反了规定|CBC新闻。2017年。在线提供：http://www.cbc.ca/news/canada/montreal/garneau-airport-drone-quebec-1.4355792（2019年5月19日访问）。
英国广播公司。无人机在加拿大与商用飞机相撞。2017年。在线提供：https://www.bbc.com/news/technology-41635518（2019年5月19日访问）。
NTSB发现无人机飞行员与陆军直升机在空中相撞。2017年。在线提供：https://www.forbes.com/sites/johngoglia/2017/12/14/ntsb-finds-drone-pilot-at-fault-for-midair-collision-with-army-helipar/（2019年5月19日访问）。
飞行员说，罗林森·K·德隆在希思罗机场撞上了飞机。2016年。可在线获取：https://www.theguardian.com/uk-news/2016/apr/17/drone-plane-heathrow-airport-british-airways（网址：https://www.theguardian.com/uk-news/2016/apr/17/drone-plane-heathrow-airport-british-airways）（2019年5月19日访问）。
Tellman，J。；新闻，T.V.首次录制的dRone-Hot空中气球碰撞提示安全对话。2018.在线提供：https://www.postregister.com/news/local/firt-ever-recorded-drone-ht-air-balloon-collision-prompts-safety/article_7cc41c24-6025-5aa6-b6dd-6d1ea5e85961.html（2019年5月19日访问）。
佩德罗，D。；莫拉，A。；卡瓦略，J。；阿泽夫多，F。；Fonseca，J.ColANet:无人机防撞数据集。在改善生活的技术创新; 施普林格：瑞士查姆，2020年。[谷歌学者]
加里比，M。；Boutaba，R。；Waslander，S.L.无人机互联网。IEEE接入 2016,4, 1148–1162. [谷歌学者] [交叉参考]
阿普维尔，L。；Tanzi，T。；Dugelay，J.L.Autonomous无人机，用于在自然灾害情况下协助救援服务。2014年8月16日至23日，在中国北京举行的2014年第31届URSI大会和科学研讨会记录中，URSI GASS 2014。[谷歌学者] [交叉参考]
马哈茂德，S。；Mohamed，N.合作无人机云。2014年5月27日至30日在美国佛罗里达州奥兰多市举行的2014年国际无人机系统会议记录，ICUAS 2014。[谷歌学者] [交叉参考]
马哈茂德，S。；Mohamed，N.Broker协作UAV云计算架构。2015年6月1日至5日，美国佐治亚州亚特兰大，CTS 2015，《2015年国际协作技术和系统会议记录》。[谷歌学者] [交叉参考]
马哈茂德，S。；穆罕默德，N。；Al-Jaroodi，J.使用物联网概念将无人机集成到云中。J.机器人。 2015,2015, 631420. [谷歌学者] [交叉参考] [绿色版本]
导言。2005年。在线提供：https://mavlink.io/en/（2019年5月19日访问）。
罗斯。为世界机器人提供动力。2007年。在线提供：网址：https://www.ros.org/（于2019年5月19日访问）。
La，H.J。；Kim，S.D.设计网络物理系统的基于服务的方法。2010年8月18日至20日，日本山形县ICIS 2010第九届IEEE/ACIS国际计算机和信息科学会议论文集。[谷歌学者] [交叉参考]
库姆，T。；马丁。；Di Pietro，R.《Docker与否：安全视角》。IEEE云计算。 2016,三, 54–62. [谷歌学者] [交叉参考]
云本地计算基础。什么是Kubernetes-Kubernetes。2019.在线提供：https://kubernetes.io/docs/coconcepts/概述/what-is-kubernetes/（2020年10月27日查阅）。
阿库尼亚，P。；阿库尼亚，P.Kubernetes。在使用Docker、Kubernetes和ECS部署Rails; 4月：美国纽约州纽约市，2016年。[谷歌学者] [交叉参考]
鲍曼，J。；Mihelch，P.相机校准-ROS Wiki。2014.在线提供：http://wiki.ros.org/camera_calibration网站（2020年10月27日查阅）。
Kalman，R.E.线性滤波和预测问题的新方法。事务处理。ASME-基础工程。 1960,82, 35–45. [谷歌学者] [交叉参考] [绿色版本]
特纳，D。；Lucieer，A。；Watson，C.一种基于运动结构（SFM）点云的超高分辨率无人机（UAV）图像自动生成地理校正镶嵌图的技术。远程传感器。 2012,4, 1392. [谷歌学者] [交叉参考] [绿色版本]
Keselman，L。；Woodfill，J.I。；Grunnet-Jepsen，A。；Bhowmik，A.Intel（R）RealSense（TM）立体深度相机。2017年7月21日至26日，美国夏威夷州火奴鲁鲁IEEE计算机学会计算机视觉和模式识别研讨会会议记录。[谷歌学者] [交叉参考]
Galceran，E。；Carreras，M.机器人覆盖路径规划调查。机器人。自动。系统。 2013,61, 1258–1276. [谷歌学者] [交叉参考] [绿色版本]
Hert，S。；蒂瓦里，S。；Lumelsky，V.一种AUV的地形覆盖算法。自动。机器人。 1996,三, 91–119. [谷歌学者] [交叉参考]
阿泽夫多，F。；奥利维拉。；Dias，A。；阿尔梅达，J。；莫雷拉，M。；桑托斯，T。；费雷拉，A。；马丁斯。；Silva，E.使用多旋翼无人机进行安全结构检查时的避碰。《2017年欧洲移动机器人会议记录》，2017年9月6日至8日，法国巴黎，ECMR 2017。[谷歌学者] [交叉参考] [绿色版本]
保罗·S。；Paul，S.实时传输协议（RTP）。在Internet上的多播及其应用; 斯普林格：美国马萨诸塞州波士顿，1998年。[谷歌学者] [交叉参考]
Marr，D.视觉信息处理：视觉表示的结构和创建。菲洛斯。事务处理。R.Soc.伦敦。序列号。生物科学B。 1980,290, 199–218. [谷歌学者] [交叉参考]
库查尔，J.K。；Yang，L.C.冲突检测和解决建模方法综述。IEEE传输。智力。运输。系统。 2000,1, 179–189. [谷歌学者] [交叉参考] [绿色版本]
Kovacs，L.《小型无人驾驶车辆视觉单目障碍回避》。2016年6月26日至7月1日，美国内华达州拉斯维加斯，IEEE计算机学会计算机视觉和模式识别研讨会会议记录。[谷歌学者] [交叉参考]
Hrabar，S.旋翼机无人机避障立体和基于激光的距离传感评估。J.野外机器人。 2012,29, 215–239. [谷歌学者] [交叉参考]
Merz，T。；Kendoul，F.通过自动直升机进行超视距避障和基础设施检查。2011年9月25日至30日，美国加利福尼亚州旧金山，IEEE智能机器人和系统国际会议论文集。[谷歌学者] [交叉参考]
Hrabar，S.旋翼机无人机的3D路径规划和基于立体的障碍回避。《2008年IEEE/RSJ智能机器人和系统国际会议论文集》，IROS，法国尼斯，2008年9月22日至26日。[谷歌学者] [交叉参考]
马格里，D。；穆尼，J.G。；Johnson，E.N.无人机上用于避障的单目视觉地图。J.智力。机器人。系统。理论应用。 2014,74, 17–26. [谷歌学者] [交叉参考]
Yang，Z。；高，F。；Shen，S.使用视觉惯性融合在空中机器人上进行实时单目密集映射。2017年5月29日至6月3日，新加坡，IEEE机器人与自动化国际会议记录。[谷歌学者] [交叉参考]
Li，C.J。；Ling，H.使用小型无人机进行合成孔径雷达成像。2015年7月19日，加拿大不列颠哥伦比亚省温哥华，AP-S国际研讨会（摘要），IEEE天线与传播学会会刊。[谷歌学者] [交叉参考]
Hornung，A。；K.M.Wurm。；本内维茨，M。；斯泰尼斯，C。；Burgard，W.OctoMap：一种基于八叉树的高效概率三维映射框架。自动。机器人。 2013,34, 189–206. [谷歌学者] [交叉参考] [绿色版本]
赫尔曼，A。；Drews，F。；鲍尔，J。；克莱姆，S。；Roennau，A。；Dillmann，R.移动操纵规划的统一GPU体素碰撞检测。2014年IEEE/RSJ智能机器人和系统国际会议论文集，美国伊利诺伊州芝加哥，2014年9月14日至18日；第4154–4160页。[谷歌学者]
伯加德，W。；本内维茨，M。；Tipaldi博士。；Spinello，L.《移动机器人导论：3D绘图技术》。2019.在线提供：http://ais.informationk.uni-freiburg.de/teaching/ss14/robots/slides/17-3dmapping.pdf（2019年5月19日访问）。
Koenig，N。；Howard，A.为Gazebo设计和使用范例，这是一个开源的多机器人模拟器。2004年9月28日至10月2日在日本仙台举行的2004 IEEE/RSJ智能机器人和系统国际会议论文集。[谷歌学者] [交叉参考] [绿色版本]
卡夫拉基，L.E。；Svestka，P。；Latombe，J。；Overmars，M.H.高维配置空间中路径规划的概率路线图。IEEE传输。机器人。自动。 1996,12, 566–580. [谷歌学者] [交叉参考] [绿色版本]
S.M.拉瓦利。快速探索随机树：一种新的路径规划工具; 技术报告；爱荷华州立大学计算机科学系：爱荷华州艾姆斯，美国。[谷歌学者]
Hrabar，S.旋翼机无人机的反应式避障。2011年9月25日至30日，美国加利福尼亚州旧金山，IEEE智能机器人和系统国际会议论文集。[谷歌学者] [交叉参考]
Sabatini，R。；加迪，A。；Richardson，M.A.激光雷达无人机障碍预警和回避系统。国际力学杂志。Aerosp.航空公司。Ind.机电工程。 2014,8, 718–729. [谷歌学者]
盖洛普，D。；弗拉姆，J.M。；Mordohai，P。；Pollefeys，M.可变基线/分辨率立体声。在第26届IEEE计算机视觉和模式识别会议论文集，CVPR，美国阿拉斯加州安克雷奇，2008年6月23日至28日。[谷歌学者] [交叉参考] [绿色版本]
穆格勒，E。；福斯特，C。；Baumli，N。；加列戈，G。；Scaramuzza，D.动态视觉传感器事件的寿命估计。2015年5月26日至30日，美国西雅图，IEEE机器人与自动化国际会议记录。[谷歌学者] [交叉参考] [绿色版本]
安德鲁，A.M。计算机视觉中的多视图几何; 剑桥大学出版社：英国剑桥，2001年。[谷歌学者] [交叉参考]
普瓦西，F。；Cavallaro，A.用移动摄像机检测快速进入的物体。2017年9月4日至7日，英国伦敦，英国机器视觉会议记录。[谷歌学者] [交叉参考] [绿色版本]
法兰加，D。；Kim，S。；Scaramuzza，D.多快就是太快？感知延迟在高速感知和回避中的作用。IEEE机器人。自动。莱特。 2019,4, 1884–1891. [谷歌学者] [交叉参考]
桑德勒，M。；A.霍华德。；朱，M。；Zhmoginov，A。；Chen，L.C.MobileNetV2：倒置残差和线性瓶颈。2018年6月18日至22日，美国犹他州盐湖城，IEEE计算机学会计算机视觉和模式识别会议记录。[谷歌学者] [交叉参考] [绿色版本]
马，N。；张，X。；郑，H.T。；Sun，J.ShuffleNet V2：高效CNN架构设计实用指南。2018年9月8日至14日，德国慕尼黑，欧洲计算机视觉会议（ECCV）会议记录。[谷歌学者]
A.G.霍华德。；朱，M。；陈，B。；Kalenichenko，D。；Wang，W。；Weyand，T。；安德烈托，M。；Adam，H.MobileNets：移动视觉应用的高效卷积神经网络。arXiv公司 2017，arXiv:1704.04861。[谷歌学者]
Boureau，Y.L。；彭斯，J。；Lecun，Y.视觉识别中特征池的理论分析。2010年6月21日至24日，以色列海法，ICML 2010-27国际机器学习会议记录。[谷歌学者]
Tran，D。；Boudev，L。；弗格斯，R。；托雷萨尼，L。；Paluri，M.使用3D卷积网络学习时空特征。2015年12月7-13日，智利圣地亚哥，IEEE计算机视觉国际会议记录。[谷歌学者] [交叉参考] [绿色版本]
Shanmugamani，R。计算机视觉的深度学习：使用TensorFlow和Keras训练高级神经网络的专家技术; Packt出版有限公司：英国伯明翰，2018年。[谷歌学者] [交叉参考]
潘，S.J。；Yang，Q.关于迁移学习的调查。IEEE传输。知识。数据工程。 2010,22, 1345–1359. [谷歌学者] [交叉参考]
俄勒冈州Russakovsky。；邓，J。；苏，H。；克劳斯，J。；Satheesh，S。；马，S。；Huang，Z。；Karpathy，A。；科斯拉，A。；伯恩斯坦，M。；等人ImageNet大规模视觉识别挑战。国际期刊计算。视觉。 2015,115, 211–252. [谷歌学者] [交叉参考] [绿色版本]
Kingma，D.P。；Ba，J.L.Adam：一种随机优化方法。2015年5月7日至9日，在美国加利福尼亚州圣地亚哥举行的第三届国际学习代表会议记录中，ICLR 2015年会议记录。[谷歌学者]
德弗里斯，S.C。无人机和控制延迟; TNO代表。；TNO：荷兰海牙，2005年。[谷歌学者]
Wang，F。；齐，S。；Li，J.遥控飞行器的时间延迟分析。MATEC网络会议。 2017,114, 04012. [谷歌学者] [交叉参考] [绿色版本]
郭伟。；Devine，C。；Wang，S.蜂窝网络微型无人机载通信中继的性能分析。2014年7月23日至25日在英国曼彻斯特举行的2014年第九届通信系统、网络和数字信号处理国际研讨会论文集，CSNDSP 2014。[谷歌学者] [交叉参考] [绿色版本]
波波夫斯基，P。；斯特凡诺维奇，C。；尼尔森，J.J。；de Carvalho，E。；Angjelichinoski，M。；Trillingsgaard，K.F。；Bana，A.S.超可靠低速通信（URLLC）中的无线接入。IEEE传输。Commun公司。 2019,67, 5783–5801. [谷歌学者] [交叉参考] [绿色版本]
P.J.Burke，4G Antipode:从世界各地遥控地面车辆。IEEE J.小型化航空航天系统。 2020。早期访问。[谷歌学者] [交叉参考]
伊特金，M。；Kim，M。；Park，Y.开发基于云的无人机监控和管理系统。传感器 2016,16, 1913. [谷歌学者] [交叉参考] [公共医学]
Dusza，B。；Wietfeld，C.IEEE 802.16e移动WiMAX用于无人机群远程控制的性能评估。2010年8月28日至9月3日，美国夏威夷州火奴鲁鲁ICWITS 2010年IEEE无线信息技术与系统国际会议记录。[谷歌学者] [交叉参考]

图1。新型动态避碰检测。这些图像代表了同一视频中的两帧，一个男孩将球踢进无人机。

图2。全自主无人机（UAV）框架的体系结构。

图3。使用全自主无人机（FFAU）框架，在具有静态避碰意识的模拟环境中进行六直升机导航。

图4。提出了动态避碰神经网络结构。

图5。基于MobileNetV2模型的训练特征提取（FE）。在前20个世纪，只训练输出神经元。然后，对整个模型进行微调。

图6。用有限元训练动态避碰（DCA）模型的演化图。

图7。Hexa Exterior Intelligent Flying Unit（HEIFU）-定制开发的六旋翼飞机（左：无人机全图；右：带组件的印刷电路板）。

图8。往返时间测试设置。

图9。往返时间（RTT）测试Beyond Skyline网络接口上的任务规划。

图10。RTT在无人机起飞相对高度的功能中。

图10。RTT在无人机起飞相对高度功能中。

图11。RTT累积分布函数（CDF）。

图12。欧洲测试国家的平均RTT。

表1。动态避碰模型的比较结果。

韵律学	${FE公司}_{1}$ MobileNetV2手机	${FE公司}_{2}$ MobileNetV2微调	DCA模型使用 ${FE公司}_{1}$	DCA模型使用 ${FE公司}_{2}$
训练准确性	66.17%	84.76%	85.94%	85.76%
验证准确性	62.02%	74.18%	86.43%	87.14%

表2。无人机和天际线以外通过改变web应用程序的位置来分析平台。

表2。UAV和天际线以外通过改变web应用程序的位置来分析平台。

位置		白天时间	$\bar{RTT公司}$ （毫秒）▾	$\bar{RTT公司}$ 无人机-BE（毫秒）	$\bar{RTT公司}$ BE-WA（毫秒）	$σ_{RTT公司}$ （毫秒）	$σ_{RTT公司}$ 无人机-BE（毫秒）	$σ_{RTT公司}$ BE-WA（毫秒）	99 $第个百分位数$ （毫秒）
PT公司	里斯本	9时34分	86.31	72.69	13.61	18.10	17.10	5.41	124.99
PT公司	卡帕里卡	15时20分	89.69	62.75	26.95	24.46	19.67	12.93	150
PT公司	波尔图	12时57分	91.63	65.39	26.24	19.81	17.76	6.36	140.20
锿	塞戈维亚	12点	116.69	66.08	50.61	41.63	29.36	29.95	320.04
英国	伦敦	12时11分	134.49	65.11	69.38	19.83	16.89	10.46	184.89
PT公司	贝贾	12时48分	135.24	67.39	67.86	32.70	21.69	23.64	204.95
比利时	布鲁塞尔	15时50分	147.08	60.82	86.26	29.32	15.96	24.90	270.31
不	奥斯陆	13时44分	162.67	67.70	94.97	21.63	17.96	14.05	229.61
判定元件	贝斯特威格	16时58分	162.90	72.01	89.65	24.63	17.54	17.40	220.35
法国	不错	11时21分	176.92	67.24	109.53	19.92	16.78	11.64	229.81
希腊	科孚	11时43分	211.67	68.49	143.18	46.27	16.69	40.30	329.75
不良事件	阿布扎比	12时39分	247	67.60	179.41	29.10	16.78	23.23	330.54
信息技术	比萨	15时39分	249.64	64.70	184.94	84	16	82.08	594.03
美国	洛杉矶	17时20分	259.86	70.92	188.94	23.21	16.39	18.01	310.21
澳大利亚	悉尼	2017年9月9日	431.58	80.06	351.52	41.54	18.44	36.72	560.57

表3。使用里斯本测量数据，无人机相对高度的往返时间随时间间隔的变化。

海拔高度间隔（m）	<20	20–40	40–60	60–80	80–100	>100
$\bar{RTT公司}$ （毫秒）	85.75	84.73	82.27	88.80	86.92	89.32

出版商备注：MDPI对公布的地图和机构关联中的管辖权主张保持中立。

分享和引用

MDPI和ACS样式

佩德罗，D。；马托斯·卡瓦略，J.P。；阿泽夫多，F。；Sacoto-Martins，R。；Bernardo，L。；Campos，L。；丰塞卡，J.M。；A.莫拉。FFAU-全自动无人机框架。远程传感器。 2020,12, 3533.https://doi.org/10.3390/rs12213533

AMA风格

Pedro D、Matos Carvalho JP、Azevedo F、Sacoto Martins R、Bernardo L、Campos L、Fonseca JM、Mora A。全自主无人机的FFAU框架。遥感. 2020; 12(21):3533.https://doi.org/10.3390/rs12213533

芝加哥/图拉宾风格

佩德罗、达里奥、乔奥·马托斯·卡瓦略、法比奥·阿泽韦多、里卡多·萨科托·马丁斯、路易斯·贝尔纳多、路易斯·坎波斯、何塞·丰塞卡，和安德烈·莫拉。2020年“全自主无人机FFAU框架”遥感12，编号21:3533。https://doi.org/10.3390/rs12213533

请注意，从2016年第一期开始，该杂志使用文章编号而不是页码。请参阅更多详细信息在这里.

文章菜单