介绍
多年来，深度神经网络（DNN）在准确性方面取得了惊人的进步（Krizhevsky等人，2012年，Sandler等人，2018年，He等人，2016年，Bochie等人，2021年）。为了达到智能应用所需的准确性，DNN模型变得越来越深入，需要高处理能力来进行推断。出于这个原因，移动设备通常会收集原始数据并将DNN推理任务卸载到云服务器。服务器可以配备所需的计算资源，例如图形处理单元（GPU）（Satyanarayanan，2017年，Kang等人，2017年）。然而，由于移动设备和云服务器之间的网络条件，云卸载可能会导致通信延迟。边缘计算已成为避免过度延迟和通信开销的解决方案（Satyanarayanan，2017）。
边缘计算将计算资源移近终端设备，例如通过在基站上部署计算资源（Cruz等人，2022）。这样，边缘计算可以减少基于云的部署中固有的通信延迟。然而，与云服务器相比，边缘设备的处理能力可能要少得多，并且可能无法支持所需的可靠性级别。DNN模型划分已被引入，通过执行边缘云协同推理来缓解这一问题（Kang et al.，2017，Hu et al.，2019，Pacheco和Couto，2020）。
DNN分区选择一个分区层将DNN模型拆分为两部分。移动设备收集输入（例如，图像）并将其发送到边缘设备，边缘设备逐层处理输入直到分区层。接下来，边缘设备将分区层的输出数据卸载到云服务器，云服务器将处理其余层。通过针对给定目标采用优化问题来选择分割层，例如减少推理时间（Pacheco和Couto，2020）或节省边缘设备的能源（Xu等人，2019）。这种方法总是将数据卸载到云服务器，因此其延迟性能取决于网络条件。早退出DNN已成为DNN分区的一种更灵活的替代方案，可以在边缘和云处理之间取得更理想的平衡（Teerapittayanon等人，2016年，Laskaridis等人，2020a，Pacheco等人，2021a）。
提前退出DNN利用了这样一个事实，即并非所有输入都同样难以分类。因此，不同的输入可能需要不同数量的神经层来实现足够可靠的自信预测。早期退出的DNN由一个DNN主干组成，侧支管沿中间层插入其中，如图1所示。给定一个输入，支路根据置信度估计其推理输出的准确性。然后，他们将获得的置信度与应用程序定义的阈值进行比较，以确定预测是否足够准确。因此，早期退出的DNN可以通过避免运行所有层来加快推理时间，因为大部分输入可能在分支中分类。BranchyNet（Teerapittayanon等人，2016年）和SPINN（Laskaridis等人，2020a）允许在估计精度大于可调阈值时对侧支样本进行分类。提前退出的DNN和DNN分区可以结合起来实施自适应卸载策略，如图1所示，如果支路提供足够准确的预测，则在边缘进行分类。否则，将执行卸载到云的操作，以处理其余层并执行远程分类（Pacheco等人，2021b，Pacheco等，2021c）。
通过早期退出的DNN进行成功的自适应卸载需要支路提供准确的不确定性度量。这一措施应该衡量推理决策是否足够有信心在分支上终止（Kendall和Gal，2017）。为了解决这个问题，DNN校准成为一种替代方法。
DNN校准是指调整DNN产生的置信度估计值，使其与预测的实际准确性相一致的过程。换句话说，校准旨在确保置信估计准确反映其实际预测准确性。Guo等人（2017）通过实验证明，DNN通常会被错误校准，从而做出过度自信的预测。过度自信的支路会错误地决定对边缘设备的输入进行分类，从而降低准确性。
虽然Guo等人（2017年）没有解决早期退出DNN中的校准问题，但这项工作通过分析校准对通过早期退出DNNs进行自适应卸载的影响来填补这一空白。1SPINN（Laskaridis等人，2020a）也在卸载场景中应用了校准方法。然而，Laskaridis等人（2020a）并未讨论或分析校准对自适应卸载的影响，这是我们工作的重点。在自适应卸载的背景下，提前退出DNN校准尤其重要，因为卸载决策取决于边缘设备旁支路提供的可靠置信水平。如果置信度估计值被错误校准，预测准确度被高估，卸载决策可能不可靠，从而降低整体准确度。首先，我们通过实验表明，校准错误会显著影响卸载决策的可靠性。接下来，我们通过应用Guo等人（2017）介绍的最先进的温度标定标定方法来标定早期退出的DNN模型。
我们使用最先进的模型评估了校准的影响，证明了在两个新指标方面的改进，即边缘推理中断概率和错过截止日期概率。边缘中断概率量化了早期退出DNN模型的能力，以满足边缘设备推理所需的精度水平。换言之，该度量量化了边缘设备在边缘设备上进行局部推理时无法满足精度要求的概率。因此，该指标是边缘计算系统的可靠性和有效性的关键指标，尤其是在资源受限的设备中。另一方面，错过最后期限的概率说明了在边缘或云上执行推理时满足准确性和推理延迟要求的概率。此指标在要求关键截止日期的应用程序中尤其重要。错过截止日期的概率很高，表明系统无法满足要求的性能目标，可能需要调整卸载决策或分配额外资源以满足要求。
我们通过实现一个现实的边缘计算场景来评估所提出的指标，该场景包括作为边缘计算的NVIDIA Jetson Nano板和作为云服务器的Amazon EC2（弹性计算云）实例。我们实例化了两个国家的云服务器，以评估网络状况。我们的评估实验表明，由于卸载决策更加可靠，早期退出DNN校准可以提高精度，从而获得更好的整体性能。然而，由于边缘设备和云之间的负载增加，因此需要额外的通信延迟。这种延迟会影响整体推理时间，在设计自适应卸载系统时应仔细考虑。
总之，我们列出了本文的贡献如下：
- •
我们评估了对几种最先进的早期退出DNN的校准影响，并通过实验证明，分支过度自信因此，他们可能会错误地决定在边缘设备上对样本进行分类。
- •
我们采用了Guo等人（2017年）最先进的温度标定方法来解决所述的标定问题。我们根据两个新的度量标准，即边缘推理中断概率和错过截止期概率，对校准的影响进行了实验评估，提供了广泛的实验见解。
本文的结构如下。第2节回顾了相关工作。第3节描述了通过提前退出DNN的自适应卸载场景。我们在第4节中介绍了所采用的概念和符号。第5节介绍了考虑应用程序定义要求评估校准影响的拟议指标。然后，第6节分析了校准对几个早期退出的DNN模型的影响。接下来，第7节使用这些指标来评估校准对现实自适应边缘卸载场景的影响。最后，第8节对本文进行了总结，并提出了下一步的研究步骤。
