介绍
无线传感器网络（WSN）作为物联网（IoT）的重要支撑技术，受到了工业界和学术界的广泛关注。环境监测、生物医学和智能家居等全新应用的快速增长（Yetgin等人，2017），不仅对无线传感器网络通信技术提出了更高的要求，也对资源受限设备上实现智能化提出了巨大挑战。WSN主要负责收集数据并将其传输到接收器。然而，无线传感器网络中的传统无线通信算法在数据传输方面存在一些问题，例如能耗高、数据传输不可靠和缺乏智能，这些问题已成为阻碍其确保长期可持续高效运行能力的主要瓶颈，尤其是电池供电的无线传感器网络（Alfayez等人，2015年，Curry和Smith，2016年）。因此，设计一种有效的通信技术，在资源受限的无线传感器网络中实现高效节能的数据传输是非常关键和迫切的。
路由算法作为无线通信协议的重要组成部分，已被证明是WSN中实现节能数据转发的有效技术。因此，人们提出了许多节能路由算法来提高数据传输可靠性和延长网络寿命（Ancillotti等人，2017年，Liu等人，2021a，Kang，2019年）。然而，它们大多侧重于减少特定传感器节点的开销，这可能会与最小化网络范围的能耗相冲突。此外，路由性能在很大程度上取决于底层媒体访问控制（MAC）协议（Jemili等人，2020年）。设计路由和任务循环的交叉协作机制可以为路由决策过程提供有价值的底层信息，同时相应地实现更合理的休眠和唤醒调度策略。已经提出了一些在轮值模式下具有多重服务保证的节能路由算法（Zhang等人，2020）。然而，大多数现有的任务循环MAC协议以牺牲延迟性能为代价实现了节能，这对于任务关键型应用来说可能是致命的。这给基于任务周期的无线传感器网络设计高效路由带来了进一步的挑战。此外，现有的大多数路由算法由于缺乏智能，没有考虑到动态网络环境的影响。
为了克服这些挑战，深度强化学习（DRL）结合了深度神经网络（DNN）和强化学习（RL）算法的优点，已被集成到WSN中高效可靠数据传输的路由算法中（Naparstek和Cohen，2019）。与传统算法相比，DRL在解决不确定序列决策问题方面具有显著优势，特别是在复杂动态环境中，它可以优化当前奖励和未来奖励（Park等人，2020）。然而，由于传感器在运行计算密集型任务时性能较差，因此在资源受限的无线传感器网络中训练多个分布式DRL代理是不可行的。此外，设计高效、智能的路由算法可能需要许多新的网络功能和接口，这使得网络设计更加复杂。幸运的是，软件定义的无线传感器网络（SDWSN）可以通过集成软件定义的网络（SDN）概念来提供更灵活和可管理的网络架构（Jurado-Lasso et al.，2020），从而促进新网络功能和软件接口的设计。同时，它可以为设备提供额外的计算和存储能力，从而减少传感器的计算时间和内存消耗（Zeng等人，2015年，Modieginyane等人，2018年）。SDWSN的出现对于一些应用至关重要，例如简化网络管理和实现WSN的智能无线通信技术（Kobo等人，2017）。
在新兴技术的发展和优势的激励下，我们基于SDWSN开发了一种新的网络范式，然后设计了一种具有任务循环的智能路由算法，以最大限度地提高数据转发的可靠性和最小化能耗，同时确保资源受限传感器节点的长期数据队列稳定性。特别是，我们提出了一种基于协作DRL算法的自适应任务循环机制的路由优化算法，称为CDRL。它与现有的节能算法在三个方面有所不同：（1）提出的CDRL算法考虑了不同的、更全面的路由度量，同时提供了一种基于DRL的更智能、更客观的路由度量评估策略。（2） CDRL中用于路由决策和任务循环的跨层协作机制旨在实现节能数据转发。（3） 提出的CDRL算法考虑了无线传感器网络的资源约束，由于其计算和存储需求低，因此可以在低成本设备场景中轻松实现，以实现未来的可靠通信。本文的主要贡献总结如下：
- •
我们引入Lyapunov优化将SDWSN中的多级随机路由优化问题解耦为具有延迟保证的帧间确定性问题，从而降低了问题求解的复杂性，同时为系统的长期稳定性提供了理论保证。
- •
我们在协作DRL算法的基础上提出了一种具有自适应占空比的节能路由算法，即CDRL。它采用集中式训练和分布式执行（CTDE）框架，可以为计算复杂度较低的资源受限节点提供智能路由决策能力。
- •
我们设计了一种基于特定卷积神经网络（CNN）的特征构建和提取方法，该方法为考虑的混合路由度量提供了更客观和自适应的评估策略。此外，提出了一种自适应任务循环机制，以进一步降低能耗，同时指导路由决策的优化。
- •
大量仿真表明了CDRL算法在各种场景下的有效性。由于不断学习各种经验和深入的合作机制，CDRL算法在网络生存期、包传递率、延迟等方面取得了显著的性能改进。
本文的其余部分组织如下。我们首先讨论第2节中的相关工作。然后，我们介绍了系统模型，并在第3节中描述了合作优化问题。为了解决这个问题，我们在第4节中提出了基于SDWSN体系结构的CDRL算法。在第5节中，我们介绍了该模型的计算复杂性和存储考虑。性能评估和仿真结果见第6节。最后，第7节得出了结论。
