《计算机应用》唯一官方网站››2023,第43卷››发行（11）: 3540-3550.内政部：10.11772/j.issn.1001-9081.2022111732
• 网络与通信 • 上一篇
王哲1,2,三,王启名2(),李陶深4,葛丽娜1,三,5
收稿日期:
修回日期:
接受日期:
发布日期:
出版日期:
通讯作者:
作者简介:
基金资助:
王哲（Zhe WANG）1,2,三,王启明（Qiming WANG）2(),李桃神4,利纳通用电气1,三,5
收到：
修订过的：
认可的：
在线：
出版：
联系人：
关于作者：
支持单位：
摘要：
边缘计算（欧共体）与无线携能通信（SWIPT）技术能够提升传统网络性能，但同时也增加了系统决策制定的难度和复杂度。而基于最优化方法所设计的系统决策往往具有较高的计算复杂度，无法满足系统的实时性需求。为此，针对EC SWIPT公司辅助的无线传感网络（WSN）联合考虑网络中波束成形、计算卸载与功率控制问题，建立了系统能效最优化数学模型；其次，针对该模型的非凸与参数耦合特征，通过设计系统的信息交换过程，提出基于深度强化学习的联合优化方法，该方法无须建立环境模型，采用奖励函数代替评论家网络对动作进行评估，能降低决策制定难度并提升实时性；最后，基于该方法设计了改进的深度确定性策略梯度（IDDPG）算法，并与多种最优化算法和机器学习算法进行仿真对比，验证了联合优化方法在降低计算复杂度、提升决策实时性方面的优势。
关键词: 无线传感网络, 深度强化学习, 无线携能通信, 边缘计算, 联合优化
边缘计算（EC）和同步无线信息和功率传输（SWIPT）技术可以提高传统网络的性能，但也增加了系统决策的难度和复杂性。采用优化方法设计的系统决策往往具有较高的计算复杂度，难以满足系统的实时性要求。因此，针对EC和SWIPT辅助下的无线传感器网络（WSN），结合网络中的波束形成、计算卸载和功率控制问题，提出了系统能量效率优化的数学模型。然后，针对该模型的非凸性和参数耦合特性，通过设计系统的信息交换过程，提出了一种基于深度强化学习的联合优化方法。该方法不需要建立环境模型，采用奖励函数代替Critic网络进行行动评估，可以降低决策难度，提高系统的实时性能。最后，基于联合优化方法，设计了一种改进的深度确定性策略梯度（IDDPG）算法。通过与多种优化算法和机器学习算法的仿真比较，验证了联合优化方法在降低计算复杂度和提高决策实时性方面的优势。
关键词： 无线传感器网络（WSN）， 深度强化学习， SWIPT（同步无线信息和电力传输）， 边缘计算（EC）， 联合优化
王哲, 王启名, 李陶深, 葛丽娜. 基于深度强化学习的SWIPT公司边缘网络联合优化方法[J] ●●●●。计算机应用, 2023, 43(11): 3540-3550.
王哲，王启明，李涛深，葛丽娜。基于深度强化学习的SWIPT边缘网络联合优化方法[J]。计算机应用杂志，2023，43（11）：3540-3550。
0 / 推荐
导出引用管理器 尾注|里斯|BibTeX公司
链接本文: http://www.joca.cn/cn/10.11772/j.issn.1001-9081.2022111732
http://www.joca.cn/cn/Y2023/V43/I11/3540
图1SWIPT公司的无线传感网络边缘计算系统
图1基于SWIPT的无线传感器网络边缘计算系统
图2 系统周期示意图
图2系统循环示意图
图三 信息交换示意图
图3信息交换示意图
图4 多智能体算法的示意图
图4多智能体算法示意图
图5 网络结构
图5网络结构
表1 仿真参数
表1仿真参数
表2IDDPG公司
表2IDDPG超参数
图6 不同学习率下的算法收敛性
图6不同学习速率下算法的收敛性
图7 训练结果
图7培训结果
图8 损失值变化曲线
图8损失值变化曲线
图9 测试集结果图
图9测试集结果图
表三 测试集上的性能检测结果对比
表3测试集性能测试结果的比较
图10 系统传感器不同运动情况的目标函数CDF公司
图10系统传感器不同运动状态下的目标函数CDF
图11 不同数量节点移动和非移动（完美CSI）情况CDF
图11不同数量的移动和非移动节点的CDF（perfectCSI）
