摘要：边缘计算（EC）在网络边缘部署大量计算和存储资源，以满足任务的延迟和功耗要求。计算卸载是EC中的关键技术之一。在估计任务排队延迟时，现有的计算卸载方法通常使用M/M/1/∞/∞/FCFS或M/M/n个/∞/∞/FCFS模型。这些方法没有考虑高延迟敏感任务的优先级，导致一些不需要敏感延迟的计算任务总是占用计算资源，增加了这些方法的延迟成本。同时，现有的回放方法大多采用随机抽样来回放经验，无法区分经验科学的利弊，导致经验利用率低，神经网络收敛速度慢。最后，基于计算卸载方法的确定性策略深度强化学习（DRL）存在环境探索能力弱、鲁棒性低、经验利用率低等问题，降低了求解计算卸载问题的准确性。为了解决上述问题，考虑到多任务移动设备和多边缘服务器的计算卸载场景，以最小化系统延迟和能耗为目标，研究任务调度和卸载决策问题，提出了计算卸载qUeuing和pRioritIzed经验重播DRL（COURIER）。COURIER首先设计了一个非抢占优先级排队模型（M/M/n个/∞/∞/NPR）优化任务的排队延迟。然后，提出了一种基于优先级经验重放的最大熵深度强化学习算法。针对卸载决策问题，基于软actor-critic（SAC）算法，提出了一种优先级经验重放SAC的卸载决策机制。在该机制中，将信息熵添加到目标函数中，使agent采用随机策略，并对经验采样方法进行优化，以加快网络的收敛速度。仿真结果表明，COURIER可以有效降低系统延迟和能耗。

关键词： 边缘计算， 计算卸载， 非抢占优先级排队， 信息熵， 深度强化学习， 优先体验重播