调试策略：人工智能规划中的自动操作策略测试

摘要

测试是一种很有前途的方法，可以获得对神经动作策略π的信任。以前在顺序决策中针对导致故障条件的环境行为进行策略测试的工作。但如果考虑到这种行为，失败是不可避免的，那么π实际上并不是罪魁祸首。要使情况符合π中的“bug”，必须有一个更好的替代策略π'。我们介绍了一个基于这种直觉的通用策略测试框架。这就引发了错误确认问题，决定一个状态是否为错误。我们分析了乐观界和悲观界在设计近似该问题的测试预言机时的使用。我们在经典规划中实现了我们的框架，用几个测试预言和随机遍历方法进行了实验，生成了偏向于较差政策性能和/或状态新颖性的测试状态。我们根据ASNets学习的策略π评估这些技术。我们发现，他们能够有效地识别这些π中的错误，并且我们的随机游走偏差比未告知的基线有所改善。