备用Good-for-MDP自动机

当在无模型强化学习（RL）中首次提出欧米伽规则目标以控制MDP时，使用确定性拉宾自动机试图提供从其转换到标量值的直接转换。虽然这些翻译失败了，但事实证明，可以使用goodfor-MDP（GFM）Büchi自动机来修复它们。这些是非确定性的Büchi自动机，具有受限类型的非确定性，尽管不像在好对偶自动机中那样受限。事实上，确定性拉宾自动机可以很直接地转换为GFM自动机，它在状态和对的数量上是双线性的。有趣的是，对于确定性Streett自动机来说，情况并非如此：即使不要求目标自动机对MDP有利，对非确定性Rabin或Büchi自动机的转换也要付出指数代价。我们需要支付更多的费用才能获得一台性能良好的MDP机器人吗？令人惊讶的答案是，当我们将good-for-MDPs属性扩展为交替自动机时，我们需要付出的代价要少得多：就像从确定性Rabin自动机获得的非确定性GFM自动机一样，我们从确定性Streett自动机生成的交替好的MDP自动机在确定性自动机的大小及其索引方面是双线性的。因此，它们可以比最小非确定性Büchi自动机更加简洁。