基于策略迭代的平稳马尔可夫链的最优运输
凯文·奥康纳、凯文·麦戈夫、安德鲁·诺贝尔; 23(45):1−52, 2022.
摘要
我们研究了平稳有限状态马尔可夫链对的最优传输问题，重点是最优转移耦合的计算。过渡耦合是一类捕获马尔可夫链动力学的受限运输计划。最优过渡耦合（OTC）问题的解决方案对应于使长期平均成本最小化的两条链的对齐。我们在OTC问题和马尔可夫决策过程之间建立了联系，并证明了OTC问题的解可以通过策略迭代的自适应获得。对于状态空间较大的情况，我们基于OTC问题的熵正则化版本开发了一种快速近似算法，并给出了其迭代复杂度的界。我们建立了正则化算法和非正则化算法的稳定性结果，从中可以得出统计一致性结果。我们通过仿真研究实证验证了我们的理论结果，表明近似算法具有更快的整体运行时间和较低的误差。最后，我们将我们的方法的设置和应用扩展到隐马尔可夫模型，并通过计算机生成音乐的应用来说明所提算法在实践中的潜在用途。
[腹肌]
[pdf格式][围兜] [代码]
