×

标记马尔可夫链的等价性。 (英语) Zbl 1155.68035号

摘要:我们考虑标记马尔可夫链(LMC)的等价问题,其中每个状态都标记有一个观察值。如果每个有限的观测序列在两个LMC中具有相同的发生概率,则两个LMCs是等效的。通过对概率自动机等价问题的简化,我们证明了等价性可以在多项式时间内确定,而概率自动机的等价性问题在多项式时间是可解的。我们提供了一种替代算法来解决等价问题,该算法基于概率自动机互模拟的新定义。我们还扩展了该技术以确定加权概率自动机的等价性。
然后,我们考虑标记马尔可夫决策过程(LMDP)的等价性问题,该问题要求,给定两个LMDP,对于每个进程的每个调度器(即解决不确定决策的方法),是否存在另一个进程的调度器,以使得到的LMC等价。这个问题的可判定性仍然悬而未决。我们表明,调度器可以限制为基于观测,但可能需要无限的内存。

MSC公司:

65年第68季度 形式语言和自动机
60J10型 马尔可夫链(离散状态空间上的离散时间马尔可夫过程)
2010年第68季度 计算模式(非确定性、并行、交互式、概率性等)
90立方厘米 马尔可夫和半马尔可夫决策过程
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 内政部:10.1016/0890-5401(91)90030-6·Zbl 0756.68035号 ·doi:10.1016/0890-5401(91)90030-6
[2] Paz Azaria,计算机科学和应用数学,in:概率自动机导论(1971)·Zbl 0413.15003号
[3] DOI:10.1016/S0019-9958(63)90290-0·Zbl 0182.33602号 ·doi:10.1016/S0019-9958(63)90290-0
[4] DOI:10.1016/S0019-9958(61)80020-X·Zbl 0104.00702号 ·doi:10.1016/S0019-9958(61)80020-X
[5] 内政部:10.1137/0221017·Zbl 0755.68075号 ·doi:10.1137/0221017
[6] 内政部:10.1109/TPAMI.2005.147·doi:10.1109/TPAMI.2005.147
[7] 内政部:10.1109/TPAMI.2005.148·doi:10.1109/TPAMI.2005.148
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。