塞巴斯蒂安·荣格斯;Joost-Pieter卡托恩;吉列尔莫·佩雷斯。;托拜厄斯·温克勒 参数马尔可夫决策过程可达性的复杂性。 （英语） Zbl 1477.68124号 J.计算。系统。科学。 119, 183-210 (2021). 摘要：本文介绍了参数Markov决策过程（pMDP）可达性决策问题的复杂性，这是Markov决策进程（MDP）的一个扩展，其中转移概率由有限参数集上的多项式描述。特别地，我们研究了寻找这些参数值的复杂性，以使导出的MDP满足一些最大或最小可达概率约束。我们根据约束条件和参数值域中的比较运算符讨论了不同的变量。我们改进了这个问题的所有已知下限，并为这个问题的不同变体提供了ETR-完整性结果。 引用于12文件 理学硕士： 65年第68季度 算法和问题复杂性分析 60年第68季度 规范和验证（程序逻辑、模型检查等） 90立方厘米40 马尔可夫和半马尔可夫决策过程 关键词：参数马尔可夫决策过程;形式验证;实相存在论;计算复杂性;参数综合 软件：棱镜;风暴;PROPhESY公司 PDF格式BibTeX公司 XML格式引用 \textit{S.Junges}等人，J.Compute。系统。科学。119183-210（2021年；兹比尔1477.68124） 全文： 内政部 arXiv公司 链接 参考文献： [1] 克里斯特尔·拜尔（Christel Baier）；亨塞尔，克里斯蒂安；Hutschenreiter，Lisa；塞巴斯蒂安·荣格斯；Joost-Pieter Katoen；Klein，Joachim，参数马尔可夫链：PCTL复杂性和无分数高斯消去，Inf.Compute。(2020) ·Zbl 1443.68101号 [2] 克里斯特尔·拜尔（Christel Baier）；Katoen，Joost-Pieter，《模型检验原理》（2008），麻省理工学院出版社·Zbl 1179.68076号 [3] 埃齐奥·巴托西；格鲁苏，拉杜；Katsaros、Panagiotis；罗马克里希南，C.R。；Smolka，Scott A.，概率系统的模型修复，（TACAS.TACAS，LNCS，第6605卷（2011），Springer），326-340·兹比尔1316.68070 [4] Daniel S.Bernstein。；Robert Givan；尼尔·伊梅尔曼；Zilberstein，Shlomo，马尔可夫决策过程分散控制的复杂性，数学。操作。第27、4819-840号决议（2002年）·Zbl 1082.90593号 [5] 卢卡·博托卢西（Luca Bortolussi）；Silvetti，Simone，随机模型线性时间特性的贝叶斯统计参数合成，（TACAS.TACAS，LNCS，第10806卷（2018），Springer），396-413·Zbl 1423.68322号 [6] John F.Canny，《PSPACE中的一些代数和几何计算》（STOC（1988），ACM），460-467 [7] 塞斯卡，米兰；Dannenberg，弗里茨；尼古拉·保莱蒂；玛尔塔·奎亚特科夫斯卡；Brim，Lubos，随机生物化学系统的精确参数合成，信息学报。，54, 6, 589-623 (2017) ·Zbl 1373.92038号 [8] 塞斯卡，米兰；亨塞尔，克里斯蒂安；塞巴斯蒂安·荣格斯；Katoen，Joost-Pieter，概率程序草图的反例驱动合成，（FM.FM，LNCS，第11800卷（2019），Springer），101-120 [9] 塞斯卡，米兰；尼尔斯·詹森；塞巴斯蒂安·荣格斯；Katoen，Joost-Pieter，《马尔可夫链的牧羊群》（TACAS.TACAS，LNCS，第11428卷（2019年），施普林格出版社），172-190年 [10] Chatterjee，Krishnendu，结构等价并发奇偶博弈的鲁棒性，（FOSSACS.FOSSACS，LNCS，第7213卷（2012），Springer），270-285·Zbl 1352.68178号 [11] 克里希南德·查特吉；马丁·奇梅利克（Martin Chmelik）；杰西卡·戴维斯（Davies，Jessica），《POMDP中基于符号SAT的小策略近似可达性算法》（AAAI（2016），AAAI出版社），3225-3232 [12] 陈、陶璐；冯、袁；David S.Rosenblum。；苏国新，离散时间马尔可夫链验证中的扰动分析，（CONCUR.CONCUR，LNCS，第8704卷（2014），Springer），218-233·Zbl 1417.68100号 [13] 陈、陶璐；莫里茨·哈恩（Moritz Hahn），恩斯特（Ernst）；韩婷婷；Marta Z.Kwiatkowska。；曲洪阳；张丽君，马尔可夫决策过程模型修正，（TASE（2013），IEEE计算机学会），85-92 [14] 陈、陶璐；韩婷婷；Kwiatkowska，Marta Z.，关于模型检查间隔值离散时间马尔可夫链的复杂性，Inf.Process。莱特。，113, 7, 210-216 (2013) ·兹比尔1259.68150 [15] Chonev，Ventsislav，增广区间马尔可夫链的可达性，（RP.RP，LNCS，第11674卷（2019），Springer），79-92·Zbl 07121138号 [16] Chung、Kai Lai、Markov Chains（1967）、Springer [17] Condon，Anne，《游戏计算模型》（1989），麻省理工学院出版社，ACM杰出论文 [18] 穆拉特·库布克特佩（Murat Cubuktepe）；尼尔斯·詹森；塞巴斯蒂安·荣格斯；Joost-Pieter Katoen；Topcu，Ufuk，《pMDPs中的合成：1001个参数的故事》，（ATVA.ATVA，LNCS，第11138卷（2018），斯普林格出版社），160-176·Zbl 1517.68227号 [19] Daws，Conrado，离散时间马尔可夫链的符号和参数模型检验，（ICTAC.ICTAC，LNCS，第3407卷（2004），Springer），280-294·Zbl 1108.68497号 [20] 克里斯蒂安·德内特（Christian Dehnert）；塞巴斯蒂安·荣格斯；尼尔斯·詹森；弗洛里安·科齐利厄斯；沃尔克，马提亚斯；哈罗德·布鲁因杰斯；Joost-Pieter Katoen；Prophesy，Erikaábrahám，概率参数综合工具，（CAV.CAV，LNCS，第9206卷（2015），Springer），214-231 [21] 克里斯蒂安·德内特（Christian Dehnert）；塞巴斯蒂安·荣格斯；Joost-Pieter Katoen；Volk，Matthias，《风暴即将来临：现代概率模型检验》（CAV（2））。CAV（2），LNCS，第10427卷（2017），Springer），592-600 [22] 瓦尔迪维娅·德尔加多（Valdivia Delgado），卡里纳（Karina）；斯科特·桑纳（Scott Sanner）；de Barros，Leliane Nunes，具有不精确转移概率的分解MDP的有效解决方案，Artif。智力。，175, 9-10, 1498-1527 (2011) ·Zbl 1230.90115号 [23] 安东尼奥·菲列里；佐丹奴坦布里利；Ghezzi，Carlo，在运行时通过定量验证和灵敏度分析支持自适应，IEEE Trans。柔和。工程，42，1，75-99（2016） [24] 保罗·盖纳（Paul Gainer）；恩斯特·莫里茨·哈恩（Ernst Moritz Hahn）；Schewe，Sven，参数马尔可夫链的加速模型检验，（ATVA.ATVA，LNCS，第11138卷（2018），Springer），300-316·兹比尔1517.68235 [25] 塞尔吉奥·吉罗（Sergio Giro）；佩德罗·R·D’Argenio。；玛丽亚、路易斯、费雷尔·菲奥里蒂。分布式概率输入/输出自动机：表达性，（不）可判定性和算法，Theor。计算。科学。，538, 84-102 (2014) ·Zbl 1359.68168号 [26] Robert Givan；索尼娅·利奇（Sonia Leach）；Thomas Dean，有界参数Markov决策过程，Artif。智力。，122, 1-2, 71-109 (2000) ·Zbl 0948.68171号 [27] Häggström，Olle，《有限马尔可夫链和算法应用》，伦敦数学学会学生教材，第52卷（2002年），剑桥大学出版社·Zbl 0999.60001号 [28] 莫里茨·哈恩（Moritz Hahn），恩斯特（Ernst）；韩婷婷；张立军，参数马尔可夫决策过程中PCTL的综合，（NASA形式化方法，NASA形式方法，LNCS，第6617卷（2011），斯普林格出版社），146-161 [29] 莫里茨·哈恩（Moritz Hahn），恩斯特（Ernst）；赫尔曼斯，霍尔格；张立军，参数马尔可夫模型的概率可达性，国际期刊。技术工具。传输。，13, 1, 3-19 (2010) [30] Howard，R.A.，《动态概率系统：半马尔科夫和决策过程，决策和控制》，第2卷（1971），John Wiley&Sons·Zbl 0227.90032号 [31] Hutschenreiter，Lisa；克里斯特尔·拜尔（Christel Baier）；Klein，Joachim，参数马尔可夫链：PCTL复杂性和无分数高斯消去，（GandALF.GandALF，EPTCS，第256卷（2017）），16-30·Zbl 1483.68195号 [32] 尼尔斯·詹森；弗洛里安·科齐利厄斯；沃尔克，马提亚斯；拉尔夫·威默（Ralf Wimmer）；艾丽卡·阿尔布拉汉姆；Joost-Pieter Katoen；Becker，Bernd，加速参数概率验证，（QEST.QEST，LNCS，第8657卷（2014），Springer），404-420 [33] Jonsson，Bengt；Larsen，Kim Guldstrand，概率过程的规范和细化，（LICS（1991），IEEE计算机学会），266-277·Zbl 0967.68514号 [34] Junges，Sebastian，马尔可夫模型中的参数合成（2020），亚琛RWTH大学，博士论文 [35] 塞巴斯蒂安·荣格斯；亚伯拉罕，艾瑞卡；亨塞尔，克里斯蒂安；尼尔斯·詹森；Joost-Pieter Katoen；蒂姆·夸特曼（Tim Quatmann）；Volk，Matthias，马尔可夫模型的参数合成（2019），CoRR [36] 塞巴斯蒂安·荣格斯；尼尔斯·詹森；拉尔夫·威默（Ralf Wimmer）；蒂姆·夸特曼（Tim Quatmann）；莱昂诺尔·温特勒；Joost-Pieter Katoen；Becker，Bernd，使用参数合成的POMDP有限状态控制器，（UAI（2018），AUAI出版社），519-529 [37] Kallenberg，Lodewijk，Markov决策过程，讲稿（2011），莱顿大学·Zbl 0825.90776号 [38] 约翰·凯梅尼（John G.Kemeny）。；Laurie Snell，J.，《马尔可夫链》（1976），斯普林格出版社·兹比尔0328.60035 [39] Knuth，D。；姚，A.，非均匀随机数生成的复杂性，（算法和复杂性：新方向和最新结果（1976），学术出版社）·Zbl 0395.65004号 [40] Marta Z.Kwiatkowska。；格钦·诺曼；Parker，David，PRISM 4.0：概率实时系统验证，（CAV.CAV，LNCS，第6806卷（2011），Springer），585-591 [41] 拉诺特、拉格罗；安德烈亚·马吉奥洛·谢蒂尼（Andrea Maggiolo-Schettini）；Troina，Angelo，系统设计和分析的参数概率转换系统，Form.Asp。计算。，19, 1, 93-109 (2007) ·Zbl 1111.68084号 [42] 阿尔贝托·普格利；李文超；Sangiovanni-Vincentelli，Alberto L。；Seshia，Sanjit A.，具有凸不确定性MDP PCTL特性的多项式时间验证，（CAV.CAV，LNCS，第8044卷（2013），Springer），527-542·兹比尔1435.68202 [43] Puterman，Martin L.，《马尔可夫决策过程：离散随机动态规划》（1994），John Wiley&Sons·Zbl 0829.90134号 [44] 蒂姆·夸特曼（Tim Quatmann）；克里斯蒂安·德内特（Christian Dehnert）；尼尔斯·詹森；塞巴斯蒂安·荣格斯；Katoen，Joost-Pieter，马尔可夫模型的参数合成：比以往更快，（ATVA.ATVA，LNCS，第9938卷（2016），Springer），50-67·Zbl 1398.68346号 [45] 詹姆斯·雷内加，《论实域一阶理论的计算复杂性和几何》，第一部分：引言。准备工作。半代数集的几何。现实存在论的决策问题，J.Symb。计算。，13, 3, 255-300 (1992) ·Zbl 0763.68042号 [46] 斯图亚特·罗素。；Peter Norvig，《人工智能-现代方法》（2010），培生教育·Zbl 0835.68093号 [47] 马库斯·谢弗（Marcus Schaefer），《图和联系的可实现性》（Realizability of graphs and links），（《几何图论三十篇论文》（2013），施普林格：施普林格纽约），461-482·Zbl 1272.05135号 [48] 马库斯·谢弗（Marcus Schaefer）；丹尼尔·斯特凡科维奇（Daniel Stefankovic），《不动点、纳什均衡和实存理论》（theory Comput）。系统。，60, 2, 172-193 (2017) ·Zbl 1362.68088号 [49] Sen，Koushik；维斯瓦纳坦，马赫什；Agha，Gul，《存在不确定性时的模型检验马尔可夫链》，（TACAS.TACAS，LNCS，第3920卷（2006），Springer），394-410·Zbl 1180.68179号 [50] Sven Seuken；Zilberstein，Shlomo，不确定性下分散决策的形式化模型和算法，Auton。代理多代理系统。，17, 2, 190-250 (2008) [51] Solan，Eilon，竞争马尔可夫决策过程值的连续性，J.Theor。概率。，16, 4, 831-845 (2003) ·Zbl 1044.90087号 [52] 拼写，Jip；塞巴斯蒂安·荣格斯；Katoen，Joost-Pieter，参数马尔可夫链是单调的吗？，（ATVA.ATVA，LNCS，第11781卷（2019年），施普林格），479-496·兹比尔1437.68121 [53] Sproston，Jeremy，开放区间Markov链的定性可达性，（RP.RP，LNCS，第11123卷（2018），Springer），146-160·Zbl 1515.68187号 [54] 弗拉西斯，尼科斯；Littman，Michael L。；David Barber，《关于POMDP中随机控制器优化的计算复杂性》，ACM Trans。计算。理论，4，4，12:1-12:8（2012）·Zbl 1322.68111号 [55] 托比亚斯·温克勒；塞巴斯蒂安·荣格斯；吉列尔莫·A·佩雷斯。；Katoen，Joost-Pieter，关于参数Markov决策过程可达性的复杂性，（CONCUR.CONCUR，LIPIcs，第140卷（2019年），Schloss Dagstuhl-Leibniz Zentrum für Informatik），14:1-14:17·Zbl 07649922号 [56] 吴迪；Koutsoukos，Xenofon D.，使用有界参数Markov决策过程的不确定系统可达性分析，Artif。智力。，172, 8-9, 945-954 (2008) ·Zbl 1183.68406号 此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。