詹森，尼尔斯;塞巴斯蒂安·荣格斯;Joost-Pieter卡托恩 马尔可夫模型中的参数综合：一项温和的调查。 （英语） Zbl 1528.68226号 Raskin，Jean-François（编辑）等人，《系统设计原则》。托马斯·A·亨辛格60岁生日之际的随笔。查姆：斯普林格。莱克特。注释计算。科学。13660, 407-437 (2022). 摘要：本文综述了参数马尔可夫模型的分析，该模型的转移用有限参数集上的函数标记。这些模型是不可计数的许多具体概率模型的符号表示，每个模型都是通过实例化参数获得的。我们考虑了给定逻辑规范（\varphi）的各种分析问题：给定参数值区域内的所有参数实例化是否满足（\varfi）？，哪些实例化满足\（\varphi\），哪些不满足？，如何准确或近似地描述所有这些实例化？我们讨论了理论复杂性结果，并描述了最先进算法背后的主要思想，这些算法在过去十年中取得了令人瞩目的飞跃，实现了对具有数百万状态和数千个参数的模型的全自动分析。关于整个系列，请参见[Zbl 1516.68022号]. MSC公司： 60年第68季度 规范和验证（程序逻辑、模型检查等） 87年第68季度 计算机科学中的概率（算法分析、随机结构、相变等） 软件：萨姆;棱镜 PDF格式BibTeX公司 XML格式引用 \textit{N.Jansen}等人，Lect。注释计算。科学。13660407--437（2022年；Zbl 1528.68226） 全文： DOI程序 arXiv公司 参考文献： [1] A brahám，E.，Bartocci，E.，Bonakdarpour，B.，Dobe，O.：概率超属性的参数综合。输入：LPAR。EPiC计算机系列，第73卷，第12-31页。EasyChair（2020年）·Zbl 1517.68218号 [2] Andriushchenko，R。；乔什卡，M。；Junges，S。；卡托恩，J-P；格罗特，JF；Larsen，KG，概率程序的归纳综合达到了新的境界，系统构建和分析的工具和算法，191-209（2021），Cham:Springer，Cham·兹比尔1467.68035 ·doi:10.1007/978-3-030-72016-2-11 [3] 阿明，S。；Bartocci，E。；查特吉，K。；卡托恩，J-P；Sokolova，A。；McIver，A。；Horvath，A.，《通过POMDP实现pMDP的参数独立策略》，《系统定量评估》，53-70（2018），查姆：施普林格，查姆·Zbl 1514.68190号 ·doi:10.1007/978-3-319-99154-24 [4] Badings，T。；库布特佩，M。；Jansen，N.，《不确定参数MDP的基于场景的验证》，Int.J.Softw。技术工具。传输。，24, 803-819 (2022) ·doi:10.1007/s10009-022-00673-z [5] Badings，T.S.、Jansen，N.、Junges，S.、Stoelinga，M.、Volk，M.：基于抽样的不确定比率CTMC验证。In:CAV（2022年，即将推出）·Zbl 1514.68117号 [6] Baier，C.，de Alfaro，L.，Forejt，V.，Kwiatkowska，M.：模型检验概率系统。摘自：Clarke，E.，Henzinger，T.，Veith，H.，Bloem，R.（编辑）《模型检查手册》，第963-999页。查姆施普林格（2018）。文件编号：10.1007/978-3-319-10575-8_28·Zbl 1392.68227号 [7] Baier，C.、Hensel，C.、Hutschenreiter，L.、Junges，S.、Katoen，J.P.、Klein，J.：参数马尔可夫链：PCTL复杂性和无分形高斯消去。Inf.计算。272, 104504 (2020) ·Zbl 1443.68101号 [8] 拜尔，C。；Hermanns，H。；卡托恩，J-P；斯特芬，B。；Woeginger，G.，《MDP模型检查的10000个方面，计算和软件科学》，420-451（2019），查姆：斯普林格，查姆·Zbl 1482.68133号 ·doi:10.1007/978-3-319-91908-9_21 [9] 拜尔，C。；Katoen，JP，《模型检验原理》（2008），剑桥：麻省理工学院出版社，剑桥·Zbl 1179.68076号 [10] A.巴特。；Delahaye，B。；Fournier，P。；石灰，D。；Monfroy，E。；Truchet，C.，使用约束的参数区间马尔可夫链的可达性，理论。计算。科学。，747, 48-74 (2018) ·兹比尔1400.68118 ·doi:10.1016/j.tcs.2018.06.016 [11] Bartocci，E。；格罗苏，R。；Katsaros，P。；罗马克里希南，CR；南非斯莫尔卡；宾夕法尼亚州阿卜杜拉；Leino，KRM，概率系统的模型修复，系统构建和分析的工具和算法，326-340（2011），海德堡：施普林格·Zbl 1316.68070号 ·doi:10.1007/978-3-642-19835-9_30 [12] Bortolussi，L。；Milios，D。；Sanguinetti，G.，不确定连续时间马尔可夫链的平滑模型检验，Inf.Comput。，247, 235-253 (2016) ·Zbl 1336.68162号 ·doi:10.1016/j.ic.2016.01.004 [13] Bortolussi，L。；西尔维蒂，S。；Beyer，D。；Huisman，M.，随机模型线性时间特性的贝叶斯统计参数合成，系统构建和分析的工具和算法，396-413（2018），Cham:Springer，Cham·Zbl 1423.68322号 ·doi:10.1007/978-3-319-89963-3_23 [14] 博伊德，S。；Vandenberghe，L.，凸优化（2004），剑桥：剑桥大学出版社，剑桥·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441 [15] Brim，L。；乔什卡，M。；德拉赞，S。；萨夫拉内克，D。；北卡罗来纳州Sharygina。；Veith，H.，使用定量模型检查探索随机生物化学系统的参数空间，计算机辅助验证，107-123（2013），海德堡：施普林格·doi:10.1007/978-3-642-39799-87 [16] Calinescu，R。；塞斯卡，M。；Gerasimou，S。；Kwiatkowska，M。；Paoletti，N.，随机系统鲁棒模型的有效综合，J.Syst。软质。，143, 140-158 (2018) ·doi:10.1016/j.jss.2018.05.013 [17] Canny，J.F.：PSPACE中的一些代数和几何计算。收录于：STOC，第460-467页。ACM（1988年） [18] 乔什卡，M。；Dannenberg，F。；Kwiatkowska，M。；Paoletti，N。；门德斯，P。；JO达达；Smallbone，K.，《随机生物化学系统的精确参数合成》，系统生物学中的计算方法，86-98（2014），Cham:Springer，Cham·doi:10.1007/978-3-319-12982-27 [19] 乔什卡，M。；亨塞尔，C。；Junges，S。；卡托恩，J-P；MH，ter Beek；McIver，A。；Oliveira，JN，概率程序草图的反例驱动合成，形式方法-未来30年，101-120（2019），Cham:Springer，Cham·doi:10.1007/978-3-030-30942-8 [20] 乔什卡，M。；Jansen，N。；Junges，S。；卡托恩，J-P；Vojnar，T.等人。；Zhang，L.，牧羊群的马尔可夫链，系统构建和分析的工具和算法，172-190（2019），Cham:Springer，Cham·Zbl 1527.68144号 ·doi:10.1007/978-3-030-17465-1_10 [21] Chan，H。；Darwiche，A.，数字什么时候真正重要？，J.阿蒂夫。智力。研究，17，265-287（2002）·Zbl 1056.68143号 ·doi:10.1613/jair.967 [22] Chatzieleftheriou，G。；Katsaros，P.，概率系统的抽象模型修复，Inf.Comput。，259, 1, 142-160 (2018) ·Zbl 1388.68185号 ·doi:10.1016/j.ic.2018.02.019 [23] Chen，T。；Feng，Y。；罗森布鲁姆，DS；苏·G。；巴尔丹，P。；Gorla，D.，离散时间马尔可夫链验证中的扰动分析，CONCUR 2014-并发理论，218-233（2014），海德堡：斯普林格·兹比尔1417.68100 ·doi:10.1007/978-3-662-44584-6_16 [24] Chen，T.、Hahn，E.M.、Han，T.，Kwiatkowska，M.、Qu，H.、Zhang，L.：马尔可夫决策过程的模型修复。参见：TASE，第85-92页。IEEE计算机学会（2013） [25] 陈，X。；牛，L。；Yuan，Y.，非Lipschitz优化的最优性条件和光滑信赖域牛顿法，SIAM J.Optimiz。，23, 3, 1528-1552 (2013) ·Zbl 1291.90238号 ·doi:10.1137/120871390 [26] Chonev，V.：增广区间马尔可夫链中的可达性。CoRR abs/1701.02996（2017）·Zbl 07121138号 [27] 克拉克，E。；格伦伯格，O。；Jha，S。；卢，Y。；维思，H。；艾默生，EA；Sistla，AP，反例引导的抽象精化，计算机辅助验证，154-169（2000），海德堡：施普林格·Zbl 0974.68517号 ·doi:10.1007/10722167_15 [28] Cousineau，D.，《拟合三参数Weibull分布：现有和新方法的回顾和评估》，IEEE DEIS，16，1，281-288（2009） [29] 库布特佩，M。；Jansen，N。；Junges，S。；卡托恩，J-P；托普库，美国。；斯里兰卡拉希里；Wang，C.，《pMDPs中的合成：1001个参数的故事》，验证和分析自动化技术，160-176（2018），Cham:Springer，Cham·Zbl 1517.68227号 ·doi:10.1007/978-3-030-01090-4_10 [30] Cubuktepe，M.，Jansen，N.，Junges，S.，Katoen，J.P.，Topcu，U.：MDP中参数合成的凸优化。IEEE传输。自动。控制（2022）·Zbl 1452.68117号 [31] Cubuktepe，M.、Jansen，N.、Junges，S.、Marandi，A.、Suilen，M.和Topcu，U.：不确定POMDP的鲁棒有限状态控制器。收录于：AAAI，第11792-11800页。AAAI出版社（2021） [32] Daws，C。；刘，Z。；Araki，K.，离散时间马尔可夫链的符号和参数模型检查，计算的理论方面-ICTAC 2004，280-294（2005），海德堡：斯普林格·Zbl 1108.68497号 ·doi:10.1007/978-3-540-31862-021 [33] Dehnert，C。；Kroening博士。；Péséreau，CS，PROPhESY:一种概率参数化SYnthesis工具，计算机辅助验证，214-231（2015），Cham:Springer，Cham·文件编号：10.1007/978-3-319-21690-4_13 [34] 埃斯帕尔扎，J。；霍夫曼，P。；Saha，R.，自由选择概率工作流网络的多项式分析算法，Perform.Eval。，117, 104-129 (2017) ·doi:10.1016/j.peva.2017.09.006 [35] Fang，X.，Calinescu，R.，Gerasimou，S.，Alhwikem，F.：通过模型分段进行快速参数模型检查。收录于：ICSE，第835-846页。IEEE（2021） [36] Filieri，A。；Tamburelli，G。；Ghezzi，C.，运行时通过定量验证和灵敏度分析支持自适应，IEEE Trans。柔和。工程，42，1，75-99（2016）·doi:10.1109/TSE.2015.2421318 [37] 盖纳，P。；哈恩，EM；Schewe，S。；拉希里，斯洛伐克；Wang，C.，参数马尔可夫链的加速模型检查，验证和分析自动化技术，300-316（2018），Cham:Springer，Cham·Zbl 1517.68235号 ·doi:10.1007/978-3-030-01090-4_18 [38] Givan，R。；利奇，SM；Dean，TL，有界参数马尔可夫决策过程，Artif。整数。，122, 1-2, 71-109 (2000) ·Zbl 0948.68171号 ·doi:10.1016/S0004-3702（00）00047-3 [39] Gouberman，A。；西格尔，M。；Tati，B.，《具有摄动吸收率的马尔可夫链：模型修复的理论和应用》，《性能评估》。，130, 32-50 (2019) ·doi:10.1016/j.peva.2018.11.006 [40] 哈恩，EM；Hermanns，H。；Zhang，L.，参数马尔可夫模型的概率可达性，STTT，13，1，3-19（2010）·doi:10.1007/s10009-010-0146-x [41] Hajnal，M。；努瓦尼亚，M。；彼得罗夫，T。；萨夫拉内克，D。；Bortolussi，L。；Sanguinetti，G.，群体马尔可夫链的数据知情参数合成，系统生物学计算方法，383-386（2019），Cham:Spriger，Cham·doi:10.1007/978-3-030-31304-3_32 [42] Han，Y.，短正则表达式的状态消除启发式，Fundam。通知。，128, 4, 445-462 (2013) ·Zbl 1285.68086号 ·doi:10.3233/FI-2013-952 [43] 哈特曼斯，A。；卡托恩，J-P；科伦，B。；斯佩尔，J。；阿巴特，A。；Marin，A.，《调整概率时间自动机中的概率》，《系统定量评估》，39-58（2021），查姆：斯普林格，查姆·Zbl 1491.68098号 ·doi:10.1007/978-3-030-85172-93 [44] Haselman，M。；Hauck，S.，《集成电路的未来：纳米电子学调查》，Proc。IEEE，98，1，11-38（2010）·doi:10.1109/JPROC.2009.2032356 [45] Herman，T.，概率自稳定，Inf.过程。莱特。，35, 2, 63-67 (1990) ·Zbl 0697.68027号 ·doi:10.1016/0020-0190（90）90107-9 [46] Holtzen，S。；Junges，S。；Vazquez-Chanlatte，M。；Millstein，T。；Seshia，南非；Van den Broeck，G。；席尔瓦，A。；Leino，KRM，利用概率推理进行有限水平马尔可夫链模型检查，计算机辅助验证，577-601（2021），Cham:Springer，Cham·Zbl 1493.68210号 ·doi:10.1007/978-3-030-81688-9_27 [47] Hopcroft，J.E.，Motwani，R.，Ullman，J.D.：自动机理论、语言和计算导论。Addison-Wesley（2003）·Zbl 0980.68066号 [48] Hutschenreiter，L.，Baier，C.，Klein，J.：参数马尔可夫链：PCTL复杂性和无分形高斯消去。收件人：甘道夫。EPTCS，第256卷，第16-30页（2017）·Zbl 1483.68195号 [49] 詹森，N。；诺曼，G。；Sanders，W.，《加速参数概率验证，系统定量评估》，404-420（2014），Cham:Springer，Cham·doi:10.1007/978-3-319-10696-031 [50] Junges，S.：马尔可夫模型中的参数综合。亚琛RWTH大学论文（2020年） [51] Junges，S.等人：马尔可夫模型的参数综合。CoRR abs/1903.07993（2019） [52] Junges，S.等人：使用参数合成的POMDP的有限状态控制器。收录于：阿拉伯联合酋长国，第519-529页。AUAI出版社（2018） [53] Junges，S。；Katoen，JP；乔治亚州佩雷斯；Winkler，T.，参数马尔可夫决策过程可达性的复杂性，J.计算。系统。科学。，119, 183-210 (2021) ·Zbl 1477.68124号 ·doi:10.1016/j.jcss.2021.02.006 [54] Junges，S。；西班牙，MTJ；Shoham，S。；Vizel，Y.，层次概率模型的抽象精化，计算机辅助验证2022，102-123（2022），Cham:Spriger，Cham·Zbl 1514.68029号 ·doi:10.1007/978-3-031-13185-16 [55] Katoen，J.P.：概率模型检查景观。收录于：LICS，第31-45页。ACM（2016）·Zbl 1401.68201号 [56] Knuth，D.，Yao，A.：非均匀随机数生成（chap）的复杂性。In：算法和复杂性：新方向和最新结果。学术出版社（1976）·Zbl 0395.65004号 [57] M.J.Kochenderfer：《不确定性下的决策：理论与应用》。麻省理工学院出版社，剑桥（2015）·Zbl 1341.68003号 [58] 科赞，I。；Utkin，LV，区间值有限马尔可夫链，Reliab。计算。，8, 2, 97-113 (2002) ·Zbl 1001.65007号 ·doi:10.1023/A:1014745904458 [59] Krak，T.E.，T'Joens，N.，Bock，J.D.：不精确马尔可夫链的命中时间和概率。输入：ISIPTA。PMLR，第103卷，第265-275页。PMLR（2019年） [60] Kwiatkowska，M。；诺曼，G。；帕克，D。；Gopalakrishnan，G。；Qadeer，S.，PRISM 4.0：概率实时系统验证，计算机辅助验证，585-591（2011），海德堡：施普林格·doi:10.1007/978-3642-22110-147 [61] O.马达尼。；汉克斯，S。；Condon，A.，关于概率规划和相关随机优化问题的不确定性，Artif。整数。，147, 1-2, 5-34 (2003) ·Zbl 1082.68806号 ·doi:10.1016/S0004-3702（02）00378-8 [62] Mao，Y.，Szmuk，M.，Xu，X.，Acikmem，B.：逐次凸化：非凸最优控制问题的超线性收敛算法。arXiv预印arXiv:1804.06539（2018） [63] Nilim，A。；El Ghaoui，L.，具有不确定转移矩阵的马尔可夫决策过程的鲁棒控制，Oper。第53号、第5号、第780-798号决议（2005年）·Zbl 1165.90674号 ·doi:10.1287/操作规程1050.0216 [64] Pathak，S。；E·阿尔布拉哈姆。；Jansen，N。；塔切拉，A。；卡托恩，J-P；Havelund，K。；Holzmann，G。；Joshi，R.，《有效修复随机模型的贪婪方法》，NASA形式方法，295-309（2015），Cham:Springer，Cham·数字对象标识代码：10.1007/978-3-319-17524-9_21 [65] Peruffo，A。；阿巴特，A。；迪马，C。；Shirmohammadi，M.，参数随机过程的形式化抽象与综合，时间系统的形式化建模与分析，135-153（2021），Cham:Springer，Cham·Zbl 07498005号 ·doi:10.1007/978-3-030-85037-19 [66] Polgreen，E。；维耶苏里亚，VB；Haesaert，S。；阿巴特，A。；北伯特兰。；Bortolussi，L.，参数马尔可夫决策过程数据有效性验证的自动实验设计，系统定量评估，259-274（2017），Cham:Springer，Cham·Zbl 1377.68136号 ·数字对象标识代码：10.1007/978-3-319-66335-7_16 [67] Poupart，P.，Boutiler，C.：有界有限状态控制器。收录于：NIPS，第823-830页。麻省理工学院出版社（2003） [68] Puggelli，A。；李伟（Li，W.）。；Sangiovanni-Vincentelli，阿拉巴马州；Seshia，南非；北卡罗来纳州Sharygina。；Veith，H.，具有凸不确定性MDP PCTL特性的多项式时间验证，计算机辅助验证，527-542（2013），海德堡：斯普林格·Zbl 1435.68202号 ·doi:10.1007/978-3-642-39799-8_35 [69] Puterman，M.L.：马尔可夫决策过程：离散随机动态规划。威利（1994）·Zbl 0829.90134号 [70] 夸特曼，T。；Dehnert，C。；Jansen，N。；Junges，S。；卡托恩，J-P；Artho，C。；Legay，A。；Peled，D.，《马尔可夫模型的参数合成：比以往更快》，《验证和分析自动化技术》，50-67（2016），查姆：斯普林格，查姆·Zbl 1398.68346号 ·doi:10.1007/978-3-319-46520-34 [71] Russell，S.J.，Norvig，P.：人工智能-现代方法（3。国际。编辑）。培生教育（2010）·Zbl 0835.68093号 [72] Salmani，B。；卡托恩，J-P；韦纳罗娃，J。；Wilson，N.，《贝叶斯网络中的概率微调，不确定性推理的符号和定量方法》，268-283（2021），查姆：斯普林格，查姆·Zbl 07542348号 ·doi:10.1007/978-3-030-86772-0_20文件 [73] Salmani，B.，Katoen，J.P.：在贝叶斯网络中自动找到正确的概率。arXiv预印本（2022，即将出版） [74] Skulj，D.，具有区间概率的离散时间马尔可夫链，国际期刊近似推理。，50, 8, 1314-1329 (2009) ·Zbl 1195.60100号 ·doi:10.1016/j.ijar.2009.06.007 [75] Spaan，M.T.J.：部分可观察的马尔可夫决策过程。摘自：Wiering，M.，van Otterlo，M.（编辑）强化学习。ALO，第12卷，第387-414页。施普林格，海德堡（2012）。doi:10.1007/978-3-642-27645-3_12 [76] Heck，L。；斯佩尔，J。；Junges，S。；莫尔曼，J。；卡托恩，J-P；Finkbeiner，B。；Wies，T.，随机控制器在部分可观测性、验证、模型检验和抽象解释下的渐变，127-150（2022），Cham:Springer，Cham·Zbl 1498.68159号 ·doi:10.1007/978-3-030-94583-17 [77] 斯佩尔，J。；Junges，S。；卡托恩，J-P；陈，Y-F；程，C-H；Esparza，J.，参数马尔可夫链是单调的吗？，验证和分析自动化技术，479-496（2019），商会：施普林格，商会·Zbl 1437.68121号 ·doi:10.1007/978-3-030-31784-328 [78] 斯佩尔，J。；Junges，S。；Katoen，J-P，《发现可证明的最优马尔可夫链，系统构建和分析的工具和算法》，173-190（2021），查姆：Springer，查姆·Zbl 1467.68095号 ·doi:10.1007/978-3-030-72016-2-10 [79] Suilen，M.、Jansen，N.、Cubuktepe，M.和Topcu，U.：通过凸优化实现不确定POMDP的稳健政策综合。收录于：IJCAI，第4113-4120页（2020年）。ijcai.org网站 [80] Vardi，M.Y.：概率并发有限状态程序的自动验证。收录于：FOCS，第327-338页。IEEE计算机学会（1985） [81] Vlassis，N.，Littman，M.L.，Barber，D.：关于POMDP中随机控制器优化的计算复杂性。ACM事务处理。计算。理论4（4），12:1-12:8（2012）·Zbl 1322.68111号 [82] 沃尔克，M。；Bonakdarpour，B。；Katoen，JP；Aflaki，S.，《随机自稳定中的最佳偏差综合》，分布计算。，35, 1, 37-57 (2022) ·Zbl 1483.68033号 ·doi:10.1007/s00446-021-00408-4 [83] 韦斯曼。；库恩，D。；Rustem，B.，稳健马尔可夫决策过程，数学。操作。研究，38，1，153-183（2013）·Zbl 1291.90295号 ·doi:10.1287/门1120.0566 [84] Wolff，E.M.、Topcu，U.、Murray，R.M.：具有时序逻辑规范的不确定马尔可夫决策过程的鲁棒控制。摘自：CDC，第3372-3379页。IEEE（2012） [85] Yuan，Y.，信赖域算法的最新进展，数学。程序。，151, 1, 249-281 (2015) ·Zbl 1317.65141号 ·doi:10.1007/s10107-015-0893-2 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。