×
克里斯特尔·拜尔;马库斯·格勒;Frank Ciesinski先生

概率系统线性时间特性的模型检验。 （英语） Zbl 1484.68095号

Droste，Manfred（编辑）等人，《加权自动机手册》。柏林：斯普林格。单声道。理论。计算。科学。，EATCS系列。，519-570 (2009).
摘要：本章是关于马尔可夫决策过程（MDPs）的验证，它包含了反应系统中概率和不确定性现象推理的基本模型之一。MDP植根于运筹学领域，目前广泛应用于验证、机器人、规划、控制、强化学习、随机系统的经济学和语义等领域。此外，MDP是引入与加权自动机相关的概率自动机的基础。我们将MDP的使用描述为随机系统的操作模型，例如，使用随机算法的系统、多智能体系统或具有不可靠组件或环境的系统。在此背景下，我们概述了验证此类操作模型的正则性的理论。作为该理论的一个组成部分，我们使用了（ω）-自动机，即在接受无限单词语言的有限字母表上的有限状态自动机。此外，还概述了重要约简技术的基本概念，即MDP的部分阶约简和MDP验证中出现的数值问题的商系约简。此外，我们给出了部分可观测MDP控制器综合问题的几个不可判定性和可判定性结果。
关于整个系列，请参见[Zbl 1200.68001号].

引用于6文件

MSC公司：

60年第68季度 规范和验证（程序逻辑、模型检查等）
2010年第68季度 计算模式（非确定性、并行、交互式、概率性等）
65年第68季度 形式语言和自动机
87年第68季度 计算机科学中的概率（算法分析、随机结构、相变等）
90立方厘米 马尔可夫和半马尔可夫决策过程
PDF格式BibTeX公司 XML格式引用
\textit{C.Baier}等人，in：加权自动机手册。柏林：斯普林格。519-570（2009年；Zbl 1484.68095）
全文： 内政部

参考文献：

[1] 阿尔贾扎尔，H。；Hermanns，H。；Leue，S.，《时间概率可达性反例》，《第三届时间系统形式化建模与分析国际研讨会论文集》（FORMATS’05），177-195（2005），柏林：斯普林格出版社，柏林·Zbl 1175.68239号 ·doi:10.1007/11603009_15
[2] 拜尔，C。；北伯特兰。；Grösser，M.，关于概率Büchi自动机的决策问题，第十一届软件科学和计算结构基础国际会议论文集，287-301（2008），柏林：斯普林格，柏林·Zbl 1139.68030号
[3] 拜尔，C。；Ciesinski，F.，《白酒：反应系统定性和定量线性时间分析的工具》，《第三届系统定量评估国际会议论文集》（QEST'06），131-132（2006），洛斯阿拉米托斯：IEEE计算机社会出版社，洛斯阿米托斯
[4] 拜尔，C。；Ciesinski，F。；Grösser，M.，ProbMeLa:一种用于通信概率系统的建模语言，第二届ACM-IEEE代码设计正式方法和模型国际会议论文集（MEMOCODE'04），57-66（2006），洛斯阿拉米托斯：IEEE计算机学会出版社，洛斯阿拉米托斯
[5] 拜尔，C。；Ciesinski，F。；M.Grösser。；Klein，J.，《模型检验马尔可夫决策过程的简化技术》，《第五届系统定量评估国际会议论文集》（QEST’08），45-54（2008），洛斯阿拉米托斯：IEEE计算机社会出版社，洛斯阿尔米托斯
[6] 拜尔，C。；克拉克，E。；Hartonas-Garmhausen，V。；Kwiatkowska，M。；Ryan，M.，概率过程的符号模型检验，第24届自动机、语言和程序设计国际学术讨论会论文集（ICALP’97），430-440（1997），柏林：施普林格，柏林·Zbl 1401.68180号
[7] 拜尔，C。；d'Argenio，P。；Größer，M.，概率分支时间的部分降阶，第三届编程语言定量方面研讨会论文集（QAPL'05），97-116（2006），柏林：施普林格，柏林
[8] 拜尔，C。；Engelen，B。；Majster-Cederbaum，M.，《概率过程的双模拟性和相似性判定》，《计算机与系统科学杂志》，60，187-231（2000）·Zbl 1073.68690号 ·doi:10.1006/jcss.1999.1683
[9] 拜尔，C。；格里尔，M。；Ciesinski，F.，概率系统的偏序约简，第一届系统定量评估国际会议论文集（QEST'04），230-239（2004），洛斯阿拉米托斯：IEEE计算机学会出版社，洛斯阿拉米托斯·doi:10.1109/QEST.2004.1348037
[10] 拜尔，C。；哈弗科特，B。；Hermanns，H。；Katoen，J.P.，均匀连续时间Markov决策过程中有时限可达概率的有效计算，理论计算机科学，345，1，2-26（2005）·Zbl 1081.90066号 ·doi:10.1016/j.tcs.2005.07.022
[11] 拜尔，C。；Katoen，J.-P.，《模型检验原理》（2008），剑桥：麻省理工学院出版社，剑桥·Zbl 1179.68076号
[12] 拜尔，C。；Kwiatkowska，M.，公平概率分支时间逻辑的模型检验，分布式计算，11，3，125-155（1998）·Zbl 1448.68285号 ·doi:10.1007/s004460050046
[13] Bauer，H.，Wahrscheinlichkeits theorie und Grundzüge der Maßtheorie（1978），柏林：德格鲁伊特，柏林·Zbl 0381.60001号
[14] Bellmann，R.，《马尔科夫决策过程》，《数学与力学杂志》，6，4，679-684（1957）·Zbl 0078.34101号
[15] Bianco，A。；De Alfaro，L.，概率和非确定性系统的模型检验，第15届软件技术和理论计算机科学基础会议论文集（FSTTCS’95），499-513（1995），柏林：斯普林格，柏林·Zbl 1354.68167号
[16] 博兹加，M。；Maler，O.，《关于结构化域上概率的表示》，《第十一届计算机辅助验证国际会议论文集》（CAV’99），261-273（1999），柏林：施普林格，柏林·Zbl 1046.68581号
[17] Burch，J。；克拉克，E。；McMillan，K。；Dill，D。；Hwang，L.，《符号模型检验：10^20状态及其以外》，《信息与计算》，98，2，142-170（1992）·Zbl 0753.68066号 ·doi:10.1016/0890-5401（92）90017-A
[18] 卡塔尼，S。；Segala，R.，概率互模拟的决策算法，《第13届并行理论国际会议论文集》（CONCUR’02），371-385（2002），柏林：斯普林格出版社，柏林·Zbl 1012.68127号
[19] K.查特吉。随机ω-正则对策。2007年，加州大学伯克利分校博士论文
[20] 查特吉，K。；de Alfaro，L。；Henzinger，T.，《随机Streett和Rabin游戏的复杂性》，第32届国际自动化、语言和编程学术讨论会论文集（ICALP’05），878-890（2005），柏林：斯普林格，柏林·Zbl 1085.68060号
[21] 克拉克，E。；格伦伯格，O。；Peled，D.，《模型检验》（1999），剑桥：麻省理工学院出版社，剑桥
[22] Courcoubetis，C。；Yannakakis，M.，马尔可夫决策过程和规则事件（扩展摘要），第17届自动机、语言和程序设计国际学术讨论会论文集（ICALP’90），336-349（1990），柏林：施普林格，柏林·Zbl 0765.68152号 ·doi:10.1007/BFb0032043
[23] Courcoubetis，C。；Yannakakis，M.，概率验证的复杂性，ACM杂志，42，4，857-907（1995）·Zbl 0885.68109号 ·doi:10.1145/210332.210339
[24] d'Argenio，P.R。；珍妮特，B。；Jensen，H.E。；Larsen，K.G.，概率分析的简化和细化策略，《过程代数与性能建模及验证中的概率方法联合国际研讨会论文集》（PAPM-PROBMIV’02），57-76（2002），柏林：斯普林格出版社，柏林·Zbl 1065.68582号 ·doi:10.1007/3-5440-45605-8_5
[25] d'Argenio，P.R。；珍妮特，B。；Jensen，H。；Larsen，K.，《通过连续改进对概率系统进行可达性分析》，《第一届过程代数与性能建模及验证中概率方法联合国际研讨会论文集》（PAPM-PROBMIV’01），57-76（2001），柏林：斯普林格出版社，柏林
[26] d'Argenio，P.R。；Niebert，P.，并发概率程序的部分降阶，《第一届系统定量评估国际会议论文集》（QEST’04），240-249（2004），洛斯阿拉米托斯：IEEE计算机社会出版社，洛斯阿尔米托斯·doi:10.1109/QEST.2004.1348038
[27] 拉德·阿尔法罗。概率系统的形式验证。斯坦福大学博士论文，1997年
[28] de Alfaro，L.，随机转换系统，第九届并行理论国际会议论文集（CONCUR’98），423-438（1998），柏林：施普林格，柏林
[29] 拉德·阿尔法罗。在无记忆部分信息策略下，概率系统的验证是困难的。《第二届验证概率方法国际研讨会论文集》（ProbMiV’99），第19-32页。伯明翰大学，研究报告CSR-99-91999。
[30] de Alfaro，L。；Majumdar，R.，欧米伽规则游戏的定量解决方案，《计算机与系统科学杂志》，68，374-397（2004）·Zbl 1093.91001号 ·doi:10.1016/j.jcss.2003.07.009
[31] M.Droste和P.Gastin。加权自动机和加权逻辑。在本手册中。第5章。施普林格，柏林，2009年。
[32] Droste，M。；库斯克，D.，《倾斜和无穷形式幂级数》，《理论计算机科学》，366199-227（2006）·兹比尔1154.68067 ·doi:10.1016/j.tcs.2006.08.024
[33] Droste，M。；Rahonis，G.，《带折扣的加权自动机和加权逻辑》，第12届国际自动机实现和应用会议论文集（CIAA'07），73-84（2007），柏林：斯普林格，柏林·Zbl 1139.68361号
[34] Droste，M。；Sakarovitch，J。；Vogler，H.，带折扣的加权自动机，《信息处理快报》，108，1，23-28（2008）·兹比尔1186.68253 ·doi:10.1016/j.ipl.2008.03.014
[35] Z.Esik和W.Kuich。有限自动机。在本手册中。第3章。施普林格，柏林，2009年。
[36] I.Fichtner、D.Kuske和I.Meinecke。痕迹、系列平行偏序集和图片：一项加权研究。在本手册中。第10章。施普林格，柏林，2009年·Zbl 1484.68084号
[37] Giro，S。；d'Argenio，P.R.，《重新审视定量模型检验：既不可判定也不可近似》，《第五届时间系统形式建模和分析国际会议论文集》（FORMATS’07），179-194（2007），柏林：斯普林格出版社，柏林·Zbl 1141.68466号 ·doi:10.1007/978-3-540-75454-1_14
[38] Godefroid，P.，《验证并发系统的部分顺序方法：状态爆炸问题的方法》（1996），柏林：斯普林格出版社，柏林·Zbl 1293.68005号
[39] Godefroid，P。；贝利德，D。；Staskauskas，M.，《在工业并发程序的正式验证中使用偏序方法》，《软件测试与分析国际研讨会论文集》（ISSTA'96），261-269（1996），纽约：ACM，纽约
[40] Grädel，E。；托马斯·W·。；Wilke，T.，《2001年达格斯图尔自动化、逻辑和无限游戏研讨会成果：当前研究指南》（2002年），柏林：施普林格出版社，柏林·Zbl 1011.00037号
[41] 格里尔，M。；Baier，C.，《马尔可夫决策过程的部分降阶：一项调查》，第四届组件和对象形式化方法国际研讨会论文集（FMCO'05），408-427（2006），柏林：斯普林格，柏林·Zbl 1196.68137号 ·doi:10.1007/11804192_19
[42] 格里尔，M。；诺曼，G。；拜尔，C。；Ciesinski，F。；Kwiatkowska，M。；Parker，D.，《概率报酬模型的约简标准》，《第26届软件技术和理论计算机科学基础会议论文集》（FSTTCS’06），309-320（2006），柏林：斯普林格，柏林·Zbl 1177.68150号 ·doi:10.1007/11944836_29
[43] M.Größer先生。概率模型检查的简化方法。2008年，德累斯顿理工大学博士论文
[44] 古普塔，R。；斯莫尔卡，S。；Bhaskar，S.，《关于序列和分布式算法中的随机化》，ACM计算调查，26，1，7-86（1994）·数字对象标识代码：10.1145/174666.174667
[45] Hachtel，G。；Macii，大肠杆菌。；A.帕尔多。；Somenzi，F.，大型有限状态机的概率分析，第31届设计自动化会议论文集（DAC'94），270-275（1994），纽约：ACM，纽约
[46] Han，T。；Katoen，J.-P.，概率模型检验反例，第13届系统构建和分析工具和算法国际会议论文集（TACAS'07），60-75（2007），柏林：施普林格，柏林·Zbl 1186.68293号 ·doi:10.1007/978-3-540-71209-1_8
[47] Hansson，H。；Jonsson，B.，关于时间和可靠性的推理逻辑，计算的形式方面，6，5，512-535（1994）·兹伯利0820.68113 ·doi:10.1007/BF01211866
[48] Hartonas-Garmhausen，V。；南卡普斯。；Clarke，E.，Proberus:概率符号模型检验，第五届实时和概率系统形式化方法国际研讨会论文集（ARTS'99），96-110（1999），柏林：施普林格，柏林·doi:10.1007/3-540-48778-66
[49] Hermanns，H。；Kwiatkowska，M。；诺曼，G。；帕克，D。；Siegle，M.，《关于使用MTBDD进行随机系统的性能分析和验证》，《逻辑和代数编程杂志：系统设计和分析的概率技术专刊》，56，23-67（2003）·Zbl 1054.68018号
[50] Hermanns，H。；Wachter，B。；Zhang，L.，概率CEGAR，第20届计算机辅助验证国际会议论文集（CAV’08），162-175（2008），柏林：施普林格，柏林·Zbl 1155.68438号
[51] Holzmann，G.，《SPIN模型检查器，入门和参考手册》（2003），阅读：Addison-Wesley，阅读
[52] Holzmann，G.J。；Peled，D.，《形式验证的改进》，第七届形式描述技术国际会议论文集，197-211（1995），伦敦：查普曼和霍尔出版社，伦敦
[53] F.喇叭。随机游戏。2008年7月，亚琛理工大学和巴黎大学博士论文
[54] Howard，R.，《动态规划和马尔可夫过程》（1960），剑桥：麻省理工学院出版社，剑桥·Zbl 0091.16001号
[55] Huynh，T。；Tian，L.，关于概率过程的一些等价关系，《信息基础》，17，211-234（1992）·Zbl 0766.68099号
[56] B.Jeannet、P.R.d'Argenio和K.G.Larsen。RAPTURE：验证马尔可夫决策过程的工具。《并行理论国际会议论文集》（CONCUR’02）：工具日，技术报告，布尔诺Masaryk大学信息学院，2002年。
[57] Jurdzinski，M。；拉鲁西尼，F。；Sproston，J.，《一个或两个时钟的概率时间自动机模型检验》，《计算机科学中的逻辑方法》，第4、3-1、4-20页（2008年）·Zbl 1147.68574号
[58] Katoen，J.-P。；Klink，D。；Leucker，M。；Wolf，V.，连续时间Markov链的三值抽象，第19届计算机辅助验证国际会议论文集（CAV’07），316-329（2007），柏林：斯普林格，柏林
[59] 凯梅尼，J。；斯内尔，J.，《数不清的马尔可夫链》（1976），普林斯顿：范诺斯特兰德，普林斯顿
[60] Kwiatkowska，M。；诺曼，G。；Parker，D.，PRISM:概率符号模型检查器，第12届计算机和通信系统性能评估建模工具和技术国际会议论文集（Tools'02），113-140（2002），柏林：施普林格，柏林
[61] Kwiatkowska，M。；诺曼，G。；Parker，D.，《使用PRISM进行概率符号模型检查：一种混合方法》，《技术转让软件工具国际期刊》（STTT），6，2，128-142（2004）
[62] Kwiatkowska，M。；诺曼，G。；Parker，D.，概率模型检查的对称性简化，第18届计算机辅助验证国际会议论文集（CAV’06），238-248（2008），柏林：施普林格，柏林
[63] Kwiatkowska，M。；诺曼，G。；帕克，D。；Sproston，J.，实时概率系统的验证，实时系统的建模和验证：形式化和软件工具，249-288（2008），纽约：威利，纽约
[64] Kwiatkowska，M。；诺曼，G。；塞加拉，R。；Sproston，J.，《离散概率分布实时系统的自动验证》，《理论计算机科学》，282101-150（2002）·Zbl 1050.68094号 ·doi:10.1016/S0304-3975（01）00046-9
[65] Larsen，K。；Skou，A.，通过概率测试的互模拟，信息和计算，94，1，1-28（1991）·Zbl 0756.68035号 ·doi:10.1016/0890-5401（91）90030-6
[66] 莱曼，D。；Rabin，M.O.，《自由选择的优势：用餐哲学家问题的对称和完全分布式解决方案》（扩展摘要），第八届美国计算机学会编程语言原理年会论文集（POPL'81），133-138（1981），纽约：美国计算机学会，纽约·数字对象标识代码：10.1145/567532.567547
[67] Lovejoy，W.，《部分可观测马尔可夫决策过程算法方法的调查》，运筹学年鉴，28，1，47-65（1991）·Zbl 0717.90086号 ·doi:10.1007/BF02055574
[68] Lynch，N.，《分布式算法》（1996），旧金山：Morgan Kaufmann，旧金山·Zbl 0877.68061号
[69] Miner，A。；Parker，D.，大型概率系统的符号表示和分析，GI/Dagstuhl随机系统验证研究研讨会论文集（2003），柏林：Springer，柏林
[70] Monahan，G.，《部分可观测马尔可夫决策过程的调查：理论、模型和算法》，《管理科学》，第28、1、1-16页（1982年）·Zbl 0486.90084号 ·doi:10.1287/mnsc.28.1.1
[71] Papadimitriou，C。；Tsitsiklis，J.，马尔可夫决策过程的复杂性，运筹学数学，12，3，441-450（1987）·Zbl 0638.90099号 ·doi:10.1287/门.12.3.441
[72] D.帕克。概率系统符号模型检验的实现。伯明翰大学博士论文，2002年。
[73] Paz，A.，《概率自动机导论》（1971），圣地亚哥：圣地亚哥学术出版社·Zbl 0234.94055号
[74] Peled，D.，All from one，one for All:On model checking using representatives，Proceedings of the 5th International Conference On Computer Aided Verification（CAV’93），409-423（1993），柏林：施普林格，柏林
[75] Peled，D.，部分阶约简：线性和分支时间逻辑与过程代数，DIMACS验证部分阶方法研讨会论文集，233-257（1997），普罗维登斯：美国数学学会，普罗维登斯·Zbl 0883.68090号
[76] 贝利德，D。；普拉特，V。；Holzmann，G.，DIMACS验证中部分顺序方法研讨会论文集（1997），普罗维登斯：美国数学学会，普罗维登
[77] 菲利普·A。；李，I。；Sokolsky，O.，概率系统的弱互模拟，第十一届并行理论国际会议论文集（CONCUR’00），334-349（2000），柏林：斯普林格，柏林·Zbl 0999.68146号
[78] Pnueli，A.，程序的时间逻辑，第18届计算机科学基础研讨会论文集（FOCS'77），46-57（1977），洛斯阿拉米托斯：IEEE计算机学会出版社，洛斯阿拉米托斯
[79] 普努利，A。；Zuck，L.，《利用tableaux进行概率验证》，《计算机科学中逻辑专题讨论会论文集》（LICS’86），322-331（1986），洛斯阿拉米托斯：IEEE计算机社会出版社，洛斯拉米托斯
[80] Puterman，M.L.，《马尔可夫决策过程：离散随机动态规划》（1994），纽约：威利出版社·Zbl 0829.90134号
[81] 拉宾，M.O.，概率自动机，信息与控制，6，3，230-245（1963）·Zbl 0182.33602号 ·doi:10.1016/S0019-9958（63）90290-0
[82] Rutten，J.J.M.M。；Kwiatkowska，M。；诺曼，G。；Parker，D.，《分析并发和概率系统的数学技术》（2004），普罗维登斯：美国数学学会，普罗维登·Zbl 1069.68074号
[83] Schrijver，A.，《组合优化：多面体与效率》（2003），柏林：施普林格出版社，柏林·Zbl 1041.90001号
[84] E.J.桑迪克。部分可观测马尔可夫过程的最优控制。斯坦福大学博士论文，1971年。
[85] Thomas，W.，《无限对象上的自动机》，《理论计算机科学手册》，B卷，133-191（1990），阿姆斯特丹：爱思唯尔出版社·Zbl 0900.68316号
[86] Valmari，A.，状态爆炸的顽固攻击，系统设计中的形式化方法，1297-322（1992）·Zbl 0783.68083号 ·doi:10.1007/BF00709154
[87] Valmari，A.，《最先进的报告：顽固不化的场景》，《Petri-Net时事通讯》，第46期，第6-14页（1994年）
[88] Valmari，A.，过程代数的Stubborn集方法，DIMACS验证中偏序方法研讨会论文集，213-231（1997），普罗维登斯：美国数学学会，普罗维登斯·Zbl 0882.68090号
[89] 范·格拉贝克，R。；斯莫尔卡，S。；斯特芬，B。；Tofts，C.，概率过程的反应、生成和分层模型，第五届IEEE计算机科学逻辑研讨会论文集（LICS’90），130-141（1990），洛斯阿拉米托斯：IEEE计算机社会出版社，洛斯阿尔米托斯·doi:10.1109/LICS.1990.113740
[90] Vardi，M.Y.，概率并发有限状态程序的自动验证，第26届计算机科学基础研讨会论文集（FOCS'85），327-338（1985），洛斯阿拉米托斯：IEEE计算机学会出版社，洛斯阿拉米托斯
[91] 瓦尔迪，M.Y。；Wolper，P.，《自动程序验证的自动机理论方法》，《计算机科学中的逻辑研讨会论文集》（LICS’86），332-344（1986），洛斯阿拉米托斯：IEEE计算机社会出版社，洛斯阿尔米托斯
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。