×
克里斯特尔·拜尔;霍尔格·赫尔曼斯;Joost-Pieter卡托恩;Boudewijn R.哈维尔科特。

一致连续时间Markov决策过程中时间有界可达概率的有效计算。 （英语） Zbl 1081.90066号

西奥。计算。科学。 345，第1期，2-26（2005）.
摘要：连续时间马尔可夫决策过程（CTMDP）是概率选择和非确定性选择共存的连续时间马尔柯夫链的推广。本文提出了一种有效的算法来计算统一CTMDP中在给定时间范围内达到一组目标状态的最大（或最小）概率，即每个状态访问的延迟时间分布对于所有状态都是相同的CTMDP。它进一步证明了这些概率对于以确定性或随机方式解决不确定性的（时间抽象的）历史依赖调度器和马尔科夫调度器是一致的。

引用于21文件

MSC公司：

90立方厘米 马尔可夫和半马尔可夫决策过程
60年第68季度 规范和验证（程序逻辑、模型检查等）

关键词：

连续时间;马尔可夫决策过程;时间逻辑;模型检查;有时间限制的可达性

软件：

棱镜
PDF格式BibTeX公司 XML格式引用
\textit{C.Baier}等人，Theor。计算。科学。345，编号1，2--26（2005；Zbl 1081.90066）
全文： 内政部 链接

参考文献：

[1] Y.Abdeda-im，E.Asarin，O.Maler，《不确定性下的最优调度》，载于：《系统构建和分析的工具和算法》，《计算机科学讲义》，第2619卷，施普林格，柏林，2003年，第240-253页。；Y.Abdeddaïm，E.Asarin，O.Maler，《关于不确定性下的最优调度》，载于：系统构建和分析的工具和算法，计算机科学讲义，第2619卷，施普林格，柏林，2003年，第240-253页·Zbl 1031.68030号
[2] Ajmone Marsan，M。；Balbo，G。；孔戴，G。；多纳泰利，S。；Franceschinis，G.，《用广义随机Petri网建模》（1995），威利出版社：威利纽约·Zbl 0843.68080号
[3] L.de Alfaro，概率系统的形式化验证，斯坦福大学博士论文，1997年。；L.de Alfaro，概率系统的形式验证，斯坦福大学博士论文，1997年。
[4] de Alfaro，L.，《如何指定和验证概率系统的长期平均行为》，（IEEE第13届计算机科学逻辑研讨会（1998），IEEE CS出版社：IEEE CS Press Silver Spring，MD），174-183
[5] 阿齐兹，A。；Sanwal，K。；Singhal，V。；Brayton，R.，模型检验连续时间马尔可夫链，ACM Trans。计算。逻辑，1,162-170（2000）·兹比尔1365.68313
[6] 拜尔，C。；哈维尔科特，B。；Hermanns，H。；Katoen，J.-P.，连续时间马尔可夫链的模型检验算法，IEEE Trans。软件工程，29，6，524-541（2003）
[7] C.Baier，B.Haverkort，H.Hermanns，J.-P.Katoen，均匀连续时间Markov决策过程中时间有界可达概率的有效计算，收录于：系统构造和分析的工具和算法，计算机科学讲义，第2988卷，2004年，第61-76页。；C.Baier，B.Haverkort，H.Hermanns，J.-P.Katoen，均匀连续时间Markov决策过程中有时限可达概率的有效计算，收录于：系统构造和分析的工具和算法，计算机科学讲义，第2988卷，2004年，第61-76页·Zbl 1126.68467号
[8] C.Baier，H.Hermanns，J.-P.Katoen，V.Wolf，马尔可夫链的比较分支时间语义（扩展抽象），收录于：并发理论，计算机科学讲义，第2761卷，施普林格，柏林，2003年，第492-507页。；C.Baier，H.Hermanns，J.-P.Katoen，V.Wolf，马尔可夫链的比较分支时间语义（扩展抽象），收录于：并发理论，计算机科学讲义，第2761卷，施普林格，柏林，2003年，第492-507页·Zbl 1274.68264号
[9] 拜尔，C。；Kwiatkowska，M.Z.，具有公平性的概率分支时间逻辑的模型检查，Distrib.Comput。，11, 125-155 (1998) ·Zbl 1448.68285号
[10] D.P.Bertsekas，动态规划和最优控制。《雅典娜科学》第二卷，1995年。；D.P.Bertsekas，动态规划和最优控制。第二卷，雅典娜科学出版社，1995年·Zbl 0904.90170号
[11] 贝特勒，F。；Ross，K.W.，平稳策略下半马尔可夫决策过程的一致化，J.Appl。可能性。，24, 644-656 (1987) ·Zbl 0624.60104号
[12] A.Bianco，L.de Alfaro，概率和非确定性系统的模型检验，摘自：软件技术和理论计算机科学基础，计算机科学讲稿，第1026卷，柏林斯普林格，1995年，499-513。；A.Bianco，L.de Alfaro，概率和非确定性系统的模型检验，摘自：软件技术和理论计算机科学基础，计算机科学讲稿，第1026卷，柏林斯普林格，1995年，499-513·Zbl 1354.68167号
[13] 布鲁诺，J.L。；P.J.唐尼。；Frederickson，G.N.，用指数服务时间排序任务以最小化预期的流动时间或最大持续时间，J.Assoc.Compute。机器。，28，1100-113（1981年）·Zbl 0454.68016号
[14] Buchholz，P.，有限马尔可夫链中的精确和普通集总性，J.Appl。概率。，31, 59-75 (1994) ·Zbl 0796.60073号
[15] 布赫霍尔茨，P。；Katoen，J.-P。；坎佩尔，P。；Tepper，C.，大型结构化马尔可夫链的模型检验，《逻辑代数编程》，56，69-97（2003）·Zbl 1048.68053号
[16] Chiola，G。；多纳泰利，S。；Franceschinis，G.，GSPNs与SPNs：即时过渡的实际作用是什么？，（Petri网和性能模型1991（1991），IEEE CS出版社：IEEE CS Press Silver Spring，MD）
[17] G.Ciardo，R.Zijal，《定义良好的随机Petri网》，摘自：Proc。第四国际。计算机和电信系统建模、分析和仿真研讨会（MASCOTS’96），1996年，第278-284页。；G.Ciardo，R.Zijal，《定义良好的随机Petri网》，摘自：Proc。第四国际。计算机和电信系统建模、分析和仿真研讨会（MASCOTS’96），1996年，第278-284页。
[18] P.R.D’Argenio、B.Jeannet、H.E.Jensen、K.G.Larsen、。，概率分析的简化和精化策略，见：过程代数和概率方法，计算机科学讲义，第2399卷，施普林格，柏林，2001年，第57-76页。；P.R.D’Argenio、B.Jeannet、H.E.Jensen、K.G.Larsen、。，概率分析的简化和精化策略，见：过程代数和概率方法，计算机科学讲义，第2399卷，施普林格，柏林，2001年，第57-76页·Zbl 1065.68582号
[19] 迪沃斯，D.D。；Sanders，W.H.，《一种有效且明确的检查》（Petri网和性能模型，PNPM’99（1999），IEEE CS出版社：IEEE CS Press Silver spring，MD），124-133
[20] E.A.Feinberg，连续时间折扣跳跃Markov决策过程：离散事件方法，1998年。网址：http://www.ams.sunysb.edu/\（\sim；\）；E.A.Feinberg，连续时间折扣跳跃Markov决策过程：离散事件方法，1998年。http://www.ams.sunysb.edu/\（\sim；\）
[21] 福克斯，B.L。；Glynn，P.W.，《计算泊松概率》，ACM委员会，31，4，440-445（1988）
[22] H.Hermanns，《交互式马尔可夫链与量化质量的探索》，《计算机科学讲义》，第2428卷，施普林格出版社，柏林，2002年。；H.Hermanns，《交互式马尔可夫链和量化质量的探索》，《计算机科学讲义》，第2428卷，施普林格出版社，柏林，2002年·兹比尔1012.68142
[23] Hermanns，H。；Katoen，J.-P。；Meyer-Kayser，J。；Siegle，M.，《马尔可夫链模型检查工具》，国际。J.技术转让软件工具，4，2，153-172（2003）
[24] Jensen，A.，马尔可夫链作为马尔可夫过程研究的辅助工具，Skand。Aktuarietidskrift，387-91（1953）·Zbl 0051.35607号
[25] J.-P.Katoen，M.Z.Kwiatkowska，G.Norman，D.Parker，《更快和符号化CTMC模型检查》，收录于：过程代数和概率方法，计算机科学讲义，第2165卷，2001年，柏林斯普林格，第23-38页。；J.-P.Katoen，M.Z.Kwiatkowska，G.Norman，D.Parker，《更快和符号化CTMC模型检查》，收录于：过程代数和概率方法，计算机科学讲义，第2165卷，2001年，柏林斯普林格，第23-38页·Zbl 1007.68517号
[26] Kulkarni，V.G.，《随机系统建模与分析》（1995），查普曼和霍尔：查普曼与霍尔伦敦·Zbl 0938.60004号
[27] M.Z.Kwiatkowska，G.Norman，D.Parker，《PRISM概率符号模型检验：一种混合方法》，载于：《系统构造和分析的工具和算法》，《计算机科学讲义》，第2280卷，2002年，第52-66页。；M.Z.Kwiatkowska，G.Norman，D.Parker，《PRISM概率符号模型检验：一种混合方法》，载于：《系统构造和分析的工具和算法》，《计算机科学讲义》，第2280卷，2002年，第52-66页·Zbl 1043.68576号
[28] Puterman，M.L.，《马尔可夫决策过程：离散随机动态规划》（1994），威利出版社，纽约·Zbl 0829.90134号
[29] 邱，Q。；Pedram，M.，基于连续时间Markov决策过程的动态电源管理，（设计自动化会议99（1999），ACM出版社：纽约ACM出版社），555-561
[30] 桑德斯，W.H。；Meyer，J.F.，《随机活动网络的简化基础模型构建方法》，IEEE J.《公共选择区域》。，9, 1, 25-36 (1991)
[31] Sennot，L.，《随机动态规划与排队系统控制》（1999），威利出版社，纽约·Zbl 0997.93503号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。