×
卡蒂，埃利奥特;安东尼奥·法拉;内利斯，四月;雅各布·范·胡克;亚历山大·弗拉迪米尔斯基

量化和管理分段确定马尔可夫过程中的不确定性。 （英语） Zbl 1521.60041号

SIAM/ASA J.不确定性。数量。 11, 814-847 (2023).
摘要：在分段确定马尔可夫过程（PDMP）中，有限维系统的状态是连续演化的，但演化方程可能因离散切换而随机变化。运行成本沿相应的分段确定轨迹进行整合，直至终端，以产生累计成本流程的。我们解决了三个与PDMP模型累积成本不确定性相关的自然问题：（1）当切换率完全已知时，如何计算累积成本的累积分布函数（CDF）；（2） 当转换率不确定时，如何准确地绑定CDF；（3）假设PDMP是受控的，如何选择一个控件来优化CDF。在这三种情况下，我们的方法都需要建立一个合适的双曲型偏微分方程组，然后在增广状态空间上对其进行数值求解。我们通过几个一维和二维首次退出时间问题的不确定性轨迹规划的简单示例来说明我们的方法。在附录中，我们还将此方法应用于在承载能力随机切换的环境中捕获鱼类的模型。

引用于1文件

MSC公司：

60J27型 离散状态空间上的连续时间马尔可夫过程
49升20 最优控制与微分对策中的动态规划
35层21 哈密尔顿-雅可比方程
35层61 非线性一阶偏微分方程组的初边值问题
60公里40 随机过程的其他物理应用
6500万06 含偏微分方程初值和初边值问题的有限差分方法
65立方厘米 马尔可夫链的数值分析或方法

关键词：

分段确定过程;最优控制;哈密尔顿-雅可比偏微分方程;不确定性量化;稳健性
PDF格式BibTeX公司 XML格式引用
\textit{E.Cartee}等人，SIAM/ASA J.不确定性。数量。11、814--847（2023年；Zbl 1521.60041）
全文： DOI程序 arXiv公司

参考文献：

[1] Akella，R.和Kumar，P.R.，易发生故障的制造系统中生产率的最优控制，IEEE Trans。自动化。《控制》，31（1986），第116-126页·Zbl 0579.90047号
[2] Allee，W.C.和Bowen，E.S.，《动物聚集研究：金鱼对胶体银的大规模保护》，实验动物杂志。，61（1932），第185-207页，doi:10.1002/jez.1400610202。
[3] Alton，K.和Mitchell，I.M.，求解静态凸Hamilton-Jacobi方程的带预计算模板和单调节点接受的有序迎风方法，J.Sci。计算。，51（2012），第313-348页·兹比尔1256.65099
[4] Andrews，J.和Vladimirsky，A.，随机终止过程的确定性控制，接口自由边界。，16（2014），第1-40页·Zbl 1292.49027号
[5] Annunziato，M.，分段确定性马尔可夫过程的逆风方法分析，计算。方法应用。数学。，8（2008），第3-20页·Zbl 1148.65003号
[6] Bardi，M.和Capuzzo-Dolectta，I.，Hamilton-Jacobi-Bellman方程的最优控制和粘度解，Springer，纽约，2008年·Zbl 1134.49022号
[7] 巴迪，M.，法尔科内，M.和索拉维亚，P.，《通过粘性解进行追捕-扩张游戏的数值方法》，摘自《随机和微分游戏：理论和数值方法》（Stochastic and Differential games:Theory and Numerical methods），巴迪，M，拉格哈万，T.E.S.和帕塔萨拉西，T.编辑，伯克哈用户波士顿，马萨诸塞州，1999年，第105-175页，doi:10.1007/978-1-4612-1592-9_3·Zbl 1018.49027号
[8] Bašar，T.和Bernhard，P.，《H-无限最优控制和相关的Minimax设计问题：动态博弈方法》，Springer，纽约，2008年·Zbl 1130.93002号
[9] Beil，M.，Lück，S.，Fleischer，F.，Portet，S.、Arendt，W.和Schmidt，V.，通过分段确定的马尔可夫过程模拟角蛋白纤维网络的形成，J.Theoret。《生物学》，256（2009），第518-532页，doi:10.1016/j.jtbi.2008.09.044·Zbl 1400.92160号
[10] Benaím，m.和Lobry，C.，Lotka-Volterra，环境随机波动，或“如何在有利环境之间切换可以使生存更困难”，Ann。申请。概率。，26（2016），第3754-3785页·Zbl 1358.92075号
[11] Bielecki，T.和Kumar，P.，《不可靠制造系统零库存政策的优化》，Oper。研究，36（1988），第532-541页·Zbl 0652.90054号
[12] Boukas，E.K.、Haurie，A.和Michel，P.，《具有随机停止时间的最优控制问题》，J.Optim。理论应用。，64（1990年），第471-480页·Zbl 0681.93070号
[13] Cartee，E.和Vladimirsky，A.，《环境犯罪的控制理论模型》，SIAM J.Appl。数学。，80（2020），第1441-1466页，doi:10.1137/19M1270483·Zbl 1441.49033号
[14] Chacon，A.和Vladimirsky，A.，eikonal方程的快速两尺度方法，SIAM J.Sci。计算。，34（2012年），第A547-A578页·Zbl 1244.49047号
[15] Chiquet，J.、Limnios，N.和Eid，M.，应用于疲劳裂纹扩展建模的分段确定性马尔可夫过程，J.Statist。计划。推断，139（2009），第1657-1667页，doi:10.1016/j.jspi.2008.05.034·兹比尔1156.62071
[16] Chow，Y.、Tamar，A.、Mannor，S.和Pavone，M.，风险敏感和稳健决策：CVaR优化方法，《神经信息处理系统进展学报》，2015年，第1522-1530页。
[17] Costa，M.，捕食者群落的分段确定性模型，Ann.Appl。概率。，26（2016），第3491-3530页·Zbl 1358.92077号
[18] Crandall，M.G.和Majda，A.，标量守恒定律的单调差分近似，数学。公司。，34（1980），第1-21页·Zbl 0423.65052号
[19] Dassios，A.和Zhao，H.，《动态传染过程》，Adv.Appl。概率。，43（2011），第814-846页，doi:10.1239/aap/11316792671·Zbl 1230.60089号
[20] Davis，M.H.A.，《分段确定马尔可夫过程：一类非扩散随机模型》，J.R.Stat.Soc.Ser。B.统计方法。，46（1984），第353-376页，doi:10.1111/j.2517-6161.1984.tb01308.x·Zbl 0565.60070号
[21] Davis，M.H.A.和Farid，M.，《分段确定过程和粘度解决方案》，Birkhäuser Boston，波士顿，马萨诸塞州，1999年，第249-268页，doi:10.1007/9781-4612-1784-8_15·Zbl 0917.93071号
[22] Désilles，A.和Zidani，H.，使用Hamilton-Jacobi方法的多目标最优控制问题的Pareto前沿表征，SIAM J.控制优化。，57（2019），第3884-3910页，doi:10.1137/18M1176993·Zbl 1429.49003号
[23] Ermon，S.、Gomes，C.P.、Selman，B.和Vladimirsky，A.，《具有非线性效用函数和最坏情况保证的概率规划》，载于《第十一届自治代理和多代理系统国际会议论文集》，van der Hoek，W.、Padgham，L.、Conitzer，V.和Winikoff，M.编辑，计算机协会，2012年，第965-972页。
[24] Falcone，M.和Ferretti，R.，《线性方程和Hamilton-Jacobi方程的半拉格朗日近似方案》，SIAM，费城，2013年·Zbl 1335.65001号
[25] Fan，Y.和Nie，Y.，最大化行程时间可靠性的最佳路线，Netw。小争吵。经济。，6（2006），第333-344页，doi:10.1007/s11067-006-9287-6·Zbl 1128.90015号
[26] Fleming，W.H.和Soner，H.M.，受控马尔可夫过程和粘度解决方案，Springer，纽约，2006年·Zbl 1105.60005号
[27] Gee，M.和Vladimirsky，A.，随机故障下的最优路径规划，IEEE控制系统。莱特。，6（2022），第1658-1663页，doi:10.1109/LCSYS.2021.3130193。
[28] Goldstein，S.，《关于不连续运动的扩散和电报方程》，Quart。J.机械。申请。数学。，4（1951年），第129-156页·Zbl 0045.08102号
[29] Guigue，A.，用生存核逼近多目标最优控制问题的Pareto最优集，ESAIM控制优化。计算变量，20（2014），第95-115页·Zbl 1307.90159号
[30] Haurie，A.，分析可持续发展的多代博弈模型，Ann.Oper。Res.，137（2005），第369-386页·Zbl 1138.91348号
[31] Haurie，A.和Moresino，F.，《经济增长与环境灾害预防的随机控制模型》，Automatica J.IFAC，42（2006），第1417-1428页·兹比尔1108.93078
[32] Hening，A.和Strickler，E.，关于一个从不收敛到平衡点的具有随机切换的捕食者-食饵系统，SIAM J.Math。分析。，51（2019），第3625-3640页，doi:10.1137/18M1196042·Zbl 1423.92218号
[33] Hillen，T.和Othmer，H.G.，从速度跳跃过程导出的传输方程的扩散极限，SIAM J.Appl。数学。，61（2000），第751-775页·兹比尔1002.35120
[34] Kumar，A.和Vladimirsky，A.，《多目标最优控制和积分约束下最优控制的有效方法》，J.Compute。数学。，28（2010年），第517-551页·兹比尔1240.90345
[35] Li，D.，Liu，S.，and Cui，J.，具有马尔可夫转换的SIRS流行病模型的阈值动力学和遍历性，《微分方程》，263（2017），第8873-8915页，doi:10.1016/J.jde.2017.08.066·Zbl 1377.60070号
[36] Mirebeau，J.-M.，Finsler度量的高效快速行进，Numer。数学。，126（2014），第515-557页·Zbl 1297.65074号
[37] Olsder，G.和Suri，R.，《具有防故障机器的制造系统中零件路径的时间最优控制》，《第19届IEEE决策与控制会议论文集》，IEEE，1980年，第722-727页。
[38] Othmer，H.G.、Dunbar，S.R.和Alt，W.，《生物系统扩散模型》，J.Math。《生物学》，26（1988），第263-298页·Zbl 0713.92018号
[39] Rudnicki，R.和Tyran-Kaminska，M.，《生物模型中的分段确定性马尔可夫过程》，载于《算子半群理论与应用》，Banasiak，J.、Bobrowski，A.和Lachowicz，M.编辑，Springer，Cham，2015年，第235-255页·Zbl 1330.60095号
[40] Zeiser，S.、Franz，U.、Wittich，O.和Liebscher，V.，用分段确定性马尔可夫过程建模的遗传网络模拟，IET系统。生物学，2（2008），第113-135页，doi:10.1049/iet-syb:20070045。
[41] Samaranayake，S.、Blandin，S.和Bayen，A.，随机网络中可靠路由的一类易处理算法，Transp。研究第C部分，20（2012），第199-217页。
[42] Sethi，S.P.和Zhang，Q.，《随机制造系统中的层次决策》，施普林格，纽约，2012年·Zbl 0923.90002号
[43] Sethian，J.A.，《单调前进前沿的快速行进水平集方法》，Proc。国家。阿卡德。科学。美国，93（1996），第1591-1595页·Zbl 0852.65055号
[44] Sethian，J.A.和Vladimirsky，A.，静态Hamilton-Jacobi方程的有序迎风方法：理论和算法，SIAM J.Numer。分析。，41（2003），第325-363页·Zbl 1040.65088号
[45] Shen，Z.和Vladimirsky，A.，分段确定最优路径规划，未出版手稿，http://arxiv.org/abs/1512.08734, 2016.
[46] Shu，C.-W.，双曲守恒律的本质非振荡和加权本质非振荡格式，《非线性双曲方程的高级数值逼近》，Springer，纽约，1998年，第325-432页·兹伯利0927.65111
[47] Vermes，D.，分段确定性马尔可夫过程的最优控制，Stoch。国际遗嘱认证协会。斯托克。工艺。，14（1985），第165-207页·Zbl 0566.93074号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。