×

受控马尔可夫过程和粘度解。 (英语) Zbl 0773.60070号

数学应用. 25. 纽约:Springer-Verlag。xv,428页(1993年)。
本书的目的是从动态规划的角度,对连续时间马尔可夫过程的最优随机控制以及粘性解理论进行合理的自足介绍。特别关注受控马尔可夫扩散过程,其动态规划方程成为一个二阶非线性偏微分方程,称为哈密尔顿-雅可比-贝尔曼(HJB)方程。通常,该值函数不够光滑,无法满足经典意义上的HJB方程,但它是在相当一般的假设下的唯一粘度解。因此,粘度解理论为研究控制问题提供了强有力的方法。这本书的一个特点是在粘度解决方案框架中介绍了控制问题,这是第一次以书的形式详细介绍,作者在这一领域的发展中发挥了关键作用。
这本书由九章和一个附录组成。第一部分(第1-2章)介绍了确定性最优控制及其相应的粘度解。主要主题是(1)确定性控制问题的动态规划方法以及与Pontryagin原理的联系,(2)变分法和(3)一阶非线性偏微分方程的粘性解。
第二部分(第3-5章)讨论随机情况。第三章介绍了受控马尔可夫过程的抽象动态规划。这里,使用半群的无穷小生成器描述动态规划方程。第四章讨论了由随机微分方程控制的扩散过程。利用概率参数给出了值函数的一些正则性。第五章研究二阶非线性微分方程的粘性解。详细证明了比较结果。这里的值函数是根据动态规划原理得到的HJB方程的唯一粘度解。对于对粘度溶液感兴趣但对控制理论不感兴趣的读者来说,本章和第2章可能会很有趣。
第三部分(第6-9章)由四个主题组成。第6章(对数变换)和第7章(奇异摄动)用随机控制方法处理渐近问题。第8章介绍奇异随机控制,第9章介绍近似求解HJB方程的数值方法。每一章都包含历史评论。
附录包括五个主题:(A)二元关系;(B) 马尔可夫链参数随机演化的Dynkin公式;(C) Lipschitz连续函数的推广,光滑化;(D) 随机微分方程:随机系数;(E) 亚历山德罗夫的结果。
对于研究控制问题和粘度解理论的数学家和工程师来说,这本书可能很有趣。

MSC公司:

60J25型 一般状态空间上的连续时间Markov过程
60-02 概率论相关研究综述(专著、调查文章)
93年20日 最优随机控制
PDF格式BibTeX公司 XML格式引用