马丁·塔普勒;伯恩哈德·艾切尼格（Bernhard K.Aichernig）。;乔瓦尼·巴奇;玛丽亚·艾希塞德;Larsen，Kim G。 \基于（L^\ast）的马尔可夫决策过程学习（扩展版本）。 （英语） Zbl 1519.68106号 正式Asp。计算。 33，编号4-5，575-615（2021）. 引用于6文件 MSC公司： 68问题32 计算学习理论 65年第68季度 形式语言和自动机 90立方厘米 马尔可夫和半马尔可夫决策过程 关键词：模型推理;主动自动机学习;马尔可夫决策过程 软件：N模型;比西姆区;探查-黑线;棱镜 PDF格式BibTeX公司 XML格式引用 \textit｛M.Tappler｝等人，正式Asp。计算。33，编号4--5，575--615（2021；Zbl 1519.68106） 全文： 内政部 arXiv公司 OA许可证 参考文献： [1] Aspnes，J。；Herlihy，M.，使用共享内存的快速随机共识，J算法，11，3，441-461（1990）·Zbl 0705.68016号 ·doi:10.1016/0196-6774（90）90021-6 [2] Aichernig，BK；Mostowski，W。；穆萨维，MR；Tappler，M。；塔罗米拉德，M。；Bennaceur，A。；Hähnle，R。；Meinke，K.，《模型学习和基于模型的测试》，《动态软件分析的机器学习：潜力和局限——16172国际达格斯图尔研讨会》，德国达格斯图城堡，2016年4月24日至27日，修订论文，74-100（2018），斯普林格 [3] Angluin，D.，从查询和反例中学习正则集，Inf Compute，75，2，87-106（1987）·Zbl 0636.68112号 ·doi:10.1016/0890-5401（87）90052-6 [4] Aichernig BK，Tappler M（2017）《从错误中学习：主动自动机学习中的突变测试》。收件人：Barrett C，Davies M，Kahsai T（eds）NASA正式方法第九届国际研讨会，NFM 2017，Moffett Field，CA，USA，2017年5月16日至18日，会议记录，计算机科学讲稿第10227卷，第19-34页·Zbl 1468.68117号 [5] Aichernig，BK；Tappler，M。；拉希里，斯洛伐克；Reger，G.，概率黑盒可达性检查，运行时验证-第17届国际会议，RV 2017，西雅图，华盛顿州，美国，2017年9月13日至16日，会议记录（2017），Springer [6] Aichernig Bernhard，K。；Martin，T.，通过变异测试实现高效主动自动机学习，J Autom Reason，63，4，1103-1134（2019）·Zbl 1468.68117号 ·doi:10.1007/s10817-018-9486-0 [7] Aichernig BK，Tappler M（2019）概率黑盒可达性检查（扩展版）。表单方法系统设计·Zbl 1425.68247号 [8] Bacci G、Bacci G、Guldstrand LK、Mardare R.MDPDist库。http://people.cs.aau.dk/giovbacci/tools/bisimdist.zip。2019年11月4日访问 [9] Bacci G、Bacci G、Larsen KG、Mardare R（2013）《BisimDist库：马尔科夫模型双相似距离的有效计算》。收录人：Joshi KR、Siegle M、Stoelinga M、D'Argenio PR（eds）《系统定量评估——第十届国际会议》，QEST 2013，阿根廷布宜诺斯艾利斯，2013年8月27日至30日。计算机科学课程记录第8054卷。施普林格，第278-281页·Zbl 1381.68218号 [10] Bacci G、Bacci G、Larsen KG、Mardare R（2013）《计算行为距离，成分上》。摘自：Chatterjee K，Sgall J（eds）2013年8月26日至30日在奥地利克洛斯特内堡举行的2013年第38届国际计算机科学数学基础研讨会，MFCS 2013。计算机科学课程记录第8087卷。施普林格，第74-85页·Zbl 1400.68144号 [11] 拜尔，C。；Katoen，JP，《模型检验原理》（2008），剑桥：麻省理工学院出版社，剑桥·兹比尔1179.68076 [12] 贝加达诺，F。；Varricchio，S.，从多重性和等价性查询中学习自动机的行为，SIAM J Compute，25，6，1268-1280（1996）·Zbl 0864.68063号 ·doi:10.137/S009753979326091X [13] 卡斯特罗，J。；加瓦尔达，R。；海因茨，J。；Sempere，JM，有限状态机生成的学习概率分布，语法推理主题，113-142（2016），柏林：Springer，柏林·Zbl 1404.68057号 ·doi:10.1007/978-3-662-48395-45 [14] 卡塞尔，S。；霍华德，F。；Jonsson，B。；Steffen，B.，扩展有限状态机的主动学习，形式方面计算，28，2，233-263（2016）·Zbl 1342.68174号 ·doi:10.1007/s00165-016-0355-5 [15] Chow，TS，用有限状态机建模的测试软件设计，IEEE Trans software Eng，4，3，178-187（1978）·Zbl 0379.68039号 ·doi:10.1109/TSE.1978.231496 [16] Chen Y，Nielsen TD（2012）系统验证马尔可夫决策过程的主动学习。2012年12月12日至15日，在美国佛罗里达州博卡拉顿举行的第十一届机器学习和应用国际会议上。第2卷。IEEE，第289-294页 [17] Carrasco RC，Oncina J（1994）通过状态合并方法学习随机正则文法。收录于：Carrasco RC，Oncina J（eds）《语法推理与应用》，第二届国际学术讨论会，ICGI-94，西班牙阿利坎特，1994年9月21日至23日。计算机科学课程记录第862卷。施普林格，第139-152页 [18] RC卡拉斯科；Oncina，J.，从多项式时间的随机样本中学习确定性规则文法，Theor Inf Appl，33，1，1-20（1999）·Zbl 0940.68071号 ·doi:10.1051/ita:199102 [19] de la Higuera，C.，《语法推理：学习自动机和语法》（2010），纽约：剑桥大学出版社，纽约·Zbl 1227.68112号 ·文件编号：10.1017/CBO9781139194655 [20] Feng L，Han T，Kwiatkowska MZ，Parker D（2011），同步概率系统基于学习的成分验证。In:Bultan T，Hsiung P-A（eds）《用于验证和分析的自动化技术》，第九届国际研讨会，2011年10月11日至14日，台湾台北，ATVA 2011。计算机科学课程记录第6996卷。施普林格，第511-521页·Zbl 1348.68135号 [21] Forejt V，Kwiatkowska MZ，Norman G，Parker D（2011）概率系统的自动验证技术。收录于：Bernardo M，Issarny V（eds）《永恒网络软件系统的形式化方法——第11所计算机、通信和软件系统设计形式化方法国际学校》，2011年SFM，意大利贝蒂诺罗，2011年6月13日至18日。高级讲座，计算机科学讲座笔记第6659卷。施普林格，第53-113页·Zbl 1216.68021号 [22] C Ghezzi等人（2014）从用户密集型web应用程序中挖掘行为模型。收件人：Jalote P、Briand LC、van der Hoek A（eds）第36届软件工程国际会议，ICSE’14，印度海得拉巴，2014年5月31日至6月7日。ACM，第277-287页 [23] Hungar H，Niese O，Steffen B（2003）自动机学习中的领域特定优化。In:Hunt Jr.WA，Somenzi F（eds）Computer aided verification，第15届国际会议，CAV 2003，Boulder，CO，USA，2003年7月8日至12日。计算机科学课程记录第2725卷。施普林格，第315-327页·Zbl 1278.68177号 [24] Hoeffing，W.，有界随机变量和的概率不等式，J Am Stat Assoc，58，301，13-30（1963）·Zbl 0127.10602号 ·doi:10.1080/01621459.1963.10500830 [25] 霍华德，F。；斯特芬，B。；Bennaceur，A。；Hähnle，R。；Meinke，K.，《实践中的主动自动机学习——2011年至2016年的注释书目》，《用于动态软件分析的机器学习：潜力和局限——16172国际达格斯图尔研讨会》，德国达格斯图城堡，2016年4月24日至27日，修订论文，123-148（2018），斯普林格 [26] Isberner M、Howar F、Steffen B（2014）TTT算法：主动自动机学习的无冗余方法。In:Bonakdarpour B，Smolka SA（eds）Runtime verification-第五届国际会议，RV 2014，多伦多，安大略省，加拿大，2014年9月22-25日。计算机科学课程记录第8734卷。施普林格，第307-322页 [27] MJ Kearns，《从统计查询中高效地进行噪声容忍学习》，J ACM，45，6，983-1006（1998）·Zbl 1065.68605号 ·数字对象标识代码：10.1145/293347.293351 [28] Kwiatkowska Marta，Z。；Gethin，N。；David，P.，《PRISM中的八卦协议分析》，SIGMETRICS Perform Eval Rev，36，3，17-22（2008）·数字对象标识代码：10.1145/1481506.1481511 [29] Kwiatkowska MZ，Norman G，Parker D（2011）PRISM 4.0：概率实时系统验证。收录于：Gopalakrishnan G，Qadeer S（编辑）计算机辅助验证第23届国际会议，2011年7月14日至20日，CAV 2011，美国犹他州雪鸟。计算机科学课程记录第6806卷。施普林格，第585-591页 [30] Kwiatkowska MZ，Parker D（2013）概率系统的自动验证和策略合成。收件人：Van Hung D，Ogawa M（eds）Automated technology for verification and analysis，第11届国际研讨会，2013年10月15日至18日，越南河内。计算机科学课堂讲稿第8172卷论文集。施普林格，第5-22页·兹比尔1410.68233 [31] Komuravelli A、Pasareanu CS、Clarke EM（2012），从树样本中学习概率系统。摘自：2012年6月25日至28日，克罗地亚杜布罗夫尼克，2012年LICS，IEEE第27届计算机科学逻辑研讨会论文集。IEEE计算机学会，第441-450页·Zbl 1362.68122号 [32] Khalili A，Taccella A（2014）学习非确定性粉饼机。收录人：Clark A、Kanazawa M、Yoshinaka R（eds）《第十二届语法推理国际会议论文集》，ICGI 2014，日本京都，2014年9月17日至19日，JMLR研讨会和会议论文集第34卷。JMLR.org，第109-123页 [33] Mao H，Chen Y，Jaeger M，Nielsen TD，Larsen KG，Nielson B（2011）学习概率自动机进行模型检查。2011年9月5日至8日在德国亚琛举行的QEST 2011第八届系统定量评估国际会议。IEEE计算机学会，第111-120页·兹比尔1454.68061 [34] Mao H，Chen Y，Jaeger M，Nielsen TD，Larsen KG，Nielsen B（2012）模型检验的学习马尔可夫决策过程。In:Fahrenberg U，Legay A，Thrane CR（eds）Proceedings quantities In formal methods，QFM 2012，Paris，France，2012年8月28日，EPTCS第103卷，第49-63页 [35] 毛，H。；陈，Y。；Jaeger，M。；尼尔森，TD；Larsen，KG，从模型检查的角度学习确定性概率自动机，Mach Learn，105，2，255-299（2016）·Zbl 1454.68061号 ·doi:10.1007/s10994-016-55565-9 [36] Margaria T，Niese O，Raffelt H，Steffen B（2004）传统反应式系统的高效基于测试的模型生成。2004年11月10日至12日，美国加利福尼亚州索诺玛谷，第九届IEEE国际高水平设计验证和测试研讨会。IEEE计算机学会，第95-100页 [37] Nerode，A.，《线性自动机变换》，《Proc Am Math Soc》，9，4，541-544（1958）·Zbl 0089.33403号 ·doi:10.1090/S0002-9939-1958-0135681-9 [38] Nouri A、Raman B、Bozga M、Legay A、Bensalem S（2014）通过抽象和学习实现更快的统计模型检查。In:Bonakdarpour B，Smolka SA（eds）运行时验证第五届国际会议，RV 2014，多伦多，安大略省，加拿大，2014年9月22-25日。计算机科学课程记录第8734卷。施普林格，pp 340-355 [39] 诺曼，G。；Shmatikov，V.，《概率合同签订分析》，《计算机安全杂志》，第14、6、561-589页（2006年）·doi:10.3233/JCS-2006-14604 [40] Pferscher A，Aichernig BK（2020）学习抽象的非确定性有限状态机。In:Casola V，De Benedictis A，Rak M（eds）Testing Software and Systems-32届IFIP WG 6.1国际会议，ICTSS 2020，意大利那不勒斯，2020年12月9日至11日。计算机科学课程记录第12543卷。施普林格，第52-69页 [41] Puterman ML（1994）Markov决策过程：离散随机动态规划。概率统计中的威利级数。威利·Zbl 0829.90134号 [42] 铆钉，RL；Schapire，RE，使用归位序列推断有限自动机，Inf Compute，103，2，299-347（1993）·Zbl 0786.68082号 ·doi:10.1006/inco.1993.1021 [43] Sokolova，A。；德文克，EP；拜尔，C。；哈维尔科特，BR；Hermanns，H。；卡托恩，J-P；Siegle，M.，概率自动机：系统类型，并行组合和比较，随机系统的验证——当前研究指南，1-43（2004），Springer·Zbl 1203.68089号 ·doi:10.1007/978-3-540-24611-4_1 [44] Shahbaz M，Groz R（2009）《推理粉状机器》。在：Cavalcanti A，Dams D（eds）FM 2009：正式方法，第二届世界大会，荷兰埃因霍温，2009年11月2-6日。计算机科学课程记录第5850卷。施普林格，第207-222页·Zbl 1175.68007号 [45] Steffen B，Howar F，Merten M（2011）从实践角度介绍主动自动机学习。收录于：Bernardo M，Issarny V（eds）《永恒网络软件系统的形式化方法——第11所计算机、通信和软件系统设计形式化方法国际学校》，2011年SFM，意大利贝蒂诺罗，2011年6月13日至18日。高级讲座，计算机科学讲座笔记第6659卷。施普林格，第256-296页·Zbl 1216.68021号 [46] 塞加拉，R。；Lynch，N.，概率过程的概率模拟，Nord J Compute，2，2，250-273（1995）·Zbl 0839.68067号 [47] Stoelinga，M.，《概率自动机导论》，布尔。EATCS，78，176-198（2002）·Zbl 1169.68494号 [48] Tappler M、Aichernig BK、Bloem R（2017）通过主动自动机学习进行基于模型的物联网通信测试。参加：2017年IEEE软件测试、验证和确认国际会议，2017年3月13日至17日，日本东京，ICST 2017。IEEE计算机学会，第276-287页 [49] Tappler M，Aichernig BK，Bacci G，Eichseder M，Larsen KG\（2019）{L}^*\基于马尔可夫决策过程的学习。收录：ter Beek MH、McIver A、Oliveira JN（eds）《正式方法——未来30年——第三届世界大会》，2019年10月7日至11日，葡萄牙波尔图，FM 2019。计算机科学课程记录，第11800卷。施普林格，第651-669页 [50] Tappler M（2019）《存在时间和随机行为的网络环境中基于学习的测试》。格拉茨科技大学博士论文 [51] Tappler M（2020）基于马尔可夫决策过程学习的评估材料。doi:10.6084/m9。图7960928.v2。2020年3月6日访问，更新为扩展版本 [52] Tretmans，J.，具有输入、输出和重复静止的测试生成，Softw Concepts Tools，17，3，103-120（1996）·Zbl 0858.68061号 [53] Tretman，J。；Hierons，RM；鲍文，JP；Harman，M.，带标记转换系统的基于模型的测试，形式化方法和测试，FORTEST网络的结果，修订论文集，1-38（2008），Springer·doi:10.1007/978-3-540-78917-8_1 [54] Wen-Guey，T.，通过查询学习概率自动机和马尔可夫链，《马赫学习》，8151-166（1992）·Zbl 0749.68076号 [55] Vaandrager Frits，W.，《模型学习》，Commun ACM，60，2，86-95（2017）·数字对象标识代码：10.1145/2967606 [56] Valiant，LG，可学习理论，Commun ACM，27，11，1134-1142（1984）·Zbl 0587.68077号 ·doi:10.145/1968.1972 [57] Volpato M，Tretmans J（2015）非确定性输入输出转换系统的近似主动学习。ECEASST，72岁 [58] 威廉姆斯，TAC；Brim，L。；哈维尔科特，BR；Leucker，M。；van de Pol，J.，基于ioco-based test-based modeling的启发式，形式方法：应用和技术，第11次国际研讨会，FMICS 2006和第5次国际研讨会pdmc 2006，德国波恩，2006年8月26日至27日和8月31日，修订论文集，132-147（2006），斯普林格 [59] 王杰，孙杰，秦S（2016）通过学习、抽象和精化对复杂系统进行概率验证。CoRR，abs/1610.06371 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。