×
科琳娜·科尔特斯;梅赫里亚·莫赫里;阿什什·拉斯托吉;迈克尔·莱利

关于概率自动机相对熵的计算。 （英语） 兹比尔1169.68462

发现的国际期刊。计算。科学。 19，第1期，219-242（2008）.
摘要：我们对两个概率自动机的相对熵计算问题进行了详尽的分析。我们证明了计算无模糊概率自动机相对熵的问题可以表示为适当半环上的最短距离问题，并给出了在这种情况下计算它的有效精确和近似算法，并报告了实验结果，证明了我们的算法对超大加权自动机的实用性。我们还证明了任意概率自动机的相对熵的计算是PSPACE完全的。
相对熵用于各种机器学习算法和应用中，以测量两种分布的差异。我们检查了对称化相对熵在机器学习算法中的使用，并表明，与该领域的许多出版物所建议的相反，对称化相对熵值既不是正定对称的，也不是负定对称的。这限制了它在核方法中的使用和应用。特别是，当对称化的相对熵直接用作核或高斯核的指数操作数时，学习算法的训练收敛性无法保证。
最后，我们证明了我们的计算无模糊概率自动机熵的算法可以通过使用幺半态射推广到计算无模糊随机自动机的范数。特别是，这产生了计算概率自动机的L_p范数的有效算法。

引用于5文件

MSC公司：

65年第68季度 形式语言和自动机
2017年第68季度 问题的计算难度（下限、完备性、近似难度等）
68T05型 人工智能中的学习和自适应系统
第94页第17页 信息的度量，熵

关键词：

机器学习
PDF格式BibTeX公司 XML格式引用
\textit{C.Cortes}等人，国际期刊发现。计算。科学。19，第1号，219--242（2008；Zbl 1169.68462）
全文： 内政部

参考文献：

[1] 内政部：10.1007/978-1-4612-1128-0·doi:10.1007/978-1-4612-1128-0
[2] 内政部：10.1007/978-3-642-73235-5·数字对象标识代码：10.1007/978-3-642-73235-5
[3] 布鲁姆·斯蒂芬，迭代理论（1991）
[4] Carrasco Rafael C.，Informatique Théorique et Applications 31，第437页–
[5] Cormen Thomas H.，《算法导论》（1992）
[6] Cortes Corinna，国际计算机科学基础杂志
[7] 内政部：10.1002/0471200611·doi:10.1002/0471200611
[8] Csiszar Imre，《信息理论：离散无记忆系统的编码定理》（1997）
[9] 内政部：10.1007/978-3-642-59126-6_10·doi:10.1007/978-3-642-59126-6_10
[10] DOI:10.1017/CBO9780511790492·Zbl 0929.92010号 ·doi:10.1017/CBO9780511790492
[11] Eilenberg Samuel，《自动化，语言和机器》（1976）
[12] Garey Michael R.，《计算机与难治性》（1979）
[13] Golub G.H.，矩阵计算（1996）·Zbl 0865.65009号
[14] 内政部：10.1006/jmbi.1994.1104·doi:10.1006/jmbi.1994.1104
[15] 内政部：10.1007/978-3-642-69959-7·doi:10.1007/978-3-642-69959-7
[16] 内政部：10.1016/0304-3975（77）90056-1·Zbl 0358.68061号 ·doi:10.1016/0304-3975（77）90056-1
[17] 数字对象标识码：10.1007/s00530-006-0032-2·doi:10.1007/s00530-006-0032-2
[18] Mohri Mehryar，计算语言学23
[19] 内政部：10.1142/S0129054102000996·Zbl 1066.68070号 ·doi:10.1142/S0129054102000996
[20] Mohri Mehryar，自动化杂志，语言和组合数学7，第321页-
[21] DOI:10.1006/csla.2001.0184·doi:10.1006/csla.2001.0184
[22] Paz Azaria，概率自动机导论（1971）
[23] DOI:10.1016/S0019-9958（63）90290-0·Zbl 0182.33602号 ·doi:10.1016/S0019-9958（63）90290-0
[24] DOI:10.1016/S0022-0000（02）00009-0·Zbl 1059.68048号 ·doi:10.1016/S0022-0000（02）00009-0
[25] 内政部：10.1007/978-1-4612-6264-0·doi:10.1007/978-1-4612-6264-0
[26] DOI:10.1090/S0002-9947-1938-1501980-0·doi:10.1090/S0002-9947-1938-1501980-0
[27] Schölkopf Bernhard，与Kernels一起学习（2002）
[28] Yoram Singer和Manfred K.Warmuth，《神经信息处理系统进展》9（麻省理工学院出版社，1997年）第页。641
[29] 内政部：10.1109/18.850703·Zbl 1003.94010号 ·数字对象标识代码：10.1109/18.850703
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。