高石Isozaki 使用最小自由能原理学习因果贝叶斯网络。 （英语） Zbl 1333.68230号 新一代计算。 30，第1期，17-52（2012）. 摘要：基于约束的搜索方法是学习贝叶斯网络的主要方法，预计在因果发现任务中有效。然而，当样本量不够大时，这类方法往往存在经典假设检验条件独立性的不切实际性。我们提出了一种新的条件独立性（CI）检验方法，该方法旨在对小样本有效。我们的方法使用了源自热力学的最小自由能原理和我们最近提出的“数据温度”假设。该CI方法结合了最大熵原理，并在渐近区域收敛于经典假设检验。在我们使用存储库数据集（Alarm/Insurance/Hailfinder/Barley/Mildew）进行的实验中，结果表明，除了额外/缺失错误外，我们的方法还提高了众所周知的PC算法的学习性能。 MSC公司： 68T05年 人工智能中的学习和自适应系统 关键词：贝叶斯网络;因果发现;结构学习;条件独立性检验;最小自由能原理 软件：贝叶斯DA;TETRAD公司;冰雹探测器 PDF格式BibTeX公司 XML格式引用 \textit{T.Isozaki}，新一代计算。30、第1号、第17-52号（2012；Zbl 1333.68230） 全文： 内政部 参考文献： [1] Abramson B.，Brown J.，Winkler R.L.：“冰雹探测仪：预测恶劣天气的贝叶斯系统”，《国际预测杂志》，12，57–71（1996）·doi:10.1016/0169-2070（95）00664-8 [2] Akaike H.：“统计模型识别的新视角”，IEEE Trans。《自动控制》，19716-723（1974）·Zbl 0314.62039号 ·doi:10.1109/TAC.1974.1100705 [3] Basu A.，Harris I.R.，Hjort N.L.，Jones M.C.：“通过最小化密度幂差进行稳健有效的估计”，Biometrika，85549–559（1998）·Zbl 0926.62021号 ·doi:10.1093/biomet/85.3549 [4] Beinlich，I.、Suermondt，H.、Chavez，R.和Cooper，G.，《ALARM监控系统：信念网络两种概率推理技术的案例研究》。《欧洲医学人工智能会议》（AIME-89），第247-256页，1989年。 [5] Binder J.、Koller D.、Russell S.、Kanazawa K.：“带隐藏变量的自适应概率网络”，《机器学习》，第29期，第213-244页（1997年）·Zbl 0892.68079号 ·doi:10.1023/A:1007421730016 [6] Bouckaert，R.，“贝叶斯信念网络学习算法的特性”，摘自Proc。《人工智能不确定性会议》（UAI-94），第102–109页，1994年。 [7] Buntine，W.，《贝叶斯网络的理论精化》。《人工智能不确定性会议》（UAI-91），第52–61页，1991年。 [8] Callen，H.B.，《热力学与热力学导论》，John Wiley&；Sons，Hoboken，NJ，第二版，1985年·Zbl 0989.80500号 [9] Cheng J.，Greiner R.，Kelly J.，Bell D.，Liu W.：“从数据中学习贝叶斯网络：基于信息理论的方法”，《人工智能》，137（1-2），43–90（2002）·Zbl 0995.68114号 ·doi:10.1016/S0004-3702（02）00191-1 [10] Cooper G.，Herskovits E.：“从数据中归纳概率网络的贝叶斯方法，机器学习，9309–347（1992）·Zbl 0766.68109号 [11] Cover，T.M.和Thomas，J.A.，《信息理论的要素》，John Wiley&；Sons，Hoboken，NJ，第二版，2006年·兹比尔1140.94001 [12] Dash，D.和Druzdzel，M.J.，《因果结构基于约束学习的稳健独立性测试》。人工智能不确定性会议（UAI-03），第167-174页，2003年。 [13] Friedman N.：“使用概率图形模型推断蜂窝网络”，《科学》，303（5659），799-805（2004）·doi:10.1126/science.1094068 [14] Friedman N.，Geiger D.，Goldszmidt M.：“贝叶斯网络分类器”，机器学习，29（2-3），131-163（1997）·Zbl 0892.68077号 ·doi:10.1023/A:1007465528199 [15] Friedman，N.和Goldszmidt，M.，《学习具有本地结构的贝叶斯网络》。人工智能不确定性会议（UAI-96），第252-262页，1996年·Zbl 0910.68176号 [16] Geiger，D.和Pearl，J.，“条件独立性和定性独立性的逻辑和算法性质”，加州大学洛杉矶分校认知系统实验室技术报告R-97，1988年·Zbl 0814.62006号 [17] Gelman，A.、Carlin，J.B.、Stern，H.S.和Rubin，D.B.，《贝叶斯数据分析》，Chapman&；霍尔/CRC，佛罗里达州博卡拉顿，第二版，2004年·Zbl 1039.62018号 [18] Heckerman D.，Geiger D.，Chickering D.：“学习贝叶斯网络：知识和统计数据的结合”，机器学习，20197-243（1995）·Zbl 0831.68096号 [19] Hofmann，T.，《概率潜在语义分析》。《人工智能不确定性会议》（UAI-99），第289-296页，1999年。 [20] Horvitz，E.，Breese，J.，Heckerman，D.，Horvel，D.和Rommelse，K.，“lumiere项目：用于推断软件用户目标和需求的贝叶斯用户建模”，Proc。《人工智能的不确定性》（UAI-98），第256–265页，1998年。 [21] Isozaki T.，Kato N.，Ueno M.：贝叶斯网络参数学习的最小自由能中的“数据温度”，《国际人工智能工具杂志》，18（5），653-671（2009）·Zbl 05742360号 ·doi:10.1142/S0218213009000342 [22] Isozaki，T.和Ueno，M.，《基于约束学习贝叶斯网络的最小自由能原则》。欧洲机器学习与数据库知识发现原理与实践会议（ECML PKDD 2009），第1部分，LNAI 5781，第612-627页，2009年。 [23] Jaynes E.T.：“信息理论和统计力学”，《物理评论》，106（4），620-630（1957）·Zbl 0084.43701号 ·doi:10.1103/PhysRev.106.620 [24] Jensen A.和Jensen F.，“管理冬小麦霉变的Midasan影响图”，见Proc。《人工智能不确定性会议》（UAI-96），第349-356页，1996年。 [25] Kojima K.，Perrier E.，Imoto S.，Miyano S.：“学习贝叶斯网络结构的聚类结构约束优化搜索”，《机器学习研究杂志》，11，285–310（2010）·Zbl 1242.68231号 [26] Kristensen K.，Rasmussen I.A.：“贝叶斯网络在不使用杀虫剂种植麦芽大麦的决策支持系统设计中的应用”，《农业中的计算机和电子》，33，197-217（2002）·doi:10.1016/S0168-1699（02）00007-8 [27] Kullback S.：信息理论与统计，。多佛出版公司，纽约州米诺拉（1968）·Zbl 0149.37901号 [28] Lam W.，Bacchus F.：“学习贝叶斯信念网络：基于MDL原则的方法”，计算智能，10269–293（1994）·文件编号：10.1111/j.1467-8640.1994.tb00166.x [29] LeCun，Y.和Huang，F.J.，《基于能量模型的区分训练的损失函数》。人工智能和统计国际研讨会（AISTATS-05），第206-213页，2005年。 [30] Lehmann，E.L.，《检验统计假设》，John Wiley&；《儿子》，第二版，1986年·Zbl 0608.62020 [31] Meek，C.，“背景知识的因果推理和因果解释”，摘自Proc。人工智能不确定性会议（UAI-95），第403-410页，1995年。 [32] 那不勒斯R.E.：学习贝叶斯网络，。新泽西州上鞍河普伦蒂斯·霍尔（2004） [33] Pearl J.：智能系统中的概率推理。Morgan Kaufmann，加利福尼亚州圣马特奥市（1988年）·Zbl 0746.68089号 [34] Pearl J.：因果关系、模型、推理和推论。剑桥大学出版社，纽约州纽约市（2000年）·Zbl 0959.68116号 [35] Pearl J.，Geiger D.，Verma T.：“影响图的逻辑”，《Kybernetica》，25（2），33–44（1989） [36] Pereira，F.、Tishby，N.和Lee，L.，《英语单词的分布聚类》。计算语言学协会年会（ACL-93），第183-190页，1993年。 [37] Perrier E.、Imoto S.、Miyano S.：“在超结构下寻找最优贝叶斯网络”，《机器学习研究杂志》，9，2251–2286（2008）·Zbl 1225.68206号 [38] Ramsey，J.，Spirtes，P.和Zhang，J.，“邻接忠实性和保守因果推理”，载于Proc。人工智能不确定性会议（UAI-06），第401-408页，2006年。 [39] Rebane，G.和Pearl，J.，“从统计数据中恢复因果多树”，《人工智能不确定性研讨会》（UAI-87），第222-228页，1987年。 [40] Reichenbach，H.，《时间的方向》，多佛出版社（加州大学伯克利分校出版社出版的作品的再版），纽约州米诺拉，1956年。 [41] Rissanen J.：《用最短数据描述建模》，Automatica，1465–471（1978）·Zbl 0418.93079号 ·doi:10.1016/0005-1098（78）90005-5 [42] Rissanen J.：“最优估计”，IEEE信息理论学会通讯，69（3），1-2（2009）·Zbl 1348.68201号 [43] Robert，C.P.，《贝叶斯选择：从决策理论基础到计算实现》，Springer Verlag，纽约，纽约，2007年第二版·Zbl 1129.62003号 [44] Schwarz G.：“估算模型的维度”，《统计年鉴》，第6461–464页（1978年）·Zbl 0379.62005年 ·doi:10.1214/aos/1176344136 [45] Silander，T.、Kontkane，P.和Myllymaki，P.，《关于映射贝叶斯网络结构对等效样本大小参数的敏感性》。人工智能不确定性会议（UAI-07），第360–367页，2007年。 [46] Spirtes P.，Glymour C.：“稀疏因果图的快速恢复算法”，《社会科学计算机评论》，9（1），62–72（1991）·doi:10.1177/08944393910900106 [47] Spirtes，P.、Glymour，C.和Scheines，R.，“概率因果关系”，《自然和行为科学中的进化知识》（Tiles，J.、McKee，G.和Dean，G.编辑），皮特曼出版社，伦敦，1990年。 [48] Spites，P.、Glymour，C.和Scheines，R.，因果关系、预测和搜索，麻省理工学院出版社，马萨诸塞州剑桥，第二版，2000年·兹比尔0806.62001 [49] Steck，H.，《学习贝叶斯网络结构：Dirichlet先验与数据》，Proc。人工智能不确定性会议（UAI-08），第511-518页，2008年。 [50] Suzuki，J.，《基于MDL原理从数据库构建贝叶斯网络》。人工智能不确定性会议（UAI-93），第266-273页，1993年。 [51] Tsamardinos I.，Brown L.E.，Aliferis C.F.：“最大爬山贝叶斯网络结构学习算法”，机器学习，65（1），31–78（2006）·Zbl 1470.68192号 ·doi:10.1007/s10994-006-6889-7 [52] Verma，T.和Pearl，J.，《因果模型的等效性和综合》。《人工智能不确定性会议》（UAI-90），第220-227页，1990年。 [53] Verma，T.和Pearl，J.，《决定一组观察到的独立性是否有因果解释的算法》。《人工智能不确定性会议》（UAI-92），第323–330页，1992年。 [54] 渡边K.，Shiga M.，渡边S.：“贝叶斯网络变分自由能的上限”，机器学习，75（2），199-215（2009）·Zbl 1470.68194号 ·doi:10.1007/s10994-008-5099-x [55] Yang S.，Chang K.C.：“贝叶斯网络学习得分指标的比较”，IEEE Trans。《系统、人与控制论A部分：系统与人》，32（3），419–428（2002）·doi:10.1109/TSMCA.2002.803772 [56] Yedidia J.S.、Freeman W.T.、Weiss Y.：“构建自由能量近似和广义置信传播算法”，IEEE Trans。信息理论，51（7），2282–2312（2005）·Zbl 1283.94023号 ·doi:10.1109/TIT.2005.850085 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。