×
普雷塔姆·南迪;阿兰·豪泽;马洛斯·马托伊斯。

基于分数和混合结构学习中的高维一致性。 （英语） Zbl 1411.62144号

Ann.统计。 46，编号6A，3151-3183（2018）.
贝叶斯网络的主要学习方法可以分为基于约束的方法、基于分数的方法或混合方法。基于约束的方法，如PC算法及其变体，是高维方法中最常用的应用方法。之所以如此流行，是因为基于分数的方法和混合方法在高维设置中缺乏一致性结果，和/或它们不能很好地扩展到大型图形。在本文中，作者提出了一种流行的基于分数的贪婪等价搜索（GES）的高维一致性方法。此外，他们提出了基于GES的新的混合算法，这些算法在几个稀疏高维设置中是一致的，并且能够很好地扩展到大型稀疏图。特别是，作者表明，基于GES的混合算法的一致性可以通过对搜索空间施加限制来实现，该限制根据算法的当前状态而变化。这种新方法称为自适应贪婪等价搜索（ARGES）。GES和ARGES的一致性在几个稀疏的高维设置中得到了证明（多元高斯、具有亚高斯误差变量的线性结构方程模型、非paranormal设置）。一项仿真研究表明，GES和ARGES通常都优于PC算法。值得一提的是，所有证明和额外的模拟结果都可以在补充材料中找到，而ARGES的实现可以在R包pcalg中找到。
审核人：阿波斯托洛斯·巴西迪斯（约阿尼纳）

引用于19文件

MSC公司：

62甲12 多元分析中的估计
68T05年 人工智能中的学习和自适应系统

关键词：

贝叶斯网络;有向无环图;高维的;一致性

软件：

巨大的;电子静态学习;TETRAD公司;PenPC公司;玻璃制品;R（右）;bn学习;pcalg公司;格尔姆奈特
PDF格式BibTeX公司 XML格式引用
\textit{P.Nandy}等人，Ann.Stat.46，No.6A，3151-3183（2018；Zbl 1411.62144）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Alonso-Barba，J.I.、delaOssa，L.、Gámez，J.A.和Puerta，J.M.（2013）。通过限制等价类的搜索空间，扩大了贪婪等价搜索算法的规模。国际。J.近似推理54 429–451·Zbl 1264.68123号 ·doi:10.1016/j.ijar.2012.09.004
[2] Anandkumar，A.、Tan，V.Y.F.、Huang，F.和Willsky，A.S.（2012年）。高维高斯图形模型选择：行走可和性和局部分离准则。J.马赫。学习。第13号决议2293–2337·Zbl 1433.68322号
[3] Andersson，S.A.、Madigan，D.和Perlman，M.D.（1997年）。非循环有向图的马尔可夫等价类的一个刻画。《统计年鉴》25 505–541·Zbl 0876.60095号 ·doi:10.1214/aos/1031833662
[4] Banerjee，O.、El Ghaoui，L.和d'Aspremont，A.（2008）。通过多元高斯或二进制数据的稀疏最大似然估计进行模型选择。J.马赫。学习。第9号决议485–516·Zbl 1225.68149号
[5] Cai，T.、Liu，W.和Luo，X.（2011）。受约束的\(ℓ_{1} \）稀疏精度矩阵估计的最小化方法。J.Amer。统计师。协会106 594–607·Zbl 1232.62087号
[6] Chen，J.和Chen，Z.（2008）。大模型空间模型选择的扩展贝叶斯信息准则。生物特征95 759–771·Zbl 1437.62415号 ·doi:10.1093/biomet/asn034
[7] Chickering，D.M.（2002）。学习贝叶斯网络结构的等价类。J.马赫。学习。第2445-498号决议·Zbl 1007.68179号
[8] Chickering，D.M.（2003）。贪婪搜索下的最优结构识别。J.马赫。学习。第3 507–554号决议·Zbl 1084.68519号
[9] Chickering，D.M.和Meek，C.（2002年）。寻找最优贝叶斯网络。2002年UAI。
[10] Chickering，D.M.和Meek，C.（2015年）。选择性贪婪等价搜索：使用分数评估的多项式数找到最佳贝叶斯网络。2015年UAI。
[11] Chow，C.和Liu，C.（1968年）。用依赖树逼近离散概率分布。IEEE传输。通知。Theory14 462–467·Zbl 0165.22305号 ·doi:10.1109/TIT.1968.1054142
[12] Colombo，D.和Maathuis，M.H.（2014）。基于顺序独立约束的因果结构学习。J.马赫。学习。第15号决议3741–3782·Zbl 1312.68165号
[13] de Campos，L.M.（1998）。单连通网络的独立关系和学习算法。J.实验理论。Artif公司。智能10 511–549·Zbl 1049.68621号 ·doi:10.1080/095281398146743
[14] Doran，G.、Muandet，K.、Zhang，K.和Schölkopf，B.（2014）。基于置换的内核条件独立性测试。2014年UAI。
[15] Fawcett，T.（2006）。ROC分析简介。模式识别。电话：27 861–874。
[16] Foygel，R.和Drton，M.（2010年）。高斯图形模型的扩展贝叶斯信息准则。在NIPS 2010中。
[17] Friedman，J.、Hastie，T.和Tibshirani，R.（2008）。用图形套索进行稀疏逆协方差估计。生物统计9 432–441·兹比尔1143.62076 ·doi:10.1093/biostatistics/kxm045
[18] Friedman，J.、Hastie，T.和Tibshirani，R.（2010）。广义线性模型通过坐标下降的正则化路径。J.Stat.Softw.33 1–22。
[19] Gao，B.和Cui，Y.（2015）。利用遗传基因组学数据学习定向非循环图形结构。生物信息学31 3953–3960。
[20] Ha，M.J.、Sun，W.和Xie，J.（2016）。PenPC：估计高维有向非循环图骨架的两步方法。生物统计学72 146–155·兹比尔1393.62065 ·doi:10.1111/biom.12415
[21] Harris，N.和Drton，M.（2013）。非规范图形模型的PC算法。J.马赫。学习。第14号决议3365–3383·Zbl 1318.62197号
[22] Hastie，T.、Tibshirani，R.和Friedman，J.（2009）。《统计学习的要素：数据挖掘、推断和预测》，第二版，纽约斯普林格出版社·Zbl 1273.62005年
[23] Hauser，A.和Bühlmann，P.（2012）。有向无环图的介入马尔可夫等价类的刻画和贪婪学习。J.马赫。学习。第13号决议2409–2464·Zbl 1433.68346号
[24] Huete，J.F.和de Campos，L.M.（1993）。学习因果多元树。在ECSQARU 1993。
[25] Kalisch，M.和Bühlmann，P.（2007）。用PC-算法估计高维有向非循环图。J.马赫。学习。第8 613–636号决议·Zbl 1222.68229号
[26] Kalisch，M.、Mächler，M.，Colombo，D.、Maathuis，M.和Bühlmann，P.（2012年）。使用带有R包pcalg的图形模型进行因果推断。J.Stat.Softw.47 1–26。
[27] Koller，D.和Friedman，N.（2009年）。概率图形模型：原理和技术。麻省理工学院出版社，马萨诸塞州剑桥·Zbl 1183.68483号
[28] Le，T.D.、Liu，L.、Tsykin，A.、Goodall，G.J.、Liu，B.、Sun，B.-Y和Li，J.（2013）。从表达数据推断microRNA-mRNA因果调控关系。生物信息学29 765–771。
[29] Liu，H.、Han，F.、Yuan，M.、Lafferty，J.和Wasserman，L.（2012）。高维半参数高斯copula图形模型。统计年鉴40 2293–2326·Zbl 1297.62073号 ·doi:10.1214/12-AOS1037
[30] Maathuis，M.H.、Kalisch，M.和Bühlmann，P.（2009）。根据观测数据估计高维干预效果。统计年鉴37 3133–3164·Zbl 1191.62118号 ·doi:10.1214/09-AOS685
[31] Maathuis，M.H.、Colombo，D.、Kalisch，M.和Bühlmann，P.（2010年）。根据观测数据预测大规模系统中的因果效应。自然方法7 247–248。
[32] Meek，C.（1995年）。具有背景知识的因果推理和因果解释。1995年UAI。
[33] Meinshausen，N.和Bühlmann，P.（2006）。高维图和用套索选择变量。《统计年鉴》34 1436–1462·Zbl 1113.62082号 ·doi:10.1214/0090536000000281
[34] Meinshausen，N.和Bühlmann，P.（2010年）。稳定性选择。J.R.统计社会服务。B.统计方法72 417–473·Zbl 1411.62142号
[35] Nandy，P.、Hauser，A.和Maathuis，M.H.（2018年）。补充“基于分数和混合结构学习中的高维一致性”。DOI:10.1214/17-AOS1654SUPP。
[36] Nandy，P.、Maathuis，M.H.和Richardson，T.S.（2017年）。根据稀疏高维环境中的观测数据估计联合干预的效果。统计年鉴45 647–674·Zbl 1426.62286号 ·doi:10.1214/16-AOS1462
[37] Ouerd，M.、Oommen，B.J.和Matwin，S.（2004）。使用数据分布构建因果多树结构的形式化方法。通知。科学168 111–132·Zbl 1105.68092号 ·doi:10.1016/j.ins.2004.01.01
[38] Pearl，J.（2009）。因果关系：模型、推理和推理，第二版，剑桥大学出版社，剑桥·Zbl 1188.68291号
[39] Perkovic，E.、Textor，J.、Kalisch，M.和Maathuis，M.（2015a）。一个完整的调整标准。2015年UAI。
[40] Perkovic，E.、Textor，J.、Kalisch，M.和Maathuis，M.（2015b）。在祖先图的马尔可夫等价类中完成调整集的图形刻画和构造。预打印。可从arXiv:1606.06903获取。
[41] Ramsey，J.D.（2015）。扩大连续变量的贪婪等价搜索。预印。可从arXiv获取：1507.07749。
[42] Ravikumar，P.K.、Raskutti，G.、Wainwright，M.J.和Yu，B.（2008）。高斯图形模型中的模型选择：高维一致性\(ℓ_{1} \）-正规MLE。在NIPS 2008中。
[43] Ravikumar，P.、Wainwright，M.J.、Raskutti，G.和Yu，B.（2011年）。通过最小化进行高维协方差估计\(ℓ_{1} \）-惩罚对数决定式发散。电子。《美国联邦法规汇编》第5卷第935–980页·Zbl 1274.62190号 ·doi:10.1214/11-EJS631
[44] Rebane，G.和Pearl，J.（1987）。从统计数据中恢复因果多树。1987年UAI。
[45] Schmidberger，M.、Lennert，S.和Mansmann，U.（2011年）。利用公开可用微阵列数据进行大型荟萃分析的概念方面：肿瘤学案例研究。生物信息。生物学见解5 13–39。
[46] Schmidt，M.、Niculescu-Mizil，A.和Murphy，K.（2007年）。使用L1规则化路径学习图形模型结构。在AAAI 2007中。
[47] Schulte，O.、Frigo，G.、Greiner，R.和Khosravi，H.（2010年）。用于学习高斯贝叶斯网的IMAP混合方法。加拿大AI 2010。
[48] Scutari，M.（2010年）。使用bnlearn R包学习贝叶斯网络。J.Stat.Softw.35 1–22。
[49] Spites，P.、Glymour，C.和Scheines，R.（2000）。因果、预测与搜索，第二版，麻省理工学院出版社，马萨诸塞州剑桥·兹比尔0806.62001
[50] Spites，P.、Richardson，T.、Meek，C.、Scheines，R.和Glymour，C.（1998年）。使用路径图作为结构方程建模工具。社会学。方法研究27 182–225。
[51] Stekhoven，D.J.、Moraes，I.、Sveinbjörnsson，G.、Henning，L.、Maathuis，M.H.和Bühlmann，P.（2012年）。因果稳定性排名。生物信息学28 2819–2823。
[52] Tsamardinos，I.、Brown，L.E.和Aliferis，C.F.（2006）。最大最小爬山贝叶斯网络结构学习算法。机器。学习65 31–78·Zbl 1470.68192号
[53] Uhler，C.、Raskutti，G.、Bühlmann，P.和Yu，B.（2013）。因果推理中忠实假设的几何学。统计年鉴41 436–463·Zbl 1267.62068号 ·doi:10.1214/12-AOS1080
[54] van de Geer，S.和Bühlmann，P.（2013）\(ℓ_{0}\）-稀疏有向非循环图的惩罚最大似然。美国国家统计局41 536–567·Zbl 1267.62037号
[55] Verdugo，R.A.、Zeller，T.、Rotival，M.、Wild，P.S.、Münzel，T.，Lackner，K.J.、Weidmann，H.、Ninio，E.、Trégout，D.-A.、Cambien，F.、Blankenberg，S.和Tiret，L.（2013）。单核细胞基因表达的图形模型表明，分子机制可以解释吸烟者动脉粥样硬化的增加。公共图书馆ONE8 e50888。
[56] Verma，T.和Pearl，J.（1990年）。因果模型的等效性和综合。1990年UAI。
[57] Zhang，K.、Peters，J.、Janzing，D.和Schölkopf，B.（2011）。基于核的条件独立性检验及其在因果发现中的应用。2011年UAI。
[58] Zhao，T.、Liu，H.、Roeder，K.、Lafferty，J.和Wasserman，L.（2012）。R.J.Mach中用于高维无向图估计的庞大软件包。学习。第13号决议1059-1062·Zbl 1283.68311号
[59] 邹华（2006）。自适应套索及其oracle属性。J.Amer。统计师。协会101 1418–1429·Zbl 1171.62326号 ·doi:10.1198/016214500000735
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。