×

使用\(\ell_1\)-惩罚似然推断大型图。 (英语) Zbl 1384.62177号

摘要:我们解决了从系统的噪声观测中恢复大型稀疏有向非循环图结构的问题。我们提出了一种基于\(\ell_1\)-范数正则化最大似然的特定公式的新方法,该方法将图估计分解为两个子优化问题:拓扑结构和节点阶学习。我们以嵌入到遗传算法中的凸程序的形式,为图估计器提供了收敛不等式,以及解决诱导优化问题的算法。我们将我们的方法应用于各种数据集(包括来自DREAM4挑战的数据),并表明它优于最先进的方法。该算法在CRAN上可用作R包GADAG。

MSC公司:

62小时12分 多元分析中的估计
62J05型 线性回归;混合模型
62J07型 岭回归;收缩估计器(拉索)
68T05型 人工智能中的学习和自适应系统
90摄氏度 数学规划的应用
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Alander,J.:关于遗传算法的最优种群规模。收录:IEEE计算机系统和软件工程学报(1992年)·Zbl 1233.62050
[2] Allouche,A.,Cierco-Ayrolles,C.,de Givry,S.,Guillermin,G.,Mangin,B.,Schiex,T.,Vandel,J.,Vignes,M.:系统遗传学中基因调控网络重建的学习方法小组。摘自:de la fuente,A.(编辑)《基因网络推断,系统遗传学数据方法验证》,第9-32页。斯普林格,海德堡(2013)·Zbl 1233.62050
[3] Aragam,B.,Amini,A.,Zhou,Q.:学习带惩罚邻域回归的有向非循环图(2015)https://arxiv.org/pdf/1511.08963.pdf ·Zbl 1142.62408号
[4] 巴赫,F.:博拉索:通过引导进行模型一致套索估计。摘自:第二十五届机器学习国际会议记录(2008年)·Zbl 1142.62408号
[5] Banerjee,O.,El Ghaoui,L.,d'Aspremont,A.:通过多元高斯或二进制数据的稀疏最大似然估计进行模型选择。J.马赫。学习。第9号决议,485-516(2008年)·Zbl 1225.68149号
[6] Barabási,A.,Oltvai,Z.:网络生物学:理解细胞的功能组织。Nat.Rev.基因。5, 101-113 (2004) ·doi:10.1038/nrg1272
[7] Bickel,P.,Li,B.:统计学中的正则化。测试15,271-344(2006)·Zbl 1110.62051号 ·doi:10.1007/BF02607055
[8] Bickel,P.J.、Ritov,Y.、Tsybakov,A.B.:套索和Dantzig选择器的同时分析。Ann.Stat.37,1705-1732(2009年)·Zbl 1173.62022号 ·doi:10.1214/08-AOS620
[9] Breiman,L.:随机森林。马赫。学习。45,5-32(2001)·Zbl 1007.68152号 ·doi:10.1023/A:1010933404324
[10] Bühlmann,P.:高维因果统计推断。数学。方法操作。第77号决议,第357-370号决议(2013年)·兹比尔1339.62001 ·doi:10.1007/s00186-012-0404-7
[11] Bühlmann,P.,van de Geer,S.:高维数据的统计。方法、理论和应用,统计学中的斯普林格系列。斯普林格,海德堡(2011)·Zbl 1273.62015年
[12] Cerf,R.:遗传算法的渐近收敛。高级申请。可能性。30, 521-550 (1998) ·Zbl 0911.60018号 ·doi:10.1239/aap/1035228082
[13] Champion,M.,Picheny,V.,Vignes,M.:GADAG:学习有向非循环图的遗传算法。R包版本0.99.0(2017)
[14] Chen,J.,Chen,Z.:大模型空间模型选择的扩展贝叶斯信息准则。Biometrika 95,759-771(2008)·Zbl 1437.62415号 ·doi:10.1093/biomet/asn034
[15] Chickering,D.M.:学习贝叶斯网络是NP完成的。摘自:《从数据中学习》(佛罗里达州劳德代尔堡,1995年),《统计学讲义》第112卷,第121-130页。施普林格,纽约(1996)·Zbl 1173.62022号
[16] Chickering,D.M.:贪婪搜索的最优结构识别。J.马赫。学习。第3507-554号决议(2002年)·Zbl 1084.68519号
[17] Cook,S.:快速并行算法问题分类。通知。控制64,2-22(1985)·Zbl 0575.68045号 ·doi:10.1016/S0019-9958(85)80041-3
[18] Cormen,T.H.,Leiserson,C.E.,Rivest,R.L.,Stein,C.算法导论,第二版。麻省理工学院出版社,马萨诸塞州剑桥;McGraw-Hill Book Co.,马萨诸塞州波士顿(2001)·Zbl 1047.68161号
[19] Csiszár,I.,Tusnády,G.:信息几何和交替最小化程序。《统计与决策》,第205-237页。估计理论和相关主题的最新结果(1984年)·Zbl 0547.60004号
[20] Davis,L.(编辑):《遗传算法手册》。Van Nostrand Reinhold,霍博肯(1991)·Zbl 1367.94106号
[21] De Smet,R.,Marchal,K.:当前网络推理方法的优点和局限性。Nat Rev Microbiol 8,717-729(2010年)·doi:10.1038/nrmicro2419
[22] Dondelinger,F.,Lèbre,S.,Husmeier,D.:具有贝叶斯正则化的非同源动态贝叶斯网络,用于推断具有渐变结构的基因调控网络。马赫。学习。90, 191-230 (2013) ·Zbl 1260.92027号 ·doi:10.1007/s10994-012-5311-x
[23] Dréo,J.,Pétrowski,A.,Siarry,P.,Tailard,E.A.:硬优化的元启发式。方法和案例研究,由Amitava Chatterjee翻译自2003年的法语原文。施普林格,柏林(2006)·Zbl 1118.90058号
[24] Duchi,J.,Gould,S.,Koller,D.:学习稀疏高斯函数的投影次梯度方法。摘自:第24届人工智能不确定性会议记录(2008年)
[25] Efron,B.,Hastie,T.,Johnstone,I.,Tibshirani,R.:最小角度回归。Ann.Stat.32,407-499(2004)·Zbl 1091.62054号 ·doi:10.1214/009053604000000067
[26] El Karoui,N.:使用随机矩阵理论对大维协方差矩阵进行谱估计。Ann.Stat.36,2757-2790(2008年)·Zbl 1168.62052号 ·doi:10.1214/07-AOS581
[27] Ellis,B.,Wong,W.:从实验数据中学习因果贝叶斯网络结构。《美国统计协会期刊》103,778-789(2008)·Zbl 1471.62056号 ·doi:10.1198/0162145000000193
[28] Evtushenko,Y.,Malkova,V.,Stanevichyus,A.:多变量函数的并行全局优化。计算。数学。数学。物理学。49, 246-260 (2009) ·Zbl 1199.65197号 ·doi:10.1134/S09655425090205
[29] Friedman,N.,Koller,D.:关于网络结构的贝叶斯主义:贝叶斯网络中结构发现的贝叶斯主义方法。马赫。学习。50, 95-125 (2003) ·Zbl 1033.68104号 ·doi:10.1023/A:1020249912095
[30] Friedman,J.、Hastie,T.、Tibshirani,R.:用图形套索进行稀疏逆协方差估计。生物统计学9,432-441(2007)·Zbl 1143.62076号 ·doi:10.1093/biostatistics/kxm045
[31] Fu,F.,Zhou,Q.:通过实验干预学习稀疏因果高斯网络:正则化和坐标下降。《美国统计协会期刊》108,288-300(2013)·Zbl 06158343号 ·doi:10.1080/01621459.2012.754359
[32] Giraud,C.:《高维统计导论》,《统计学和应用概率专著》第139卷。CRC出版社,博卡拉顿(2015)·Zbl 1341.62011年
[33] Granville,V.,Krivanek,M.,Rasson,J.-P:模拟退火:收敛性证明。电气与电子工程师协会。事务处理。模式分析。16, 652-656 (1994) ·doi:10.1109/34.295910
[34] Grefenstette,J.、Gopal,R.、Rosmaita,B.、Van Gucht,D.(1985)。旅行推销员问题的遗传算法。收录于:第一届遗传算法及其应用国际会议论文集·Zbl 0674.90096号
[35] Grzegorczyk,M.,Husmeier,D.:通过引入新的边缘反转运动改进贝叶斯网络的MCMC采样器结构。马赫。学习。71, 265-305 (2008). doi:10.1007/s10994-008-5057-7·兹比尔1470.62075 ·doi:10.1007/s10994-008-5057-7
[36] Guyon,I.,Aliferis,C.,Cooper,G.:因果关系和预测挑战,第2卷。机器学习的挑战。《缩微图书出版》,布鲁克林出版社(2010年)
[37] Hauser,A.,Bühlmann,P.:有向非循环图的介入马尔可夫等价类的刻画和贪婪学习。J.马赫。学习。第13号决议,2409-2464(2012)·Zbl 1433.68346号
[38] Hauser,A.,Bühlmann,P.:联合干预和观察数据:有向非循环图的干预马尔可夫等价类的估计。J.R.统计社会服务。B 77,291-318(2015)·Zbl 1414.62021号 ·doi:10.1111/rssb.12071
[39] Hogben,L.(编辑):线性代数手册。离散数学及其应用(博卡拉顿)。副编辑:Richard Brualdi、Anne Greenbaum和Roy Mathias。查普曼和霍尔/CRC,博卡拉顿(2007)·Zbl 0850.62538号
[40] Holland,J.H.:《自然和人工系统中的适应》。生物、控制和人工智能应用的介绍性分析。密歇根大学出版社,安娜堡(1975)·兹伯利0317.68006
[41] Horst,R.,Pardalos,P.M.(编辑):全局优化手册。非凸优化及其应用。Kluwer学术出版社,多德雷赫特(1995)·Zbl 0805.0009号
[42] Hoyle,R.(编辑):结构方程建模。Sage Publ,《千橡树》(1995)
[43] Husmeier,D.,Werhli,A.:用贝叶斯网络重建基因调控网络时生物先验知识的贝叶斯集成。计算。系统。生物信息。6, 85-95 (2007) ·Zbl 1166.62373号 ·doi:10.1142/9781860948732 _0013
[44] Huynh-Thu,V.A.,Irrthum,A.,Wehenkel,L.,Geurts,P.:使用基于树的方法从表达数据推断调控网络。《公共科学图书馆·综合》5,e12776(2010)·doi:10.1371/journal.pone.0012776
[45] Jones,D.R.,Perttunen,C.D.,Stuckman,B.E.:不含lipschitz常数的Lipschitzian优化。J.优化。理论应用。79, 157-181 (1993) ·Zbl 0796.49032号 ·doi:10.1007/BF00941892
[46] Kahn,A.B.:大型网络的拓扑排序。Commun公司。ACM 558-562(1962)·Zbl 0106.32602号 ·电话:10.1145/368996.369025
[47] Kahre,K.,Oh,S.,Rajaratnam,B.:具有收敛保证的高维偏相关估计的凸伪似然框架。JRSS B 77,803-825(2015)·Zbl 1414.62183号 ·doi:10.1111/rssb.12088
[48] Kalisch,M.,Bühlmann,P.:用PC-算法估计高维有向非循环图。J.马赫。学习。第8613-636号决议(2007年)·Zbl 1222.68229号
[49] Koivisto,M.,Sood,K.:贝叶斯网络中的精确贝叶斯结构发现。J.马赫。学习。第5号决议,549-573(2004年)·Zbl 1222.68234号
[50] Ledoit,O.,Wolf,M.:谱估计:协方差矩阵估计和大维度主成分分析的统一框架。《多元分析杂志》。139, 360-384 (2015) ·Zbl 1328.62340号 ·doi:10.1016/j.jmva.2015.04.006
[51] Liaw,A.,Wiener,M.:随机森林分类和回归。R新闻2,18-22(2002)
[52] Liu,H.,Wang,L.,Zhao,T.:特征值约束下的稀疏协方差矩阵估计。J计算图表统计23,439-459(2014)·doi:10.1080/10618600.2013.782818
[53] Lounici,K.,Pontil,M.,Tsybakov,A.,van de Geer,S.:利用多任务学习中的稀疏性。摘自:第22届学习理论会议记录(2009年)
[54] Maathuis,M.、Colombo,D.、Kalisch,M.和Bühlmann,P.:从观测数据预测大规模系统中的因果效应。自然方法7,247-248(2010)·doi:10.1038/nmeth0410-247
[55] Marbach,D.、Schaffter,T.、Mattiussi,C.、Floreano,D.:为逆向工程方法的性能评估生成现实的硅基因网络。J.计算。生物学16,229-239(2009)·doi:10.1089/cmb.2008.09TT
[56] Margolin,A.,Nemenman,I.,Basso,K.,Wiggins,C.,Stolovitzky,G.,Dalla Favera,R.,Califano,A.:Aracne:哺乳动物细胞环境中基因调控网络重建的算法。BMC生物信息。7,S7(2006)·doi:10.1186/1471-2105-7-S1-S7
[57] Meinshausen,N.,Bühlmann,P.:用套索选择高维图和变量。Ann.Stat.34,1436-1462(2006)·Zbl 1113.62082号 ·doi:10.1214/0090536000000281
[58] Mestre,X.:使用样本估计改进协方差矩阵的特征值和特征向量的估计。IEEE传输。通知。理论54,5113-5129(2008)·Zbl 1318.62191号 ·doi:10.10109/TIT.2008.929938
[59] Michalewicz,Z.:遗传算法\[+\]+数据结构\[==进化\]程序,第2版。柏林施普林格(1994)·Zbl 0818.68017号 ·doi:10.1007/978-3-662-07418-3
[60] Mordelet,F.,Vert,J.:Sirene:监管网络的监督推理。生物信息学24,i76-i82(2008)·doi:10.1093/bioinformatics/btn273
[61] Newman,M.:复杂网络的结构和功能。SIAM版本45,157-256(2003)·Zbl 1029.68010号 ·doi:10.1137/S003614450342480
[62] Pearl,J.:因果、模型、推理和推理,第2版。剑桥大学出版社,剑桥(2009)·Zbl 1188.68291号 ·doi:10.1017/CBO9780511803161
[63] Perrin,B.,Ralaivola,L.,Mazurie,A.,Bottani,S.,Mallet,J.,d'AlchéBuc,F.:使用动态贝叶斯网络进行基因网络推理。生物信息学19Supp2,ii138-ii148(2003)·Zbl 1222.68229号
[64] Peters,J.,Mooij,J.M.,Janzing,D.,Schölkopf,B.:使用函数模型的因果图的可识别性。参加:第27届人工智能不确定性会议(UAI 2011)(2011)·Zbl 1318.68151号
[65] Peters,J.,Mooij,J.、Janzing,D.、Schölkopf,B.:连续加性噪声模型的因果发现。J.马赫。学习。2009-2053年第15号决议(2014年)·Zbl 1318.68151号
[66] Piszcz,A.,Soule,T.:遗传编程:不同复杂性问题的最佳种群规模。In:遗传和进化计算会议记录(2006)·Zbl 1437.62415号
[67] 核心团队,R.:R:统计计算的语言和环境。奥地利维也纳R统计计算基金会(2017年)
[68] Rau,A.,Jaffrézic,F.,Nuel,G.:从观察和干预基因表达数据对因果效应的联合估计。BMC公司。系统。生物学7111(2013)·doi:10.1186/1752-0509-7-111
[69] Richardson,T.:有向循环图的马尔可夫等价刻画。国际期刊近似原因。17, 107-162 (1997) ·Zbl 0939.68095号 ·doi:10.1016/S0888-613X(97)00020-0
[70] Ridge,E.:优化算法调谐实验设计。约克大学计算机科学系博士论文(2007年)·Zbl 1144.68305号
[71] 罗宾逊,R.W.:计数标记的无环有向图,第239-273页(1973)·Zbl 0259.05116号
[72] Sachs,K.、Itani,S.、Fitzegerald,J.、Wille,L.、Schoeberl,B.、Dahleh,M.、Nolan,G.:学习循环信号通路结构,同时最小化数据需求。收录于:太平洋生物计算研讨会论文集(2009)·Zbl 1471.62056号
[73] Schaffer,J.D.,Caruana,R.,Eshelman,L.J.,Das,R.:影响函数优化遗传算法在线性能的控制参数研究。摘自:《第三届遗传算法国际会议论文集》(1989年)·Zbl 1033.68104号
[74] Schwarz,G.E.:估算模型的维数。Ann.Stat.6,461-464(1978年)·Zbl 0379.62005年 ·doi:10.1214/aos/1176344136
[75] Sergeyev,Y.:一种具有局部调整的信息全局优化算法。SIAM J.Optim公司。5, 858-870 (1995) ·Zbl 0847.90128号 ·doi:10.1137/0805041
[76] Sergeyev,Y.,Kvasov,D.:基于有效对角划分和一组lipschitz常数的全局搜索。SIAM J.Optim公司。16, 910-937 (2006) ·Zbl 1097.65068号 ·数字对象标识代码:10.1137/040621132
[77] Shojaie,A.、Jauhiainen,A.、Kallitsis,M.、Michailidis,G.:通过结合扰动屏幕和稳态基因表达谱推断调控网络。PLoS ONE 9,e82393(2014)·doi:10.1371/journal.pone.0082393
[78] Shojaie,A.,Michailidis,G.:估计稀疏高维有向非循环图的惩罚似然方法。《生物特征》97、519-538(2010)·兹比尔1195.62090 ·doi:10.1093/biomet/asq038
[79] Silander,T.,Myllymäki,T.:一种寻找全局最优贝叶斯网络结构的简单方法。摘自:第二十二届人工智能不确定性会议记录(2006年)
[80] Souma,W.,Fujiwara,Y.,Aoyama,H.:异质经济网络。《经济互动的复杂网络》,《经济学和数学系统讲义》第567卷,第79-92页。施普林格,柏林(2006)·Zbl 1183.91139号
[81] Spirtes,P.:反馈模型的有向循环图形表示。摘自:第十一届人工智能不确定性年会论文集(1995年)
[82] Spites,P.、Glymour,C.、Scheines,R.:因果关系、预测和搜索。自适应计算和机器学习,第2版。大卫·赫克曼(David Heckerman)、克里斯托弗·米克(Christopher Meek)、格雷戈里·库珀(Gregory F.Cooper)和托马斯·理查森(Thomas Richardson)的补充材料,《布拉德福德图书》(A Bradford Book)。剑桥:麻省理工学院出版社(2000)·Zbl 0806.62001
[83] Tibshirani,R.:通过套索进行回归收缩和选择。J.R.统计社会服务。B 58267-288(1996)·Zbl 0850.62538号
[84] Tsamardinos,I.,Brown,L.,Aliferis,C.:最大爬山贝叶斯网络结构学习算法。马赫。学习。65, 31-78 (2006) ·Zbl 1470.68192号 ·doi:10.1007/s10994-006-6889-7
[85] van de Geer,S.,Bühlmann,\[P.:\ell_0\]稀疏有向非循环图的0惩罚最大似然。Ann.Stat.41,536-567(2013)·Zbl 1267.62037号 ·doi:10.1214/13-AOS1085
[86] Verma,T.,Pearl,J.:因果模型的等效性和综合。摘自:第六届人工智能不确定性年会论文集(1991年)·Zbl 07672243号
[87] Verma,T.,Araújo,N.A.M.,Herrmann,H.J.:揭示世界航空网络的结构。科学。众议员45638(2014)·Zbl 1029.68010号
[88] Verzelen,N.:稀疏回归的Minimax风险:超高维现象。电子。J.Stat.6,38-90(2012年)·Zbl 1334.62120号 ·doi:10.1214/12-EJS666
[89] 温赖特,M.:高维和噪声环境中稀疏性恢复的信息论限制。IEEE传输。通知。理论555728-5741(2009)·Zbl 1367.94106号 ·doi:10.1109/TIT.2009.2032816
[90] Witten,D.,Freidman,J.,Simon,N.:图形套索的新见解和更快的计算。J.计算。图表。《统计》第20卷,第892-900页(2011年)·doi:10.1198/jcgs.2011.11051a
[91] Wright,S.:相关性和因果关系。《农业杂志》。第20号决议,558-585(1921年)
[92] Yuan,M.,Lin,Y.:高斯图形模型中的模型选择和估计。《生物特征》94,19-35(2007)·Zbl 1142.62408号 ·doi:10.1093/biomet/asm018
[93] Zhou,Q.:多域抽样及其在贝叶斯网络结构推断中的应用。《美国统计协会期刊》106,1317-1330(2011)·Zbl 1233.62050 ·doi:10.1198/jasa.2011.ap10346
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。