×

条件高斯图形模型的结构化正则化。 (英语) Zbl 1505.62102号

摘要:条件高斯图形模型是多元线性回归模型的重参数化,它明确地表现出(i)预测因子和响应之间的偏协变量,以及(ii)响应本身之间的偏协变量。由于部分协方差描述了变量之间的直接关系,因此这种模型特别适合于解释性。在此框架中,我们提出了一种正则化方案,通过先验结构信息驱动相关输入特征的选择来增强模型的学习策略。它带有一个有效的交替优化过程,保证收敛到全局最小值。除了在人工数据集和真实数据集上表现出竞争力之外,我们的方法还展示了精细解释的能力,如光谱学、遗传学和基因组学的三个高维数据集所示。

MSC公司:

62-08 统计问题的计算方法
62H22个 概率图形模型
62J05型 线性回归;混合模型
62J07型 岭回归;收缩估计器(拉索)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 巴赫,F.,杰纳顿,R.,迈拉尔,J.,奥博金斯基,G.:稀疏诱导惩罚的优化。已找到。趋势马赫数。学习。4(1), 1-106 (2012) ·兹伯利06064248 ·doi:10.1561/220000015
[2] Brown,P.,Vannucci,M.,Fearn,T.:多元贝叶斯变量选择和预测。J.R.Stat.Soc.B 60(3),627-641(1998)·Zbl 0909.62022号 ·doi:10.111/1467-9868.00144
[3] Brown,P.,Fearn,T.,Vannucci,M.:曲线上的贝叶斯小波回归及其在光谱校准问题中的应用。《美国统计协会期刊》96,398-408(2001)·Zbl 1022.62027 ·doi:10.1198/016214501753168118
[4] Chiquet,J.,Grandvalet,Y.,Ambroise,C.:推断多重图形结构。统计计算。21(4), 537-553 (2011) ·兹比尔1221.62085 ·doi:10.1007/s11222-010-9191-2
[5] de los Campos,G.、Hickey,J.、Pong-Wong,R.、Daetwyler,H.、Calus,M.:应用于动植物育种的全基因组回归和预测方法。遗传学193(2),327-345(2012)·doi:10.1534/genetics.112.143313
[6] Efron,B.:预测误差的估计:协方差惩罚和交叉验证(附讨论)。《美国统计协会期刊》第99卷,第619-642页(2004年)·兹比尔1117.62324 ·doi:10.1198/016214500000692
[7] Ferreira,M.、Satagopan,J.、Yandell,B.、Williams,P.、Osborn,T.:控制甘蓝型油菜春化需求和开花时间的定位。西奥。申请。遗传学。90, 727-732 (1995) ·doi:10.1007/BF00222140
[8] Friedman,J.,Hastie,T.,Tibshirani,R.:通过坐标下降的广义线性模型的正则化路径。J.统计软件。33, 1-22 (2010) ·doi:10.18637/jss.v033.i01
[9] Gasch,A.,Spellman,P.,Kao,C.,Carmel-Harel,O.,Eisen,M.B.,Storz,G.,Botstein,D.,Brown,P.:酵母细胞对环境变化反应中的基因组表达程序。分子生物学。细胞11(12),4241-4257(2000)·doi:10.1091/mbc.111.124241
[10] Hans,C.:具有正态先验的弹性网回归建模。《美国统计协会期刊》106,1383-1393(2011)·Zbl 1234.62106号 ·doi:10.1198/jasa.2011.tm09241
[11] Harville,D.:统计学家视角下的矩阵代数。施普林格,纽约(1997)·Zbl 0881.15001号 ·数字对象标识代码:10.1007/b98818
[12] Hebiri,M.,van De Geer,S.:平滑法和其他l1+l2惩罚法。电子。J.Stat.5,1184-1226(2011)·Zbl 1274.62443号 ·doi:10.1214/11-EJS638
[13] Hesterberg,T.,Choi,N.M.,Meier,L.,Fraley,C.:最小角度和[\ell_1\]1惩罚回归:复习。统计调查。2, 61-93 (2008) ·Zbl 1189.62070号 ·doi:10.1214/08-SS035
[14] Hoefling,H.:融合套索信号近似器的路径算法。J.计算。图表。《统计》第19(4)卷,984-1006(2010)·文件编号:10.1198/jcgs.2010.09208
[15] Kim,S.,Xing,E.:数量性状网络相关基因组关联的统计估计。《公共科学图书馆·遗传学》。5(8),e1000587(2009)·doi:10.1371/journal.pgen.1000587
[16] Kim,S.,Xing,E.:结构化稀疏多任务回归的树引导组套索。摘自:第27届国际机器学习会议记录,第543-550页(2010年)·Zbl 1330.62292号
[17] Kim,S.J.,Koh,K.,Boyd,S.,D,G.:\[\ell_1\]1趋势过滤。SIAM修订版51(2),339-360(2009)·Zbl 1171.37033号 ·doi:10.1137/070690274
[18] Kole,C.、Thorman,C.、Karlsson,B.、Palta,J.、Gaffney,P.、Yandell,B.、Osborn,T.:油籽油菜和甘蓝型油菜冬季存活和相关性状基因座的比较定位。摩尔品种。1, 201-210 (2002) ·doi:10.1023/A:1019759512347
[19] Krishna,A.、Bondell,H.、Ghosh,S.:使用自适应功率相关先验的贝叶斯变量选择。J.统计计划。推论139(8),2665-2674(2009)·Zbl 1162.62017年 ·doi:10.1016/j.jspi.2008.12.004
[20] Lajoie,M.,Gascuel,O.,Lefort,V.,Brehelin,L.:连续表达空间中调控元件的计算发现。基因组生物学。13(11),R109(2012)。doi:10.1186/gb-2012-13-11-r109·doi:10.1186/gb-2012-13-11-r109
[21] Li,C.,Li,H.:图形结构协变量的变量选择和回归分析及其在基因组学中的应用。附录申请。Stat.4(3),1498-1516(2010)·Zbl 1202.62157号 ·doi:10.1214/10-AOAS332
[22] Li,X.,Panea,C.,Wiggins,C.、Reinke,V.,Leslie,C.:学习预测发育中基因表达轨迹的“图形-米”基序。公共科学图书馆计算。生物学6(4),e1000761(2010)·doi:10.1371/journal.pcbi.1000761
[23] Lorbert,A.,Eis,D.,Kostina,V.,Blei,D.,Ramadge,P.:通过成对弹性网利用稀疏回归中的协变量相似性。参见:Teh,Y.W.,Titterington,D.M.(编辑)《第十三届国际人工智能与统计会议论文集》(AISTATS-10),第9卷,第477-484页(2010)
[24] Mardia,K.,Kent,J.,Bibby,J.:多元分析。伦敦学术出版社(1979)·Zbl 1162.62017年
[25] Marin,J.M.,Robert,C.P.:贝叶斯核心:计算贝叶斯统计的实用方法。施普林格,纽约(2007)·Zbl 1137.62013年
[26] Obozinski,G.,Wainwright,M.,Jordan,M.:支持高维多元回归中的联合恢复。Ann.Stat.39(1),1-47(2011)·Zbl 1373.62372号 ·doi:10.1214/09-AOS776
[27] Osborne,B.,Fearn,T.,Miller,A.,Douglas,S.:近红外反射光谱法在饼干和饼干面团成分分析中的应用。科学杂志。食品农业。35, 99-105 (1984) ·doi:10.1002/jsfa.2740350116
[28] Osborne,M.R.,Presnell,B.,Turlach,B.A.:关于套索及其对偶。J.计算。图表。《统计》第9(2)卷,第319-337页(2000年)
[29] Park,T.,Casella,G.:贝叶斯套索。《美国统计协会期刊》103,681-686(2008)·Zbl 1330.62292号 ·doi:10.19198/0162114508000000337
[30] Rapaport,F.,Zinovyev,A.,Dutreix,M.,Barillot,E.,Vert,J.P.:使用基因网络对微阵列数据进行分类。BMC生物信息。8, 35 (2007) ·doi:10.1186/1471-2105-8-35
[31] Rothman,A.、Levina,E.、Zhu,J.:具有协方差估计的稀疏多元回归。J.计算。图表。《美国联邦法律大全》第19卷第(4)页,第947-962页(2010年)·doi:10.1198/jcgs.2010.09188
[32] Shannon,P.:基序Db:蛋白质-DNA结合序列基序的注释集。R包版本1.4.0(2013)·Zbl 1060.62049号
[33] Slawski,M.,W,Zu Castell,Tutz,G.:由结构信息指导的特征选择。附录申请。Stat.4,1056-1080(2010年)·Zbl 1194.62092号 ·doi:10.1214/09-AOAS302
[34] Sohn,K.,Kim,S.:通过逆协方差正则化对多输出回归中的结构稀疏性和输出结构进行联合估计。JMLR W&CP(22),1081-1089(2012)
[35] Städler,N.,Bühlmann,P.,Geer,\[S.:\ell_1\]1-混合回归模型的惩罚。试验19(2),209-256(2010)。doi:10.1007/s11749-010-0197-z·Zbl 1203.62128号 ·doi:10.1007/s11749-010-0197-z
[36] Stein,C.:多元正态分布平均值的估计。Ann.Stat.9,1135-1151(1981)·Zbl 0476.62035号 ·doi:10.1214/aos/1176345632
[37] Tibshirani,R.:通过套索进行回归收缩和选择。J.R.Stat.Soc.B 58,267-288(1996)·Zbl 0850.62538号
[38] Tibshirani,R.,Taylor,J.:广义套索的解路径。《Ann.Stat.》39(3),1335-1371(2011)。doi:10.1214/11-AOS878·Zbl 1234.62107号 ·doi:10.1214/11-AOS878
[39] Tibshirani,R.,Taylor,J.:套索问题中的自由度。Ann.Stat.40,1198-1232(2012)·Zbl 1274.62469号 ·doi:10.1214/12-AOS1003
[40] Tibshirani,R.、Saunders,M.、Rosset,S.、Zhu,J.、K.奈特:通过融合套索实现的简约流畅。J.R.Stat.Soc.B 67,91-108(2005)·Zbl 1060.62049号 ·文件编号:10.1111/j.1467-9868.2005.00490.x
[41] Tseng,P.:不可微极小化的块坐标下降法的收敛性。J.优化。理论应用。109(3), 475-494 (2001) ·Zbl 1006.65062号 ·doi:10.1023/A:1017501703105
[42] Tseng,P.,Yun,S.:非光滑可分离最小化的坐标梯度下降方法。数学。程序。117, 387-423 (2009) ·Zbl 1166.90016号 ·doi:10.1007/s10107-007-0170-0
[43] Yin,J.,Li,H.:遗传基因组数据分析的稀疏条件高斯图形模型。附录申请。统计5,2630-2650(2011)·Zbl 1234.62151号 ·doi:10.1214/11-AOAS494
[44] Yuan,X.T.,Zhang,T.:偏高斯图形模型估计。IEEE传输。通知。理论60(3),1673-1687(2014)·Zbl 1360.62284号 ·doi:10.1109/TIT.2013.2296784
[45] Zou,H.,Hastie,T.:通过弹性网进行正则化和变量选择。J.R.Stat.Soc.B 67,301-320(2005)·兹比尔1069.62054 ·文件编号:10.1111/j.1467-9868.2005.005.x
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。