文章

免费访问

使用中心学习图形模型

作者:

基恩·明棕褐色,

帕尔玛伦敦,

Karthik公司莫汉,

玛丽亚姆法泽勒、和

丹妮拉维滕作者信息和声明

机器学习研究杂志,体积15,问题1

页3297-3331

出版:2014年1月1日出版历史

PDF格式电子阅读器发布者网站

摘要

我们考虑学习一个高维图形模型的问题，其中有几个中心节点与许多其他节点紧密连接。许多作者研究了我₁惩罚，以便在高维设置中学习稀疏图。然而我₁惩罚隐式地假设每条边的可能性相等，并且独立于所有其他边。我们提出了一个通用框架，使用包含行-列重叠范数惩罚的凸公式来容纳具有中心节点的更现实的网络。我们将此通用框架应用于三种广泛使用的概率图形模型：高斯图形模型、协方差图形模型和二进制伊辛模型。采用交替方向乘子算法求解相应的凸优化问题。在合成数据上，我们证明了我们提出的框架优于未明确建模中心节点的竞争对手。我们在网页数据集和基因表达数据集上演示了我们的建议。

工具书类

[1]

G.I.Allen和Z.Liu。用于从高通量测序数据推断遗传网络的对数线性图形模型。IEEE生物信息学和生物医学国际会议, 2012.

[2]

A.L.Barabási。无标度网络：十年及以后。科学类, 325:412-413, 2009.

[3]

A.L.Barabási和R.Albert。随机网络中尺度的出现。科学类, 286: 509-512, 1999.

[4]

J.Barzilai和J.M.Borwein。两点步长梯度法。IMA数值分析杂志, 8:141-148, 1988.

[5]

P.J.Bickel和E.Levina。大协方差矩阵的正则化估计。统计年刊, 36(1):199-227, 2008.

[6]

J.Bien和R.Tibshirani。协方差矩阵的稀疏估计。生物特征, 98(4): 807-820, 2011.

[7]

S.Boyd、N.Parikh、E.Chu、B.Peleato和J.Eckstein。通过ADMM进行分布式优化和统计学习。机器学习的基础和趋势, 3(1): 1-122, 2010.

[8]

蔡先生和刘先生。稀疏协方差矩阵估计的自适应阈值。美国统计协会杂志, 106(494):672-684, 2011.

[9]

A.Cardoso-Cachopo公司。2009. "http://web.ist.utl.pt/acardoso/datasets/".

[10]

S.Chaudhuri、M.Drton和T.Richardson。协方差矩阵的零估计。生物特征, 94:199-216, 2007.

[11]

Y.Dai。Barzilai-Borwein梯度法的新分析。中国运筹学会学报, 1(2):187-198, 2013.

[12]

P.Danaher、P.Wang和D.M.Witten。用于多类协方差逆估计的联合图形套索。英国皇家统计学会杂志：B辑, 76 (2):373-397, 2014.

[13]

A.Defazio和T.S.Caetano。通过子模松弛学习无标度网络的凸公式。神经信息处理系统研究进展, 2012.

[14]

M.Drton和T.S.Richardson。边缘独立高斯图形模型中最大似然估计的一种新算法。第19届人工智能不确定性会议记录，第184-191页，2003年。

[15]

M.Drton和T.S.Richardson。高斯协方差模型中有效似然推断的图形方法。机器学习研究杂志, 9:893-914, 2008.

[16]

J.埃克斯坦。凸优化的增广拉格朗日和交替方向方法：教程和一些说明性的计算结果。RUTCOR研究报告, 32, 2012.

[17]

J.Eckstein和D.P.Bertsekas。关于最大单调算子的Douglas Rachford分裂方法和近点算法。数学规划，55（3，序列号A）：293-3181992年。

[18]

N.El Karoui。大维稀疏协方差矩阵的算子范数一致估计。统计年鉴, 36(6):2717-2756, 2008.

[19]

P.Erdös和A.Rényi。关于随机图I。出版物。数学。德布勒森, 6:290-297, 1959.

[20]

H.Firouzi和A.O.Hero。稀疏相关图中的局部中心筛选。SPIE学报，第8858卷，小波与稀疏十五，2013年第88581次。

[21]

R.Foygel和M.Drton。高斯图形模型的扩展贝叶斯信息准则。神经信息处理系统研究进展, 2010.

[22]

J.Friedman、T.Hastie和R.Tibshirani。用图形套索进行稀疏逆协方差估计。生物统计学, 9:432-441, 2007.

[23]

J.E.绅士。矩阵代数：理论、计算和统计应用纽约施普林格出版社，2007年。

[24]

J.Guo、E.Levina、G.Michailidis和J.Zhu。分类马尔可夫网络的联合结构估计。已提交，网址：http://www.stat.lsa.umich.edu/~elevina，2010年。

[25]

J.Guo、E.Levina、G.Michailidis和J.Zhu。估计分类马尔可夫网络的联合邻域选择方法的渐近性质。arXiv:数学。2011年第0000000号公告。

[26]

D.Hao、C.Ren和C.Li。重新审视生物网络聚类系数的变化，提出了新的模块结构。BMC系统生物学, 6(34):1-10, 2012.

[27]

A.Hero和B.Rajaratnam。部分相关图中的中心发现。IEEE信息理论汇刊, 58:6064-6078, 2012.

[28]

H.Höfling和R.Tibshirani。使用伪似然估计稀疏二元成对马尔可夫网络。机器学习研究杂志, 10:883-906, 2009.

[29]

R.A.Horn和C.R.Johnson。矩阵分析剑桥大学出版社，纽约州纽约市，1985年。

[30]

H.Jeong、S.P.Mason、A.L.Barabási和Z.N.Oltvai。蛋白质网络中的致死性和中心性。自然, 411:41-42, 2001.

[31]

S.I.Lee、V.Ganapathi和D.Koller。马尔可夫网络的有效结构学习我₁-正规化。神经信息处理系统研究进展, 2007.

[32]

L.Li、D.Alderson、J.C.Doyle和W.Willinger。走向无标度图理论：定义、性质和含义。互联网数学, 2(4):431-523, 2005.

[33]

F.Liljeros、C.R.Edling、L.A.N.Amaral、H.E.Stanley和Aberg Y.人类性接触网。自然, 411:907-908, 2001.

[34]

Q.Liu和A.T.Ihler。通过重新称重学习无标度网络我₁正规化。第十四届国际人工智能与统计会议记录, 15: 40-48, 2011.

[35]

S.Ma、L.Xue和H.Zou。潜在变量高斯图形模型选择的交替方向方法。神经计算, 2013.

[36]

Maglott等人。Entrez Gene:NCBI以基因为中心的信息。核酸研究，33（D）：54-582004年。

[37]

K.V.Mardia、J.Kent和J.M.Bibby。多元分析学术出版社，1979年。

[38]

R.Mazumder和T.Hastie。用于大规模图形套索的精确协方差阈值到连接分量。机器学习研究杂志, 13:781-794, 2012.

[39]

N.Meinshausen和P.Bühlmann。高维图和用套索选择变量。统计年刊, 34(3):1436-1462, 2006.

[40]

N.Meinshausen和P.Bühlmann。稳定性选择（讨论）。英国皇家统计学会杂志B辑, 72:417-473, 2010.

[41]

K.Mohan、P.London、M.Fazel、D.M.Witten和S.-I.Lee。高斯图形模型的基于节点的学习。机器学习研究杂志, 15:445-488, 2014.

[42]

M.E.J.纽曼。科学合作网络的结构。美国国家科学院院刊, 98:404-409, 2000.

[43]

J.Nocedal和S.J.Wright。数值优化Springer，2006年。

[44]

J.Peng、P.Wang、N.Zhou和J.Zhu。联合稀疏回归模型的偏相关估计。美国统计协会杂志, 104(486):735-746, 2009.

[45]

Rappaport等人，《马拉卡德：疾病综合简编及其注释》。数据库（牛津）, 2013.

[46]

P.Ravikumar、M.J.Wainwright和J.D.Lafferty。使用的高维Ising模型选择我₁-正则化logistic回归。统计年鉴, 38(3):1287-1319, 2010.

[47]

P.Ravikumar、M.J.Wainwright、G.Raskutti和B.Yu。基于最小化的高维协方差估计我₁-惩罚对数决定式发散。电子统计杂志, 5:935-980, 2011.

[48]

M.Raydan先生。大规模无约束极小化问题的Barzilai和Borwein梯度法。SIAM优化杂志, 7:26-33, 1997.

[49]

A.Rothman、P.J.Bickel、E.Levina和J.Zhu。稀疏置换不变协方差估计。电子统计杂志, 2:494-515, 2008.

[50]

A.Rothman、E.Levina和J.Zhu。大协方差矩阵的广义阈值。美国统计协会杂志, 104:177-186, 2009.

[51]

N.Simon、J.H.Friedman、T.Hastie和R.Tibshirani。稀疏的套索。计算与图形统计杂志, 22(2):231-245, 2013.

[52]

R.Tarjan，深度优先搜索和线性图算法。SIAM计算机杂志, 1 (2):146-160, 1972.

[53]

Verhaak等人。综合基因组分析确定以PDGFRA、IDH1、EGFR和NF1异常为特征的胶质母细胞瘤临床相关亚型。癌细胞, 17(1):98-110, 2010.

[54]

D.M.Witten、J.H.Friedman和N.Simon。图形套索的新见解和更快的计算。计算与图形统计杂志, 20(4):892-900, 2011.

[55]

S.J.Wright、R.D.Nowak和M.Figueiredo。通过可分离近似进行稀疏重建。IEEE信号处理汇刊, 57(7):2479-2493, 2009.

[56]

L.Xue、S.Ma和H.Zou。正定的我₁大协方差矩阵的惩罚估计。美国统计协会杂志, 107(500):1480-1491, 2012.

[57]

E.Yang、G.I.Allen、Z.Liu和P.K.Ravikumar。通过广义线性模型的图形模型。神经信息处理系统研究进展，2012年a。

[58]

S.Yang、Z.Pan、X.Shen、P.Wonka和J.Ye融合了多个图形套索。arXiv:1209.2139[cs.LG]，2012年b。

[59]

袁先生。高效计算我₁高斯图形模型中的正则化估计。计算与图形统计杂志, 17(4):809-826, 2008.

[60]

M.Yuan和Y.Lin.高斯图形模型中的模型选择和估计。生物特征，94（10）：19-352007a。

[61]

M.Yuan和Y.Lin。分组变量回归中的模型选择和估计。英国皇家统计学会杂志B辑2007年b月68:49-67日。

[62]

H.Zou、T.Hastie和R.Tibshirani。关于套索的“自由度”。统计年鉴, 35(5):2173-2192, 2007.

引用人

卡瓦诺S(2021)基于奇异值分解的稀疏主成分回归数据分析和分类进展2007年10月10日/11634-020-00435-215:3(795-823)在线发布日期：2021年9月1日
https://dl.acm.org/doi/10.1007/s11634-020-00435-2
王M黄J刘敏（Liu M）张D(2019)基于区分中枢检测的功能连接网络分析在脑疾病识别中的应用第三十三届AAAI人工智能大会暨第三十一届人工智能创新应用大会暨第九届AAAI-人工智能教育进展研讨会论文集10.1609/aaai.v33i01.33011198(1198-1205)在线发布日期：2019年1月27日
https://dl.acm.org/doi/10.1609/aaai.v33i01.33011198
巴苏S李X米查利迪斯G(2019)高维向量自回归的低秩结构化建模IEEE信号处理汇刊10.1109/TSP.2018.288740167:5(1207-1222)在线发布日期：2019年3月1日
https://dl.acm.org/doi/10.1109/TSP.2018.2887401
显示更多引用者

索引术语

使用中心学习图形模型
1. 计算方法
  1. 机器学习

索引项已通过自动分类分配给内容。

建议

基于节点的多高斯图形模型学习

我们考虑在几个不同的条件下估计对应于一组变量的高维高斯图形模型的问题。这个问题是由恢复转录调控网络的任务引起的。。。
阅读更多信息
基于总广义变分的超声图像去噪模型

本文介绍了一类用于噪声污染超声图像恢复的变分模型。所提出的模型涉及凸或非凸全广义变分正则化。总广义变差。。。
阅读更多信息
通过邻近算子实现快速L1---L2最小化

本文旨在开发新的快速算法，从少量测量数据中恢复稀疏向量，这是压缩感知领域的一个基本问题。目前，CS倾向于非相干系统，其中任何两个。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片机器学习研究杂志

机器学习研究杂志第15卷第1期

2014年1月

4085页

国际标准编号：1532-4435

EISSN公司：1533-7928

出版商

JMLR.org网站

出版历史

修订过的：2014年5月1日

出版：2014年1月1日

出版于JMLR体积15,问题1

作者标记

限定符

第条

贡献者

其他指标

查看文章度量

文献计量学和引文

文献计量学

文章指标

14
引文总数
查看引文
164
总下载次数

下载次数（过去12个月）16
下载次数（最近6周）6

其他指标

查看作者指标

引文

引用人

卡瓦诺S(2021)基于奇异值分解的稀疏主成分回归数据分析和分类进展2007年10月10日/11634-020-00435-215:3(795-823)在线发布日期：2021年9月1日
https://dl.acm.org/doi/10.1007/s11634-020-00435-2
王M黄J刘敏（Liu M）张D(2019)基于区分中枢检测的功能连接网络分析在脑疾病识别中的应用第三十三届AAAI人工智能大会暨第三十一届人工智能创新应用大会暨第九届AAAI-人工智能教育进展研讨会论文集10.1609/aaai.v33i01.33011198(1198-1205)在线发布日期：2019年1月27日
https://dl.acm.org/doi/10.1609/aaai.v33i01.33011198
巴苏S李X米查利迪斯G(2019)高维向量自回归的低秩结构化建模IEEE信号处理汇刊10.1109/TSP.2018.288740167:5(1207-1222)在线发布日期：2019年3月1日
https://dl.acm.org/doi/101109/TSP/2018.2887401
王毅刘Q黄SB元(2019)学习基因表达的结构和功能表示IEEE/ACM计算生物学和生物信息学汇刊10.1109/TCBB.2017.270216116:5(1729-1742)在线发布日期：2019年9月1日
https://dl.acm.org/doi/10.109/TCBB.2017.2702161
伯西马斯D拉潘斯基J波菲莱J(2019)可证明最优稀疏逆协方差估计数学编程：系列A和B2017年10月10日至2010年7月19日至2014年7日184:1-2(491-530)在线发布日期：2019年8月17日
https://dl.acm.org/doi/10.1007/s10107-019-01419-7
郭X张H王毅梁毅(2019)考虑无标度特性的稀疏有向无环图的结构学习计算统计学2007年10月7日/00180-018-0841-834:2(713-742)在线发布日期：2019年6月1日
https://dl.acm.org/doi/10.1007/s00180-018-0841-8
杨Z宁Y刘浩(2018)关于半参数指数族图形模型机器学习研究杂志10.5555/3291125.330961919:1(2314-2372)在线发布日期：2018年1月1日
https://dl.acm.org/doi/10.5555/3291125.3309619
王毅钱伟B元(2018)肺癌中烟雾诱导的整体不稳定性的图形模型IEEE/ACM计算生物学和生物信息学汇刊10.1109/TCBB.2016.2599867号15:1(1-14)在线发布日期：2018年1月1日
https://dl.acm.org/doi/10.109/TCBB.2016.2599867
李Z白J周伟(2018)使用判别集线器图形套索学习高斯图形模型2018 IEEE声学、语音和信号处理国际会议（ICASSP）10.1109/ICASSP.2018.8462390(2471-2475)在线发布日期：2018年4月15日
https://dl.acm.org/doi/10.109/ICASSP.2018.8462390
Tarzanagh D公司米查利迪斯G(2017)基于结构范数最小化的图形模型估计机器学习研究杂志10.5555/3122009.324206618:1(7692-7739)在线发布日期：2017年1月1日
https://dl.acm.org/doi/10.5555/3122009.3242066
显示更多引用者

视图选项

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

获取访问权限

登录选项

请检查您是否可以通过登录凭据或您的机构访问此文章以获得完全访问权限。

完全访问权限

获取此文章

媒体

数字

其他

桌子

查看问题目录