×

在次二次时间内学习有向非循环图SPN。 (英语) Zbl 1433.68342号

摘要:在本文中,我们提出了一种基于图划分的算法Prometheus,该算法可以有效地创建多个变量分解,用于学习连续域和离散域上的和积网络结构。普罗米修斯继续创建多个候选分解,这些分解用一个非循环有向图紧凑地表示,其中共享不同分解的公共部分。它消除了其他结构学习技术中经常使用的相关阈值超参数,从而使普罗米修斯能够学习在低数据状态下健壮的结构。普罗米修斯在30个离散和连续域上优于其他结构学习技术。我们还扩展了普罗米修斯(Prometheus)以利用特征之间相关性的稀疏性,从而获得一种高效的次二次算法(考虑特征数量),该算法可以更好地扩展到高维数据集。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H22个 概率图形模型
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 阿贝,E。;Bandeira,A.S。;Hall,G.,随机块模型中的精确恢复,IEEE Trans。Inf.理论,62471-487(2016)·Zbl 1359.94047号
[2] 阿德尔,T。;巴尔杜齐,D。;Ghodsi,A.,通过基于SVD的算法学习总和网络的结构,(UAI(2015)),32-41
[3] Bandeira,A.S。;Dobriban,E。;米森,D.G。;Sawin,W.F.,《证明受限等距属性很难》,IEEE Trans。Inf.理论,593448-3450(2013)·Zbl 1364.94109号
[4] 北班萨尔。;Blum,A。;Chawla,S.,相关聚类,马赫。学习。,56, 89-113 (2004) ·Zbl 1089.68085号
[5] Baraniuk,R。;达文波特,M。;DeVore,R。;Wakin,M.,随机矩阵限制等距性的简单证明,Constr。约28253-263(2008年)·Zbl 1177.15015号
[6] Blum,A。;霍普克罗夫特,J。;Kannan,R.,《数据科学基础》(2016),Vorabversion eines Lehrbuchs
[7] 布卢索,A。;Meyerhenke,H。;萨夫罗,I。;桑德斯,P。;Schulz,C.,图划分的最新进展,(算法工程(2016),Springer),117-158
[8] Candes,E.J.,《受限等距特性及其对压缩传感的影响》,C.R.数学。,346, 589-592 (2008) ·Zbl 1153.94002号
[9] Cheng,W.C。;科克,S。;Pham,H.V。;Chieu,H.L。;Chai,K.M.A.,《使用sum-product网络进行语言建模》(国际言语交际协会年度大会(2014年))
[10] Choi,A。;Darwiche,A.,《关于放松算术电路中的决定论》,(第34届机器学习国际会议论文集,第70卷(2017年),JMLR.org),825-833
[11] 科茨,A。;Ng,A。;Lee,H.,无监督特征学习中单层网络的分析,(第十四届国际人工智能与统计会议论文集(2011)),215-223
[12] Cormen,T.H.,《算法导论》(2009),麻省理工学院出版社·Zbl 1187.68679号
[13] Darwiche,A.,《贝叶斯网络中推理的微分方法》,J.ACM,50,280-305(2003)·Zbl 1325.68226号
[14] 丹尼斯。;Ventura,D.,使用变量聚类学习sum-product网络的架构(NIPS(2012))
[15] 丹尼斯·A·W。;文图拉(Ventura,D.),《贪婪结构搜索sum-product网络》(IJCAI(2015)),932-938
[16] 丁,L。;Sohl-Dickstein,J。;Bengio,S.,使用实际NVP估算密度(2016),arXiv预印本
[17] Eldar,Y.C。;Kutyniok,G.,《压缩传感:理论与应用》(2012),剑桥大学出版社
[18] 费尔德曼,A.E。;Foschini,L.,《树的平衡分区与应用》,《算法》,71,354-376(2015)·Zbl 1315.68201号
[19] 菲杜西亚,C.M。;Mattheyses,R.M.,改进网络分区的线性时间启发式,(电子设计自动化二十五年论文,ACM(1988)),241-247
[20] 弗里森,A.L。;Domingos,P.,非凸优化的递归分解,(第24届国际人工智能联合会议论文集(2015)),253-259
[21] Gens,R。;Domingos,P.,sum-product网络的判别学习,(神经信息处理系统进展(2012)),3239-3247
[22] Gens,R。;Domingos,P.,《学习sum-product网络的结构》(ICML(2013)),第873-880页
[23] Hartmann,T.,《GPU上的判别卷积和积网络》(2014),Rheinische Friedrich-Wilhelms-UniversityäT:Rheinisch Frietrich-Willhelms-Uuniversityä》,波恩大学博士论文
[24] 谢长杰。;Sustik,硕士。;迪伦,I.S。;Ravikumar,P.,Quic:稀疏逆协方差估计的二次近似,J.Mach。学习。决议,第15号,第2911-2947页(2014年)·Zbl 1319.65048号
[25] 徐伟。;卡拉,A。;Poupart,P.,《带高斯叶的sum-product网络的在线结构学习》(2017),arXiv预印本
[26] Jaini,P。;Rashwan,A。;赵,H。;刘,Y。;巴尼亚马利,E。;陈,Z。;Poupart,P.,连续变量和生产网络的在线算法,(概率图形模型会议(2016)),228-239
[27] Karger,D.R。;克莱因,P.N。;Tarjan,R.E.,《寻找最小生成树的随机线性时间算法》,美国计算机学会,42321-328(1995)·Zbl 0886.68079号
[28] Kruskal,J.B.,关于图的最短生成子树和旅行商问题,Proc。美国数学。《社会学杂志》,第7期,第48-50页(1956年)·Zbl 0070.18404号
[29] Lee,S.W。;Heo,M.O。;Zhang,B.T.,sum-product网络的在线增量结构学习,(NIPS(2013)),220-227
[30] 梁,Y。;贝克尔,J。;Van den Broeck,G.,学习概率句子决策图的结构,(第33届人工智能不确定性会议论文集(2017))
[31] 梁,Y。;Van den Broeck,G.,学习逻辑电路,AAAI Proc。,1, 3 (2019)
[32] Lin,S。;Kernighan,B.W.,旅行售货员问题的有效启发式算法,Oper。决议,21498-516(1973)·Zbl 0256.90038号
[33] 刘,Z。;罗,P。;王,X。;Tang,X.,《野外深度学习面部特征》(2015年IEEE计算机视觉国际会议论文集),3730-3738
[34] Mazumdar,A。;Saha,B.,带噪声查询的聚类,(神经信息处理系统进展(2017)),5788-5799
[35] Molina,A。;Vergari,A。;Di Mauro,N。;Natarajan,S。;埃斯波西托,F。;Kersting,K.,混合和乘积网络:混合域的深层架构(2018),AAAI论文
[36] Papadimitriou,C.H。;Steiglitz,K.,最大流最小割定理,(组合优化:算法和复杂性(1998),多佛),120-128
[37] 帕帕马卡里奥斯,G。;Pavlakou,T。;Murray,I.,用于密度估计的掩蔽自回归流,(神经信息处理系统进展(2017)),2338-2347
[38] 佩哈兹,R。;盖革,B.C。;Pernkopf,F.,sum-product networks的贪婪部分式学习(Machine learning and Knowledge Discovery in Databases,2013),施普林格出版社,612-627
[39] Poon,H。;Domingos,P.,《Sum-product networks:a new deep architecture》,(2011年IEEE国际计算机视觉研讨会(ICCV Workshops)(2011),IEEE),689-690
[40] 拉赫曼,T。;Gogate,V.,《高产网络的合并策略:从树到图》(UAI(2016))
[41] Rooshenas,A。;Lowd,D.,《学习具有直接和间接变量交互作用的sum-product网络》(ICML(2014),710-718
[42] Salakhutdinov,R。;Hinton,G.E.,《Deep Boltzmann机器》(AISTATS(2009)),448-455
[43] 史J。;Malik,J.,标准化切割和图像分割(2000),部门论文(CIS)107
[44] O.Shwartz。;Nadler,B.,《在次二次时间内检测稀疏协方差矩阵的大条目》,Inf.Inference,5304-330(2016)·Zbl 1386.94037号
[45] 特拉普,M。;佩哈兹,R。;斯科伦,M。;Madl,T。;佩恩科普夫,F。;Trappl,R.,使用无限和积树的和积网络结构推断,(NIPS实用贝叶斯非参数研讨会(2016))
[46] Vergari,A。;Di Mauro,N。;Esposito,F.,《简化、规范和加强sum-product网络结构学习》(ECML-PKDD(2015)),343-358
[47] Wilcoxon,F.,《一些快速近似统计程序》,纽约州科学院。科学。,808-814 (1950)
[48] 法塔希,S。;张瑞云。;Sojoudi,S.,学习大型稀疏图形模型的线性时间算法,IEEE Access,712658-12672(2019)
[49] 赵,H。;Melibari,M。;Poupart,P.,《关于sum-product网络和贝叶斯网络之间的关系》(ICML(2015))
[50] 赵,H。;Poupart,P。;Gordon,G.J.,学习和积网络参数的统一方法,(神经信息处理系统进展(2016)),433-441
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。