杰奎琳·谢尔顿（Jacquelyn A.Shelton）。;简·加斯豪斯;戴振文;约格·吕克;亚瑟·格雷顿 GP选择：使用自适应子空间预选加速EM。 （英文） Zbl 1456.68166号 神经计算。 2017年第8期第29期第2177-2202页. 小结：我们提出了一种非参数方法，用于在潜在状态数非常大的情况下，在生成图形模型中实现快速推理。该方法基于迭代潜在变量预选，其中，我们交替学习一个选择函数来揭示相关的潜在变量，并使用它来获得EM的后验分布的紧凑近似值。这可以使推断可能的潜在状态的数量成为可能，例如，潜在变量的数量是指数的，然而，精确的方法在计算上是不可行的。通过高斯过程回归，我们完全从观测数据和当前期望最大化状态中学习选择函数。这与早期的方法形成了鲜明对比，早期的方法是为每个问题设置手动设计选择功能。我们表明，我们的方法在各种推理问题上的性能与这些定制的选择函数一样好。特别是对于具有挑战性的对于带有遮挡的分层对象定位模型，我们以更低的计算成本获得了与定制的最新选择方法相匹配的结果。 引用于2文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 62G05型 非参数估计 62H22个 概率图形模型 软件：线圈100;GPS-ABC公司 PDF格式BibTeX公司 XML格式引用 \textit{J.A.Shelton}等人，《神经计算》。29，第8号，2177--2202（2017；Zbl 1456.68166） 全文： 内政部 arXiv公司 链接 参考文献： [1] Bornschein，J.、Hennies，M.和Lücke，J.（2013）。V1简单细胞是否针对视觉闭塞进行了优化？比较研究。《公共科学图书馆·计算生物学》，9（6），e1003062， [2] Bottou，L.和Bousquet，O.（2008年）。大规模学习的权衡。J.C.Platt、D.Koller、Y.Singer和S.T.Roweis（编辑），《神经信息处理系统的进展》，20（第161-168页）。马萨诸塞州剑桥：麻省理工学院出版社。 [3] Currin，C.、Mitchell，T.、Morris，M.和Ylvisaker，D.（1991年）。确定性函数的贝叶斯预测，应用于计算机实验的设计和分析。美国统计协会杂志，86（416），953-963， [4] Dai，Z.（2016）。高斯混合模型上的GP-select演示。 [5] Dai，Z.、Damianou，A.、Hensman，J.和Lawrence，N.（2014）。具有并行化和GPU加速的高斯进程模型。在NIPS现代非参数研讨会：自动化学习管道。 [6] Dai，Z.、Exarchakis，G.和Lücke，J.（2013）。图像补丁的不变遮挡成分是什么？概率生成方法。C.Burges、L.Bottou、M.Welling、Z.Ghahramani和K.Weinberger（编辑），《神经信息处理系统的进展》，26（第243-251页）。纽约州红钩市：Curran。 [7] Dai，Z.和Lücke，J.（2012a）。自动清理损坏的扫描文档：生成建模方法。《IEEE计算机视觉和模式识别会议记录》（第3338-3345页）。新泽西州皮斯卡塔韦：IEEE。 [8] Dai，Z.和Lücke，J.（2012年b）。翻译不变闭塞成分的无监督学习。《IEEE计算机视觉和模式识别会议论文集》（第2400-2407页）。新泽西州皮斯卡塔韦：IEEE。 [9] Dai，Z.和Lücke，J.（2014）。自动文档清理：重建严重损坏的扫描文本的生成方法。IEEE模式分析和机器智能汇刊，36（10），1950-1962， [10] Dayan，P.、Hinton，G.E.、Neal，R.M.和Zemel，R.S.（1995）。亥姆霍兹机器。神经计算，7889-904， [11] Dempster，A.P.、Laird，N.M.和Rubin，D.B.（1977年）。通过EM算法获得不完整数据的最大似然（讨论后）。英国皇家统计学会杂志B，39，1-38·Zbl 0364.62022号 [12] Elad，M.和Aharon，M.（2006年）。通过学习字典上的稀疏和冗余表示进行图像去噪。事务处理。图。程序。，15(12), 3736-3745. , [13] Exarchakis，G.、Henniges，M.、Eggert，J.和Lücke，J.（2012年）。三值稀疏编码。在LVA/ICA中，计算机科学课堂讲稿（第204-212页）。纽约：斯普林格， [14] Fine，S.和Scheinberg，K.（2001年）。使用低阶核表示的高效SVM训练。机器学习研究杂志，2，243-264·Zbl 1037.68112号 [15] Goodfellow，I.J.、Courville，A.和Bengio，Y.（2013年）。针对无监督特征学习，放大尖峰和实验室模型。IEEE模式分析和机器智能汇刊，35（8），1902-1914， [16] Gutmann，M.U.和Corander，J.（2015）。基于模拟器的统计模型无似然推理的贝叶斯优化（技术报告）。赫尔辛基：赫尔辛基大学。http://arxiv.org/abs/1501.03291。 ·兹比尔1392.62072 [17] Henniges，M.、Puertas，G.、Bornschein，J.、Eggert，J.和Lücke，J.（2010）。二进制稀疏编码。《LVA/ICA会议录》，LNCS 6365（第450-457页）。纽约：斯普林格， [18] Henniges，M.、Turner，R.E.、Sahani，M.、Eggert，J.和Lücke，J.（2014）。有效的闭塞成分分析。《机器学习研究杂志》，第15期，2689-2722页·Zbl 1319.62120号 [19] Hensman，J.、Fusi，N.和Lawrence，N.（2013年）。大数据的高斯过程。第二十届人工智能不确定性会议论文集。Bright博士。 [20] Hensman，J.、Rattray，M.和Lawrence，N.D.（2012年）。共轭指数族中的快速变分推理。P.L.Bartlett、F.C.N.Pereira、C.J.C.Burges、L.Bottou和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，25（第2897-2905页）。纽约州红钩市：Curran。 [21] Hinton，G.E.、Dayan，P.、Frey，B.J.和Neal，R.M.（1995）。无监督神经网络的“唤醒-休眠”算法。《科学》，2681158-1161， [22] Kingma，D.P.和Welling，M.（2014）。通过贝叶斯网和神经网络之间的转换实现高效的基于梯度的推理。在第31届国际机器学习会议论文集（第1782-1790页）。 [23] Körner，E.、Gewaltig，M.O.、Könerer，U.、Richter，A.和Rodemann，T.（1999）。新皮质结构中的计算模型。神经网络，12，989-1005， [24] Lawrence，N.、Seeger，M.和Herbrich，R.（2002）。快速稀疏高斯处理方法：信息向量机。S.Becker、S.Thrun和K.Obermayer（编辑），《神经信息处理系统的进展》，15（第609-616页）。马萨诸塞州剑桥：麻省理工学院。 [25] Le，Q.、Sarlos，T.和Smola，A.J.（2013）。Fastfood：计算希尔伯特空间展开的对数线性时间。《第30届机器学习国际会议论文集》（第244-252页）。 [26] LeCun，Y.MNIST手写数字数据库。 [27] Lücke，J.和Eggert，J.（2010）。期望截断和生成模型训练中预选的好处。机器学习研究杂志，112855-2900·Zbl 1242.62010年 [28] Lücke，J.和Sahani，M.（2008年）。非线性成分提取的最大原因。机器学习研究杂志，9，1227-1267·Zbl 1225.68198号 [29] Mairal，J.、Bach，F.、Ponce，J.和Sapiro，G.（2009年）。用于稀疏编码的在线字典学习。第26届国际机器学习年会论文集（第689-696页）·Zbl 1242.62087号 [30] Mairal，J.、Bach，F.、Ponce，J.，Sapiro，G.和Zisserman，A.（2009年）。用于图像恢复的非局部稀疏模型。IEEE第十二届计算机视觉国际会议（第2272-2279页）。新泽西州皮斯卡塔韦：IEEE， [31] Meeds，E.和Welling，M.（2014年）。GPS-ABC：高斯过程替代近似贝叶斯计算。《第三十届人工智能不确定性会议论文集》（第593-602页）。 [32] Mnih，A.和Gregor，K.（2014）。信念网络中的神经变分推理和学习。第31届国际机器学习会议记录（第1791-1799页）。 [33] Neal，R.和Hinton，G.（1998年）。EM算法视图，用于证明增量、稀疏和其他变量的合理性。在M.I.Jordan（Ed.）中，学习图形模型。纽约：Kluwer·Zbl 0916.62019号 [34] Nene，S.A.、Nayar，S.K.和Murase，H.（1996年）。哥伦比亚物体图像库（COIL-100）（技术报告，CUCS-006-96）。纽约：哥伦比亚大学计算机科学系。 [35] Olshausen，B.和Field，D.（1997）。基集过完备的稀疏编码：V1采用的策略？视觉研究，37（23），3311-3325， [36] Raina，R.、Battle，A.、Lee，H.、Packer，B.和Ng，A.Y.（2007年）。自学学习：从未标记的数据中转移学习。第24届国际机器学习会议记录（第759-766页）。纽约：ACM， [37] Rasmussen，C.E.和Williams，C.K.I.（2005）。机器学习的高斯过程。马萨诸塞州剑桥：麻省理工学院出版社·Zbl 1177.68165号 [38] Rupp，M.、Tkatchenko，A.、Müller，K.-R.和von Lilienfeld，O.A.（2012年）。利用机器学习快速准确地建模分子雾化能量。物理学。修订稿。，108、058301， [39] Sacks，J.、Welch，W.J.、Mitchell，T.J.和Wynn，H.P.（1989）。计算机实验的设计与分析。统计师。科学。，4(4), 433-435. , ·兹比尔0955.62619 [40] Schwaighofer，A.、Tresp，V.和Yu，K.（2004）。通过层次贝叶斯学习高斯过程核。L.K.Saul、Y.Weiss和L.Bottou（编辑），《神经信息处理系统进展》17（第1209-1216页）。马萨诸塞州剑桥：麻省理工学院出版社。 [41] Sheikh，A.-S.、Shelton，J.和Lücke，J.（2014）。一种用于尖峰和盲稀疏编码的截断EM方法。机器学习研究杂志，15，2653-2687·Zbl 1319.62054号 [42] Shelton，J.、Bornschein，J.，Sheikh，A.-S.、Berkes，P.和Lücke，J.（2011）。选择和样本：一个有效的神经推理和学习模型。J.Shawe-Taylor、R.S.Zemel、P.L.Bartlett、F.Pereira和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，24（第2618-2626页）。纽约州红钩市：Curran。 [43] Shelton，J.、Sterne，P.、Bornschein，J.，Sheikh，A.-S.和Lücke，J.（2012）。为什么选择MCA？神经似然图像编码中的非线性稀疏编码。F.Pereira、C.J.C.Burges、L.Bottou和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，25（第2285-2293页）。纽约州红钩市：Curran。 [44] Shelton，J.A.、Sheikh，A.-S.、Bornschein，J.、Sterne，P.和Lücke，J.（2015）。用于可解释图像编码的非线性尖峰-平顶稀疏编码。公共科学图书馆一期，10（5），1-25， [45] Snoek，J.，Rippel，O.，Swersky，K.，Kiros，R.，Satish，N.，Narayanan Sundaram，M.，…Adams，R..（2015）。使用深度神经网络的可扩展贝叶斯优化（技术报告）。马萨诸塞州剑桥：哈佛大学。http://arxiv.org/abs/1502.05700。 [46] Titsias，M.和Lázaro-Gredilla，M.（2011）。用于多任务和多核学习的尖峰和平板变分推理。J.Shawe-Taylor、R.S.Zemel、P.L.Bartlett、F.Pereira和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，24（第2510-2518页）。 [47] Wilkinson，R.D.（2014）。使用高斯过程加速ABC方法。（技术报告）。谢菲尔德：谢菲尔德大学。http://arxiv.org/abs/1401.1436。 [48] Yuille，A.和Kersten，D.（2006年）。视觉作为贝叶斯推理：综合分析？认知科学趋势，10（7），301-308， [49] Zhang，Y.、Duchi，J.C.和Wainwright，M.J.（2014）。分治核岭回归：具有最小最大最优速率的分布式算法（技术报告）。加州伯克利大学。http://arxiv.org/abs/11305.5029。 ·Zbl 1351.62142号 [50] Zylberberg，J.、Murphy，J.和Deweese，M.（2011年）。具有突触局部可塑性和尖峰神经元的稀疏编码模型可以解释V1简单细胞感受野的不同形状。《公共科学图书馆·计算生物学》，7（10），e1002250， 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。