×

受限Boltzmann机器的翻转状态转换运算符。 (英语) Zbl 1293.68217号

摘要:限制玻尔兹曼机器(RMBs)的大多数学习和采样算法都依赖于使用吉布斯采样的马尔可夫链蒙特卡罗(MCMC)方法。最突出的例子是对比发散学习(CD)及其变体以及平行回火(PT)。这些方法的性能在很大程度上取决于吉布斯链的混合特性。我们提出了一种Metropolis型MCMC算法,该算法依赖于最大化状态变化概率的转移算子。结果表明,该算子诱导了一个不可约的非周期马尔可夫链,因此也适用于通常使用的周期更新方案。过渡算子可以代替RBM学习算法中的Gibbs采样,而不会产生计算开销。经验表明,这会导致更快的混合,进而实现更准确的学习。

MSC公司:

68T05型 人工智能中的学习和自适应系统
60J10型 马尔可夫链(离散状态空间上的离散时间马尔可夫过程)
65二氧化碳 蒙特卡罗方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Bengio,Y.和Delalleau,O.(2009年)。证明和概括对比差异。神经计算,21(6),1601-1621·Zbl 1183.68463号 ·doi:10.1162/neco.2008.11-07-647
[2] Bengio,Y.、Mesnil,G.、Dauphin,Y.和Rifai,S.(2013)。通过深度表达实现更好的混合。机器学习研究研讨会和会议记录杂志,28(1),552-560。
[3] Brémaud,P.(1999)。马尔可夫链:吉布斯场、蒙特卡罗模拟和队列。柏林:斯普林格·Zbl 0949.60009号
[4] Breuleux,O.、Bengio,Y.和Vincent,P.(2011)。从RBM衍生流程中快速生成代表性样本。神经计算,23(8),2058-2073·doi:10.1162/NECO_a_00158
[5] Cho,K。;Raiko,T。;Ilin,A.,《平行回火对学习受限Boltzmann机器有效》,3246-3253(2010),纽约
[6] Desjardins,G.、Courville,A.、Bengio,Y.、Vincent,P.和Dellaleau,O.(2010年)。用于训练受限Boltzmann机器的平行回火。机器学习研究研讨会和会议论文集9(AISTATS 2010),145-152。
[7] Fischer,A。;伊格尔,C。;Diamantaras,K.(编辑);Duch,W.(编辑);Iliadis,L.S.(编辑),《基于Gibbs抽样的受限Boltzmann机器学习算法发散的实证分析》,第6354、208-217号(2010),柏林
[8] Fischer,A.和Igel,C.(2011年)。限制对比分歧学习的偏见。神经计算,23664-673·Zbl 1226.62092号 ·doi:10.1162/NECO_a_00085
[9] Hinton,G.E.(2002年)。通过最小化对比差异来培训专家产品。神经计算,第14期,1771-1800页·Zbl 1010.68111号 ·网址:10.1162/089976602760128018
[10] Hinton,G.E.和Salakhutdinov,R.R.(2006)。利用神经网络降低数据的维数。《科学》,313(5786),504-507·Zbl 1226.68083号 ·doi:10.1126/science.1127647
[11] Igel,C.、Glasmachers,T.和Heidrich-Meisner,V.(2008)。《机器学习研究杂志》,1993年9月至1996年·Zbl 1225.68188号
[12] Liu,J.S.(1996)。与拒绝抽样和重要性抽样进行比较的大都市化独立抽样。统计与计算,6113-119·doi:10.1007/BF00162521
[13] 麦凯,D.J.C.(2002)。信息理论、推理和学习算法。剑桥:剑桥大学出版社。
[14] Neal,R.M.(1993)。使用马尔可夫链蒙特卡罗方法进行概率推断。多伦多大学计算机科学系技术报告CRG-TR-93-1。
[15] Peskun,P.H.(1973)。使用马尔可夫链的最佳蒙特卡罗抽样。《生物特征》,60(3),607-612·Zbl 0271.62041号 ·doi:10.1093/biomet/60.3607
[16] Salakhutdinov,R。;Bengio,Y.(编辑);Schuurmans,D.(编辑);Lafferty,J.(编辑);Williams,C.K.I.(编辑);Culotta,A.(编辑),《使用回火跃迁在马尔可夫随机场中学习》,第22期,1598-1606(2010)
[17] 斯莫伦斯基,P。;Rumelhart,D.E.(编辑);McClelland,J.L.(编辑),《动力系统中的信息处理:和谐理论的基础》,194-281(1986),剑桥
[18] 汤普森,M.B.(2010)。计算自相关时间的方法的比较。多伦多大学统计系技术代表1007。
[19] 汤普森,M.B.(2011)。SamplerCompare简介。统计软件杂志,43(12),1-10。
[20] Tieleman,T。;Cohen,W.W.(编辑);McCallum,A.(编辑);Roweis,S.T.(编辑),使用似然梯度近似值训练受限Boltzmann机器,1064-1071(2008),纽约
[21] Tieleman,T。;辛顿,G.E。;Pohoreckyj Danyluk,A.(编辑);Bottou,L.(编辑);Littman,M.L.(编辑),《使用快速权重改善持续对比度差异》,1033-1040(2009),纽约
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。