×
熊汉晨；桑多·塞德马克；朱斯塔斯·皮亚特

使用持久序列蒙特卡罗学习无向图形模型。 （英语） Zbl 1357.68189号

机器。学习。 103，第2期，239-260（2016）.
摘要：随着持续对比发散、缓和转换和并行缓和等算法的广泛使用，过去十年见证了使用基于采样的近似学习无向图形模型（UGM）的复兴。本文基于Robbins-Monro的随机逼近程序和序贯蒙特卡罗（SMC）的类比，从SMC的角度分析了最新学习算法的优点和局限性。此外，我们在每次迭代的抽样中进一步应用了基本原理，并建议使用持久序列蒙特卡罗（PSMC）。整个学习过程都是基于一个长而持久的分布序列中的样本，这些分布序列是主动构建的。与上述算法相比，基于PSMC的学习的一个关键优点是它可以更有效地探索采样空间。特别是，当学习率大或模型分布高维且因此是多模态时，它是鲁棒的，这通常会导致其他算法恶化。我们用合成数据和真实数据在精心设计的实验上测试了PSMC学习，并将其与相关方法进行了比较。我们的实证结果表明，PSMC通过始终如一地产生最高（或最高）的可能性，与最新技术相比具有优势。我们还在多标签分类和图像分割这两个实际任务上评估了PSMC，在这两个任务中，PSMC表现出了优于其他任务的良好适用性。

MSC公司：

68T05型 人工智能中的学习和自适应系统
2015年1月62日 贝叶斯推断
62升10 顺序统计分析
62L20型 随机近似
65二氧化碳 蒙特卡罗方法

关键词：

序贯蒙特卡罗；最大似然学习；无向图形模型

软件：

统计网
PDF格式BibTeX公司 XML格式引用
\textit{H.Xiong}等人，马赫。学习。103，第2号，239--260（2016；Zbl 1357.68189）
全文： 内政部

参考文献：

[1] Asuncion，A.U.、Liu，Q.、Ihler，A.T.和Smyth，P.（2010年）。粒子过滤MCMC-MLE，与对比发散相关。在国际机器学习会议（ICML）上。
[2] Boutel，M.R.、Luo，J.、Shen，X.和Brown，C.M.（2004）。学习多标签场景分类。模式识别，37（9），1757-1771·doi:10.1016/j.patcog.2004.03.009
[3] Carreira-Perpina，M.A.和Hinton，G.E.（2005年）。关于对比发散学习。在人工智能和统计国际会议上·Zbl 1331.65023号
[4] 肖邦，N.（2002）。静态模型的序列粒子滤波方法。《生物特征》，89（3），539-552·Zbl 1036.62062号 ·doi:10.1093/biomet/89.3.539
[5] Del Moral，P.、Doucet，A.和Jasra，A.（2006年）。连续蒙特卡罗采样器。英国皇家统计学会杂志：B辑（统计方法），68（3），411-436·Zbl 1105.62034号 ·文件编号：10.1111/j.1467-9868.2006.00553.x
[6] Desjardins，G.、Courville，A.、Bengio，Y.、Vincent，P.和Delalleau，O.（2010年）。训练受限Boltzmann机器的回火马尔可夫链蒙特卡罗方法。在AISTATS·Zbl 1036.62062号
[7] Dragomir，S.S.（1999-2000）。通过gruss不等式得到jensens离散不等式的一个逆结果及其在信息论中的应用。奥拉迪亚阿莱莱大学。法斯科。数学。，(7), 179-189. ·Zbl 0054.05901号
[8] Geyer，C.J.（1991）。马尔可夫链蒙特卡罗最大似然。计算机科学与统计：第23届界面研讨会论文集·Zbl 1246.91149号
[9] Handcock，M.S.、Hunter，D.R.、Butts，C.T.、Goodreau，S.M.和Morris，M.（2008）。statnet：用于表示、可视化、分析和模拟网络数据的软件工具。《统计软件杂志》，24（1），1548-7660。
[10] 辛顿，杰弗里·E（2002）。通过最小化对比差异来培训专家产品。神经计算，14（8），1771-1800·Zbl 1010.68111号 ·网址：10.1162/089976602760128018
[11] 贾斯拉（Jasra）、阿杰（Ajay）、斯蒂芬斯（Stephens）、戴维（David A.）、杜塞特（Doucet）、阿尔诺（Arnaud）和察加里斯（Tsagaris）、西奥多罗斯（Theodoros）。(2011). 通过自适应序贯蒙特卡罗推断勒夫驱动的随机波动率模型。斯堪的纳维亚统计杂志，38，1-22·Zbl 1246.91149号 ·数字对象标识代码：10.1111/j.1467-9469.2010.00723.x
[12] Kohli，P.、Ladick，L.和Torr，P.H.（2009）。增强标签一致性的强大高阶潜力。国际计算机视觉杂志，82（3），302-324·doi:10.1007/s11263-008-0202-0
[13] Koller，D.和Friedman，N.（2009年）。概率图形模型：原理和技术。剑桥：麻省理工学院出版社·Zbl 1183.68483号
[14] Kong，A.、Liu，J.S.和Wong，W.H.（1994年）。顺序插补和贝叶斯缺失数据问题。《美国统计协会杂志》，89（425），278-288·Zbl 0800.62166号 ·doi:10.1080/01621459.1994.10476469
[15] Kumar，S.和Hebert，M.（2003年）。使用因果多尺度随机场对自然图像中的人造结构进行检测。在IEEE计算机视觉和模式识别国际会议（CVPR）上，第119-126页·Zbl 1331.65023号
[16] Li，T.、Sun，S.、Sattar，T.P.和Corchado，J.M.（2014）。粒子滤波器中的抗样本退化和贫化：智能方法综述。应用专家系统，41（8），3944-3954·doi:10.1016/j.eswa.2013.12.031
[17] Li，Y.、Tarlow，D.和Zemel，R.（2013）。探索用于结构化输出学习的组合高阶模式潜力。2013年IEEE计算机视觉和模式识别会议记录，第49-56页。
[18] Neal，R.（1994）。使用回火过渡从多峰分布中取样。统计与计算，6353-366·doi:10.1007/BF00143556
[19] Robbins，H.和Monro，S.（1951年）。一种随机近似方法。《数理统计年鉴》，22400-407·Zbl 0054.05901号 ·doi:10.1214/aoms/1177729586
[20] Salakhutdinov，R.（2010年）。使用缓和变换在马尔可夫随机场中学习。神经信息处理系统进展·Zbl 1105.62034号
[21] Salakhutdinov，R.和Murray，I.（2008）。深度信念网络的定量分析。在国际机器学习会议（ICML）上·Zbl 1036.62062号
[22] Christian Schäfer和Nicolas Chopin。(2013). 大二进制采样空间上的序贯蒙特卡罗方法。统计与计算，23（2），163-184·Zbl 1322.62035号 ·doi:10.1007/s11222-011-9299-z
[23] Schwing，A.、Hazan，T.、Pollefeys，M.、Urtasun，R.（2011年）。大规模图形模型的分布式消息传递。计算机视觉和模式识别（CVPR），2011年IEEE会议，第1833-1840页，2011年6月·兹比尔1322.62035
[24] Tieleman，T.（2008）。使用似然梯度近似值训练受限Boltzmann机器。在机器学习国际会议（ICML）上，第1064-1071页·Zbl 0651.62091号
[25] Tieleman，T.和Hinton，G.E.（2009年）。使用快速权重改善持续的对比度差异。在机器学习国际会议（ICML）上（第1033-1040页）。美国纽约：ACM纽约。
[26] Vergé、Christelle、Dubarry、Cyrille、Del Moral、Pierre和Moulines、Eric。(2015). 顺序蒙特卡罗方法的并行实现：岛粒子模型。统计与计算，25（2），243-260·Zbl 1331.65023号 ·doi:10.1007/s11222-013-9429-x
[27] Wainwright，M.J.和Jordan，M.I.（2008年）。图形模型、指数族和变分推理。机器学习基础与趋势[^{\textregistered}\]®，1（1-2），1-305·Zbl 1193.62107号
[28] Younes，L.（1988）。吉布斯场的估计和退火。《亨利·彭卡机构年鉴》（B）《概率与统计》，24（2），269-294·Zbl 0651.62091号
[29] 亚利桑那州尤耶；Kohli，P.（编辑）；Blake，A.（编辑）；Rother，C.（编辑），信念传播，平均场和贝特近似（2011），剑桥
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。