×
横井洋子;大冢、高沼;Issei佐藤

变换随机梯度MCMC的弱逼近。 （英语） Zbl 07289243号

马赫。学习。 109，编号9-10，1903-1923（2020）.
摘要：随机梯度朗之万动力学（SGLD）是一种计算效率高的采样方法，用于在给定大规模数据集和复杂模型的情况下进行贝叶斯后验推断。虽然SGLD是为无界随机变量设计的，但实际模型通常包含有界域中的变量，例如非负或有限区间。使用变量转换是处理此类有界变量的典型方法。本文揭示了文献中常用的几种映射方法从理论和实证角度产生了错误的样本。我们表明，使用可逆Lipschitz映射函数离散化时随机变量的变化克服了这个缺陷，并获得了弱收敛性，而其他方法在数值上不稳定或无法从理论上证明。实验表明，该方法对潜在变量有界的广泛使用的模型有效，包括贝叶斯非负矩阵分解和二元神经网络。

MSC公司：

2015年1月62日 贝叶斯推断
60J22型 马尔可夫链中的计算方法

关键词：

随机梯度MCMC;转型;收敛性分析;Itóprocess公司

软件：

Hyperopt公司;二进制连接;时尚-MNIST
PDF格式BibTeX公司 XML格式引用
\textit{S.Yokoi}等人，马赫。学习。109，编号9-10，1903-1923（2020；Zbl 07289243）
全文： 内政部

参考文献：

[1] Ahn，S.、Koratikara，A.、Liu，N.、Rajan，S.和Welling，M.（2015）。基于随机梯度MCMC的大规模分布式贝叶斯矩阵分解。第21届ACM SIGKDD知识发现和数据挖掘国际会议（KDD’15）论文集，9-18。
[2] Bergstra，J.S.、Bardenet，R.、Bengio，Y.和Kégl，B.（2011年）。超参数优化算法。神经信息处理系统进展，242546-2554。
[3] Blei，D.M.、Ng，A.Y.和Jordan，M.I.（2003年）。潜在Dirichlet分配。机器学习研究杂志，3，993-1022·Zbl 1112.68379号
[4] Brosse，N.、Durmus，A.、Moulines，É.和Pereyra，M.（2017）。使用近端Langevin Monte Carlo从具有紧支撑的对数曲线分布中采样。2017年学习理论会议记录，319-342。
[5] Bubeck，S.、Eldan，R.和Lehec，J.（2015）。投影Langevin Monte Carlo的有限时间分析。神经信息处理系统进展，281243-1251。
[6] Bubeck，S.、Eldan，R.和Lehec，J.（2018年）。使用投影朗之万蒙特卡罗从对数曲线分布中采样。离散与计算几何，59（4），757-783·Zbl 1397.65010号
[7] Cemgil，A.T.（2009年）。非负矩阵分解模型的贝叶斯推断。计算智能和神经科学。10.1155/2009/785152.
[8] Courbariaux，M。；Y.本吉奥。；David，JP，Binaryconnect:在传播过程中使用二进制权重训练深层神经网络，《神经信息处理系统进展》，28，3123-3131（2015）
[9] Durmus，A。；Moulines女士。；Pereyra，M.，《利用近端马尔可夫链蒙特卡罗进行高效贝叶斯计算：当朗之万遇到莫罗时》，SIAM成像科学杂志，11，1，473-506（2018）·Zbl 1401.65016号 ·doi:10.1137/16M1108340
[10] Gardiner，C.，《随机方法：自然科学和社会科学手册》（2009年），柏林：Spinger，柏林·Zbl 1181.60001号
[11] Hubara，I.、Courbariaux，M.、Soudry，D.、El-Yaniv，R.和Bengio，Y.（2016）。二值化神经网络。神经信息处理系统进展，294107-4115。
[12] Iacus，SM，《随机微分方程的模拟和推断》（2008），纽约：Springer-Verlag出版社，纽约·Zbl 1210.62112号
[13] Itó，K.（1944年）。随机积分。东京帝国学院学报·Zbl 0060.29105号
[14] Lecun，Y.、Bottou，L.、Bengio，Y.和Haffner，P.（1998）。基于梯度的学习应用于文档识别。IEEE会议记录，86，2278-2324。
[15] Ma，Y.A.、Chen，T.和Fox，E.B.（2015）。随机梯度MCMC的完整配方。神经信息处理系统进展，28，2917-2925。
[16] Patterson，S.和Teh，Y.W.（2013）。概率单纯形上的随机梯度黎曼-朗之万动力学。神经信息处理系统进展，26，3102-3110。
[17] Pereyra，M.，《邻近马尔可夫链蒙特卡罗算法，统计与计算》，26，4，745-760（2016）·Zbl 1505.62315号 ·数字对象标识代码：10.1007/s11222-015-9567-4
[18] Sato，I.和Nakagawa，H.（2014）。利用Fokker-Planck方程和Ito过程对随机梯度Langevin动力学进行近似分析。第31届国际机器学习会议（ICML-14）论文集，982-990。
[19] 斯特罗克，D。；Varadhan，S.，多维扩散过程（1979），柏林：施普林格出版社，柏林·Zbl 0426.60069号
[20] Teh，YW；蒂埃里，AH；Vollmer，SJ，随机梯度Langevin动力学的一致性和波动，机器学习研究杂志，17，193-225（2016）·Zbl 1360.60144号
[21] Welling，M.和Teh，Y.W.（2011年）。基于随机梯度Langevin动力学的贝叶斯学习。第28届国际机器学习会议（ICML-11）论文集，681-688。
[22] Xiao，H.、Rasul，K.和Vollgraf，R.（2017）。Fashion-MNIST：用于基准机器学习算法arXiv:1708.07747的新型图像数据集。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。