×
奥默·丹尼斯·阿基尔迪斯;丹·克里斯安;约阿奎因·米格斯

随机无梯度非凸优化的并行序贯蒙特卡罗算法。 （英语） Zbl 1452.62025

统计计算。 30，第6期，1645-1663（2020）.
摘要：我们介绍并分析了一种并行序贯蒙特卡罗方法，用于数值求解优化问题，该优化问题涉及最小化由多个单独分量之和组成的成本函数。所提出的方案是一种随机零阶优化算法，它只需要评估成本函数组成部分的小子集的能力。它可以被描述为一组采样器，生成多个概率测度序列的粒子近似值。这些度量的构造方式是，它们具有相关的概率密度函数，其全局最大值与原始成本函数的全局最小值一致。该算法选择性能最佳的采样器，并使用它来近似成本函数的全局最小值。我们通过分析证明了所得到的估计量几乎肯定收敛于代价函数的全局最小值，并根据生成的蒙特卡罗样本数和搜索空间的维数给出了显式的收敛速度。通过数值例子，我们表明，该算法可以处理具有多个极小值的代价函数，或使用基于梯度的技术难以最小化的宽“平坦”区域的代价函数。

MSC公司：

62-08 统计问题的计算方法
65二氧化碳 蒙特卡罗方法
第65年 并行数值计算
90C26型 非凸规划，全局优化

关键词：

序贯蒙特卡罗;随机优化;非凸优化;无梯度优化;取样

软件：

PRMLT公司;阿达格拉德;亚当;科恩平滑
PDF格式BibTeX公司 XML格式引用
\textit{Ù.D.Akyildiz}等人，《统计计算》。30，第6号，1645--1663（2020；Zbl 1452.62025）
全文： 内政部 arXiv公司

参考文献：

[1] Akyildiz，ØD；Míguez，J.，微动粒子过滤器，统计计算。，30, 2, 305-330 (2020) ·Zbl 1436.62447号
[2] Akyildiz，O.D.，MariñO，I.P.，Míguez，J.：随机优化的自适应噪声重要性采样。摘自：《多传感器自适应处理（CAMSAP）的计算进展》，2017年IEEE第七届国际研讨会，IEEE，第1-5页（2017）
[3] Akyildiz，O.D.，Elvira，V.，Miguez，J.：增量近似法：概率观点。收录：IEEE声学、语音和信号处理国际会议（ICASSP）会议记录，加拿大卡尔加里（2018）
[4] 阿尔基尔，P。；弗里尔，N。；埃弗里特，R。；Boland，A.，Noisy Monte Carlo:具有近似转移核的马尔可夫链的收敛性，统计计算。，26, 1-2, 29-47 (2016) ·Zbl 1342.60122号
[5] 阿佩尔，M。；拉巴雷，R。；Radulovic，D.，关于加速随机搜索，SIAM J.Optim。，14, 3, 708-731 (2004) ·兹比尔1061.65046
[6] Bach，F.，Perchet，V.：高度平滑的零阶在线优化。在：学习理论会议，第257-283页（2016）
[7] Bertsekas，DP，凸优化的增量梯度、次梯度和近似方法：综述，Optim。机器。学习。，2010, 1-38 (2011)
[8] Bishop，CM，模式识别和机器学习（2006），Secaucus:Springer，Secaucs·Zbl 1107.68072号
[9] 博图，L。；FE柯蒂斯；Nocedal，J.，《大规模机器学习的优化方法》，暹罗评论，60，2，223-311（2018）·Zbl 1397.65085号
[10] Chen，C.、Carlson，D.、Gan，Z.、Li，C.和Carin，L.：弥合随机梯度MCMC和随机优化之间的差距。摘自：《人工智能与统计》，第1051-1060页（2016年）
[11] Chen，R.，Wild，S.：噪声凸函数的随机无导数优化。arXiv预印本arXiv:1507.03332（2015）
[12] Conn，A.R.、Scheinberg，K.、Vicente，法律公告：无导数优化简介，MPS-SIAM优化系列，第8卷。SIAM（2009）·Zbl 1163.49001号
[13] Crisan，D。；Míguez，J.，状态空间模型中滤波器密度的粒子核估计，Bernoulli，20,41879-1929（2014）·Zbl 1346.60112号
[14] Crisan，D。；Miguez，J.，离散时间状态空间马尔可夫模型在线参数估计的嵌套粒子滤波器，Bernoulli，24，4，3039-3086（2018）·Zbl 1414.62346号
[15] Del Moral，P.，Feynman-Kac公式：谱系和相互作用粒子系统及其应用（2004），柏林：施普林格，柏林·Zbl 1130.60003号
[16] Del Moral，P。；Doisy，M.，Maslov幂等概率微积分，I，理论概率应用，43，4，562-576（1999）·Zbl 0952.60001号
[17] Del Moral，P。；Doucet，A。；Jasra，A.，顺序蒙特卡罗采样器，J.R.Stat.Soc.Ser。B统计方法。，68, 3, 411-436 (2006) ·Zbl 1105.62034号
[18] Douc，R.，Cappé，O.：粒子滤波重采样方案的比较。收录：图像和信号处理与分析，2005年。ISPA 2005。摘自：IEEE第四届国际研讨会论文集，第64-69页（2005）
[19] 杜奇，J。；哈赞，E。；Singer，Y.，在线学习和随机优化的自适应次梯度方法，J.Mach。《学习研究》，12，2121-2159（2011）·Zbl 1280.68164号
[20] 埃尔维拉，V。；Míguez，J。；Djurić，PM，通过收敛性评估的在线方案调整顺序蒙特卡罗方法中的粒子数，IEEE Trans。信号处理。，65, 7, 1781-1794 (2017) ·Zbl 1414.94183号
[21] 范，J。；Li，R.，《通过非一致惩罚似然进行变量选择及其预言属性》，美国统计协会，96，456，1348-1360（2001）·Zbl 1073.62547号
[22] 加迪米，S。；Lan，G.，非凸随机规划的随机一阶和零阶方法，SIAM J.Optim。，2341-2368年4月23日（2013年）·兹比尔1295.90026
[23] Gürbüzbalaban，M.，Ozdaglar，A.，Parrilo，P.：为什么随机重组胜过随机梯度下降。arXiv预印arXiv:1510.08560（2015）
[24] 汉森，N。；Ostermier，A.，《进化策略中的完全错乱的自我适应》，Evolut。计算。，9, 2, 159-195 (2001)
[25] Hu J，Wang Y，Zhou E，Fu MC，Marcus SI（2012）基于模型的全局优化方法综述。In：Hernández-Hernánde z，D.，Minjárez，J.A.（编辑）《随机系统的优化、控制和应用》，Springer，第157-179页·Zbl 1374.90311号
[26] 伊科宁，E。；Najim，K。；Del Moral，P.，谱系决策树在开环跟踪控制中的应用，IFAC Proc。第38卷，第1卷，第288-293页（2005年）
[27] Kingma，D.P.，Ba，J.：亚当：一种随机优化方法。arXiv:1412.6980（2014）
[28] 柯克帕特里克，S。；盖拉特，CD；Vecchi，MP，《模拟退火优化》，《科学》，220，4598，671-680（1983）·Zbl 1225.90162号
[29] 兰·G。；Yang，Y.，非凸有限和和多块优化的加速随机算法，SIAM J.Optim。，29, 4, 2753-2784 (2019) ·Zbl 1431.90120号
[30] 刘斌，程S，石毅（2016）粒子滤波优化：简介。In:Swarm Intelligence国际会议，Springer，pp 95-104
[31] 马里诺，IP；Míguez，J.，耦合混沌系统中多参数估计的蒙特卡罗方法，物理学。版本E，76，5，057203（2007）
[32] 梅，S。；Bai，Y。；Montanari，A.，《非凸损失的经验风险前景》，《Ann.Stat.》，46，6，2747-2774（2018）·Zbl 1409.62117号
[33] Homem-de Mello，T。；Bayraksan，G.，基于蒙特卡罗抽样的随机优化方法，Surv。操作。资源管理。科学。，19, 1, 56-85 (2014)
[34] Miguez，J.，动态系统优化的序贯蒙特卡罗方法分析，信号处理。，90, 5, 1609-1622 (2010) ·Zbl 1194.94117号
[35] Míguez，J。；Crisan，D。；Djurić，PM，关于最大后验序列估计和随机全局优化的两种序贯蒙特卡罗方法的收敛性，统计计算。，23, 1, 91-107 (2013) ·兹比尔1322.65004
[36] Morse，G.，Stanley，K.O.：简单的进化优化可以与神经网络中的随机梯度下降相媲美。在：《2016年遗传与进化计算大会论文集》，ACM，第477-484页（2016）
[37] Nesterov，Y.，Spokoiny，V.：凸函数的随机无梯度最小化。卢万天主教大学运营研究和计量经济中心（CORE）技术报告（2011年）·Zbl 1380.90220号
[38] 佩雷拉，M。；Schniter，P。；Chouzenoux，E。；佩斯克特，JC；图内雷特，JY；英雄，AO；McLaughlin，S.，《信号处理中随机模拟和优化方法的调查》，IEEE J.Select。顶部。信号处理。，10, 2, 224-241 (2015)
[39] 罗宾斯，H。；Monro，S.，《随机近似方法》，《数学年鉴》。《统计》，22，400-407（1951）·Zbl 0054.05901号
[40] CP罗伯特；Casella，G.，Monte Carlo统计方法（2004），纽约：威利，纽约·Zbl 1096.62003年
[41] Salimans，T.、Ho，J.、Chen，X.、Sidor，S.、Sutskever，I.：进化策略作为强化学习的可扩展替代方案。arXiv预印arXiv:1703.03864（2017）
[42] Shamir，O.：随机梯度法无重置采样。摘自：神经信息处理系统进展，第46-54页（2016年）
[43] Shiryaev，AN，《概率》（1996），柏林：施普林格出版社，柏林
[44] Silverman，BW，《统计和数据分析密度估计》（1998），阿宾顿：劳特利奇，阿宾登
[45] Spall，JC，《随机搜索和优化简介：估计、模拟和控制》（2005），纽约：威利出版社，纽约
[46] Stinis，P.，作为过滤问题的随机全局优化，J.Compute。物理。，231, 4, 2002-2014 (2012) ·Zbl 1242.90148号
[47] Vergé，C。；杜巴里，C。；Del Moral，P。；Moulines，E.，《序贯蒙特卡罗方法的并行实现：岛粒子模型》，统计计算。，25, 2, 243-260 (2015) ·Zbl 1331.65023号
[48] 魔杖，MP；Jones，MC，Kernel Smoothing（1994），博卡拉顿：查普曼和霍尔/CRC，博卡拉顿
[49] Welling，M.，Teh，Y.W.：通过随机梯度朗之万动力学的贝叶斯学习。摘自：《第28届机器学习国际会议论文集》（ICML-11），第681-688页（2011）
[50] Wibisono，A.、Wainwright，M.J.、Jordan，M.I.、Duchi，J.C.：零阶随机优化方法的有限样本收敛速度。In：《神经信息处理系统的进展》，第1439-1447页（2012）
[51] Wierstra博士。；Schaul，T。；Glasmachers，T。；孙，Y。；彼得斯，J。；Schmidhuber，J.，《自然进化战略》，J.Mach。学习。第15号、第1号、第949-980号决议（2014年）·Zbl 1318.68159号
[52] 周，E.，陈，X.：序贯蒙特卡罗模拟退火。J.全球优化。55(1), 101-124 (2013) ·Zbl 1283.90032号
[53] 周，E。；Fu，MC；Marcus，SI，一类随机优化算法的粒子滤波框架，IEEE Trans。自动。控制。，59, 4, 1025-1030 (2013) ·Zbl 1360.90167号
[54] Zinkevich，M.、Weimer，M.，Li，L.、Smola，A.J.：平行随机梯度下降。主题：神经信息处理系统的进展，第2595-2603页（2010年）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。