球面上基于一致性的优化:收敛到全局极小化和机器学习

马西莫·福纳西耶(Massimo Fornasier)、洛伦佐·帕雷斯基(Lorenzo Pareschi)、黄慧(Hui Huang)、菲利普·苏内恩(Philippe Sünnen)。

年份:2021年,数量:22,版本:237,页码:1−55


摘要

我们研究了球面上非凸函数全局优化的一种新的随机Kuramoto-Vicsek型模型的实现。该模型属于基于共识的优化。事实上,粒子在球体上移动是由向瞬时一致点的漂移驱动的,该一致点是由粒子位置的凸组合计算得出的,根据拉普拉斯原理由代价函数加权,它表示对全局极小值的近似。动力学被随机向量场进一步扰动,以利于探索,其方差是粒子到一致点距离的函数。特别是,一旦达成共识,随机成分就会消失。本文的主要结果是在初始数据准备良好的条件下,证明了数值格式收敛于全局极小值。该证明将以往的平均场极限结果与新的渐近分析以及SDE数值方法的经典收敛结果相结合。我们给出了几个数值实验,结果表明,本文提出的算法在维数上具有很好的伸缩性,并且非常通用。为了量化新方法的性能,我们表明,在信号处理和机器学习中的挑战性问题,即相位恢复问题和鲁棒子空间检测问题中,该算法基本上能够与最新的特别方法表现一样好。

PDF格式 BibTeX公司 代码