×

超曲面上基于一致性的优化:适定性和平均场极限。 (英语) Zbl 1467.90039号

摘要:我们引入了一种新的随机微分模型,用于紧超曲面上非凸函数的全局优化。该模型受随机Kuramoto-Vicsek系统的启发,属于基于一致性的优化方法。事实上,粒子在超曲面上移动是由向瞬时一致点的漂移驱动的,该一致点是根据拉普拉斯原理由代价函数加权的粒子位置的凸组合计算得出的。共识点表示近似于全局极小值。动力学被随机向量场进一步扰动,以利于探索,其方差是粒子到一致点距离的函数。特别是,一旦达成共识,随机成分就会消失。本文研究了该模型的适定性,并严格推导了其大粒子极限的平均场近似。

MSC公司:

90C26型 非凸规划,全局优化
34F05型 常微分方程和随机系统
70年第35季度 与粒子力学和粒子系统相关的偏微分方程
84年第35季度 福克-普朗克方程
第35季度 与控制和优化相关的PDE
37号40 最优化和经济学中的动力系统
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Aarts,E.和Korst,J.,《模拟退火和Boltzmann机器:组合优化和神经计算的随机方法》(John Wiley&Sons,Inc.,1989)·Zbl 0674.90059号
[2] Albi,G.,Bellomo,N.,Fermo,L.,Ha,S.-Y.,Kim,J.,Pareschi,L.、Poyato,D.和Soler,J.《车辆交通、人群和蜂群:从动力学理论和多尺度方法到应用和研究前景》,数学。模型方法应用。科学29(2019)1901-2005·Zbl 1431.35211号
[3] Albi,G.、Pareschi,L.、Toscani,G.和Zanella,M.,《舆论建模的最新进展:控制和社会影响》(Springer,2017),第49-98页。
[4] Aldana,M.和Huepe,C.,《自驱动多粒子系统和相关非平衡模型的相变:网络方法》,J.Stat.Phys.112(2003)135-153·Zbl 1035.82033号
[5] Ambrosio,L.、Gigli,N.和Savaré,G.,《梯度流:度量空间和概率测度空间》(Springer Science&Business Media,2008)·Zbl 1145.35001号
[6] Back,T.、Fogel,D.B.和Michalewicz,Z编辑,《进化计算手册》,第1版。(IOP出版有限公司,1997年)·Zbl 0883.68001号
[7] Bellomo,N.和Dogbe,C.,《关于交通和人群建模:模型、推测和视角的调查》,SIAM Rev.53(2011)409-463·Zbl 1231.90123号
[8] Bellomo,N.、Piccoli,B.和Tosin,A.,《从复杂系统观点建模人群动力学》,数学。模型方法应用。科学22(2012)1230004·Zbl 1252.35192号
[9] Bengio,Y.,Simard,P.,Frasconi,P.等人,学习梯度下降的长期依赖性是困难的,IEEE Trans。神经网络5(1994)157-166。
[10] Blum,C.和Roli,A.,组合优化中的元启发式:概述和概念比较,ACM Comput。Surv公司。(CSUR)35(2003)268-308。
[11] Bolley,F.、Canizo,J.A.和Carrillo,J.A.,《随机平均场极限:非利普希茨力和群集》,数学。模型方法应用。科学21(2011)2179-2210·Zbl 1273.82041号
[12] Bolley,F.、Cañizo,J.A.和Carrillo,J.A.,随机Vicsek模型的Mean-field极限,应用。数学。Lett.25(2012)339-343·Zbl 1239.91127号
[13] Carrillo,J.A.、Choi,Y.-P.、Totzeck,C.和Tse,O.,基于共识的全局优化方法的分析框架,数学。模型方法应用。科学28(2018)1037-1066·Zbl 1397.35311号
[14] Carrillo,J.A.、Fornasier,M.、Rosado,J.和Toscani,G.,动力学Cucker-Smale模型的渐近群集动力学,SIAM J.Math。分析42(2010)218-236·Zbl 1223.35058号
[15] Carrillo,J.A.、Jin,S.、Li,L.和Zhu,Y.,一种基于共识的高维机器学习问题全局优化方法,ESAIM Control Optim。计算变量(2020年),https://doi.org/10.1051/cocv/202046。 ·Zbl 1480.60195号
[16] Chen,Y.,Chi,Y.、Fan,J.和Ma,C.,随机初始化梯度下降:非凸相位恢复的快速全局收敛,数学。计划176(2019)5-37·Zbl 1415.90086号
[17] Couzin,I.、Krause,J.、James,R.、Ruxton,G.和Franks,N.,《动物群体中的集体记忆和空间排序》,J.Theor。生物.218(2002)1-11。
[18] Cucker,F.和Smale,S.,《群体中的紧急行为》,IEEE Trans。自动化。Control52(2007)852-862·Zbl 1366.91116号
[19] Degond,P.、Frouvelle,A.和Liu,J.-G.,自组织排列动力学的相变、滞后和双曲线,Arch。定额。机械。分析216(2015)63-115·2017年11月13日
[20] Degond,P.和Motsch,S.,具有取向相互作用的自驱动粒子的连续极限,数学。模型方法应用。科学.18(2008)1193-1215·Zbl 1157.35492号
[21] Dembo,A.和Zeitouni,O.,《大偏差技术与应用》(Springer-Verlag,2010年)·Zbl 1177.60035号
[22] Demlow,A.和Dziuk,G.,隐式定义曲面上Laplace-Beltrami算子的自适应有限元方法,SIAM J.Numer。分析45(2007)421-442·兹比尔1160.65058
[23] Dorigo,M.和Blum,C.,《蚁群优化理论:调查》,《理论》。计算。科学344(2005)243-278·Zbl 1154.90626号
[24] Durrett,R.,《随机微积分:实用导论》(CRC出版社,2018)·Zbl 0856.60002号
[25] Emery,M.和Meyer,P.,《流形中的随机微积分》(Springer-Verlag,1989)·Zbl 0697.60060号
[26] Fetecau,R.C.,Huang,H.和Sun,W.,有界区域上Keller-Segel方程的混沌传播,J.微分方程266(2019)2142-2174·Zbl 1421.35381号
[27] Figalli,A.,Kang,M.-J.和Morales,J.,空间均匀Kolmogorov-Vicsek模型作为梯度流的全局适定性,Arch。定额。机械。分析227(2018)869-896·Zbl 1384.35130号
[28] Fogel,D.B.,《进化计算:走向机器智能的新哲学》(Wiley-IEEE出版社,2006年)·Zbl 0926.68052号
[29] M.Fornasier、H.Huang、L.Pareschi和P.Sünnen,基于共识的球面优化:收敛到全局极小值和机器学习,预印本(2020),arXiv:20011.88。
[30] Gamba,I.M.和Kang,M.-J.,具有定向相互作用的Kolmogorov-Vicsek型方程的整体弱解,Arch。定额。机械。分析222(2016)317-342·Zbl 1348.35276号
[31] Gendreau,M.和Potvin,J.-Y.,《元启发式手册》,第二版。(Springer Publishing Company,Incorporated,2010)·兹比尔1198.90002
[32] Gilbarg,D.和Trudinger,N.S.,《二阶椭圆偏微分方程》(Springer,2015)·Zbl 0361.35003号
[33] Ha,S.-Y.,Jin,S.和Kim,D.,基于一阶共识的全局优化算法的收敛性,数学。模型方法应用。科学。(2020), https://doi.org/10.1142/S021820520500463。 ·Zbl 1467.90040号
[34] Hastings,W.K.,《使用马尔可夫链的蒙特卡罗采样方法及其应用》,《生物统计学》57(1970)97-109·Zbl 0219.65008号
[35] Helbing,D.,《定量社会动力学:社会互动过程的随机方法和模型》(Springer Science&Business Media,2010)·Zbl 1213.91002号
[36] Holland,J.H.,《自然和人工系统的适应:生物学、控制和人工智能应用的介绍性分析》(麻省理工学院出版社,1992年)。
[37] Holley,R.和Strock,D.,通过Sobolev不等式模拟退火,Commun。数学。《物理学》115(1988)553-569·Zbl 0643.60092号
[38] Holm,D.D.和Putkaradze,V.,《有限尺寸粒子自聚集中团块和斑块的形成》,Phys。D: 非线性现象220(2006)183-196·Zbl 1125.82021号
[39] Huang,H.和Liu,J.-G.,Keller-Segel方程随机粒子团方法的误差估计,数学。计算结果86(2017)2719-2744·兹比尔1368.65207
[40] Huang,H.,Liu,J.-G.和Lu,J.,《学习相互作用粒子系统:聚集方程的扩散参数估计》,数学。模型方法应用。科学29(2019)1-29·Zbl 1412.65171号
[41] Kennedy,J.,粒子群优化,机器学习百科全书(Springer,2010),第760-766页。
[42] Kirkpatrick,S.、Gelatt,C.D.和Vecchi,M.P.,《模拟退火优化》,《科学》220(1983)671-680·Zbl 1225.90162号
[43] Kuramoto,Y.,耦合非线性振子群的自卷吸,《国际交响乐》。理论物理中的数学问题(Springer,1975),第420-422页·Zbl 0335.34021号
[44] Lee,J.D.,Panageas,I.,Piliouras,G.,Simchowitz,M.,Jordan,M.I.和Recht,B.,一阶方法几乎总是避免严格的鞍点,数学。计划176(2019)311-337·Zbl 1415.90089号
[45] S.Liu、D.Papailiopoulos和D.Achlioptas,存在坏的全局极小值,SGD可以达到它们,预印本(2019),arXiv:1906.02613。
[46] Miller,P.D.,《应用渐近分析》,第75卷(美国数学学会,2006年)·Zbl 1101.41031号
[47] Motsch,S.和Tadmor,E.,《嗜异性动力学增强共识》,SIAM Rev.56(2014)577-621·Zbl 1310.92064号
[48] Nelder,J.A.和Mead,R.,函数最小化的单纯形方法,计算。《期刊》7(1965)308-313·Zbl 0229.65053号
[49] Pinnau,R.、Totzeck,C.、Tse,O.和Martin,S.,基于共识的全局优化模型及其平均场极限,数学。模型方法应用。科学27(2017)183-204·Zbl 1388.90098号
[50] Poli,R.、Kennedy,J.和Blackwell,T.,《粒子群优化》,swarm Intell.1(2007)33-57。
[51] Rastrigin,L.A.,多参数系统外部控制中随机搜索方法的收敛性,Autom。远程控制24(1963)1337-1342。
[52] Sznitman,A.-S.,《混沌传播的主题》,载于《圣弗洛尔概率学院XIX1989》(Springer,1991),第165-251页·Zbl 0732.60114号
[53] Vicsek,T.、Czirók,A.、Ben-Jacob,E.、Cohen,I.和Shochet,O.,《自驱动粒子系统中的新型相变》,Phys。修订稿75(1995)1226·Zbl 0869.92002号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。