×

基于一致性的跳跃扩散随机微分方程优化。 (英语) Zbl 1515.60198号

摘要:我们介绍了一种新的基于共识的优化(CBO)方法,其中交互粒子系统由跳跃扩散随机微分方程(SDE)驱动。我们研究了粒子系统的适定性及其平均场极限。本文的主要贡献是证明了相互作用粒子系统向平均场极限的收敛性,以及离散粒子系统向均方意义上的连续时间动力学的收敛性。对于一大类目标函数,我们还证明了平均场跳变扩散SDE收敛于全局极小值。在对基准目标函数的数值模拟中,我们证明了所提出的CBO方法相对于早期CBO方法的性能改进。

MSC公司:

60 H10型 随机常微分方程(随机分析方面)
90C26型 非凸规划,全局优化
65立方米 随机微分和积分方程的数值解
65立方厘米 随机粒子方法
60J76型 一般状态空间上的跳跃过程
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] N.Agram和B.Oksendal,条件McKean-Vlasov跳跃扩散的随机Fokker-Planck PIDE及其在最优控制中的应用,预印本(2021),arXiv:2110.02193。
[2] Albi,G.、Bellomo,N.、Fermo,L.、Ha,S.Y.、Kim,J.、Pareschi,L.,Poyato,D.和Soler,J.,《车辆交通、人群和蜂群:从动力学理论和多尺度方法到应用和研究前景》,数学。模型方法应用。科学29(2019)1901-2005·Zbl 1431.35211号
[3] Applebaum,D.,Lévy过程和随机微积分(剑桥大学出版社,2004年)·邮编1073.60002
[4] Back,T.、Fogel,D.B.和Michalewicz,Z,《进化计算手册》(IOP,1997)·兹比尔0883.68001
[5] Bae,H.-O.,Ha,S.-Y.,Kang,M.,Lim,H.,Min,C.和Yoo,J.,基于约束共识的优化算法及其在金融中的应用,应用。数学。计算416(2022)126726·Zbl 1510.90208号
[6] Bellomo,N.、Burini,D.、Dosi,G.、Gibelli,L.、Knopoff,D.、Outada,N.,Terna,P.和Virgillito,M.E.,生命是什么?活性粒子数学动力学理论的观点,数学。模型方法应用。科学31(2021)1821-1866·Zbl 1480.92012年
[7] Bellomo,N.、Gibelli,L.、Quaini,A.和Reali,A.,《走向行为人群的数学理论》,《数学》。模型方法应用。科学32(2022)321-358·Zbl 1483.90042号
[8] Benfenati,A.、Borghi,G.和Pareschi,L.,高维全局优化和机器学习的二进制交互方法,应用。数学。优化86(2022)9·Zbl 1489.90132号
[9] Bertozzi,A.、Rosado,J.、Short,M.和Wang,L.,《一维传染冲击》,《J.Stat.Phys.158(2014)647-664·Zbl 1318.35135号
[10] Bonacich,P.和Lu,P.,《数学社会学导论》(普林斯顿大学出版社,2012年)·Zbl 1244.91075号
[11] Carrillo,J.A.、Choi,Y.、Totzeck,C.和Tse,O.,基于共识的全局优化方法的分析框架,数学。模型方法应用。科学28(2018)1037-1066·Zbl 1397.35311号
[12] Carrillo,J.A.、Fornasier,M.、Rosado,J.和Toscani,G.,动力学Cucker-Smale模型的渐近群集动力学,SIAM J.Math。分析42(2010)218-236·兹比尔1223.35058
[13] Carrillo,J.A.、Jin,S.、Li,L.和Zhu,Y.,一种基于共识的高维机器学习问题全局优化方法,ESAIM Control Optim。计算变量27(2021)S5·Zbl 1480.60195号
[14] J.A.Carrillo,C.Totzeck和U.Vaes,《约束全局优化问题的基于一致性的优化和集成卡尔曼反演》,预印本(2021),arXiv:2111.02970。
[15] M.Chak,N.Kantas和G.A.Pavliotis,关于模拟退火的广义Langevin方程,预印本(2020),arXiv:2003.06448。
[16] Conn,A.R.、Scheinberg,K.和Vicente,L.N.,《无导数优化导论》(SIAM,2009)·Zbl 1163.49001号
[17] Cucker,F.和Smale,S.,《关于涌现的数学》,Jpn。《数学杂志》2(2007)197-227·Zbl 1166.92323号
[18] Dareiotis,K.、Kumar,C.和Sabanis,S.,关于勒维噪声驱动的SDE的驯服欧拉近似及其在延迟方程中的应用,SIAM J.Numer。分析54(2016)1840-1872·Zbl 1401.65014号
[19] Deligiannidis,G.,Maurer,S.和Tretyakov,M.,抛物积分微分方程Dirichlet问题的随机行走算法,BIT-Numer。数学61(2021)1223-1269·Zbl 1493.65019号
[20] Dorigo,M.和Blum,C.,《蚁群优化理论:一项调查》,Theor。计算。科学344(2005)243-278·Zbl 1154.90626号
[21] Erny,X.,带跳跃和局部Lipschitz系数的McKean-Vlasov方程的稳健性和混沌传播,随机过程。申请150(2022)192-214·Zbl 1491.60139号
[22] Fornasier,M.,Huang,H.,Pareschi,L.和Sünnen,P.,超曲面上基于共识的优化:Well-posedness和mean-field极限,数学。模型方法应用。科学30(2020)2725-2751·Zbl 1467.90039号
[23] Fornasier,M.,Huang,H.,Pareschi,L.和Sünnen,P.,基于共识的球面优化中的各向异性扩散,SIAM J.Optim.32(2022)1984-2012·Zbl 1509.65047号
[24] M.Fornasier、T.Klock和K.Riedl,基于一致性的优化方法全局收敛,预印本(2021),arXiv:2103.15130。
[25] Freidlin,M.I.和Wentzell,A.D.,《动力系统的随机扰动》(Springer,2012)·Zbl 1267.60004号
[26] Galam,S.和Moscovici,S.,《走向集体现象理论:群体中的共识和态度变化》,Eur.J.Soc.Psycholol.21(1991)49-74。
[27] Gilbarg,D.和Trudinger,N.,《二阶椭圆偏微分方程》(Springer,1983)·Zbl 0562.35001号
[28] Graham,C.,McKean-Vlasov Ito-Skorohod方程,离散跳跃集非线性扩散,随机过程。申请40(1992)69-82·Zbl 0749.60096号
[29] Graham,C.,《带跳跃的非线性扩散》,《安娜·亨利·彭加雷·普罗巴布研究所》。《统计》第28卷(1992年)第393-402页·Zbl 0756.60098号
[30] S.Grassi,H.Huang,L.Pareschi和J.Qiu,Mean-field粒子群优化,预印本(2021),arXiv:2108.00393。
[31] Grassi,S.和Pareschi,L.,《从粒子群优化到基于共识的优化:随机建模和平均场极限》,数学。模型方法应用。科学31(2021)1625-1657·兹比尔1473.35570
[32] Gyöngy,I.和Krylov,N.V.,关于半鞅I的随机方程,随机学4(1980)1-21·Zbl 0439.60061号
[33] Ha,S.-Y.,Jin,S.和Kim,D.,基于一阶共识的全局优化算法的收敛性,数学。模型方法应用。科学30(2020)2417-2444·兹比尔1467.90040
[34] Ha,S.-Y.,Jin,S.和Kim,D.,基于时间离散共识的优化算法的收敛和误差估计,数值。数学147(2021)255-282·Zbl 1467.65064号
[35] 哈,S.-Y.,康,M.,金,D.,金,J.和杨,I.,Stiefel流形上非凸优化的随机一致性动力学:平均场极限与收敛,数学。模型方法应用。科学32(2022)533-617·Zbl 1485.35361号
[36] Ha,S.-Y.和Tadmor,E.,《从粒子到植绒的动力学和流体动力学描述》,Kinet。相关。模型1(2008)415-435·Zbl 1402.76108号
[37] Holley,R.A.、Kusuoka,S.和Stroock,D.W.,《谱间隙的渐近性及其在模拟退火理论中的应用》,J.Funct。分析83(1989)333-347·Zbl 0706.58075号
[38] H.Huang和J.Qiu,关于基于共识的优化的平均场限制,预印本(2021),arXiv:2105.12919。
[39] Ken-Iti,S.,Lévy过程和无限可分分布(剑桥大学出版社,1999年)·Zbl 0973.60001号
[40] Kennedy,J.,《粒子群优化》,摘自《机器学习百科全书》,编辑Sammut,C.和Webb,G.I.(Springer,2010),第760-766页。
[41] Ko,D.,Ha,S.Y.,Jin,S.和Kim,D.,基于离散共识的随机批交互和异质噪声优化算法的收敛性分析,数学。模型方法应用。科学32(2022)1071-1107·Zbl 1504.90204号
[42] Milstein,G.N.和Tretyakov,M.V.,非全局Lipschitz系数随机微分方程的数值积分,SIAM J.Numer。分析43(2005)1139-1154·Zbl 1102.60059号
[43] Milstein,G.N.和Tretyakov,M.V.,《数学物理随机数值》,第2版。(施普林格,2021)·Zbl 1493.60002号
[44] Motsch,S.和Tadmor,E.,《嗜异性动力学增强共识》,SIAM Rev.56(2014)577-621·Zbl 1310.92064号
[45] Neelima、S.Biswas、C.Kumar、G.dos Reis和C.Reisinger,《由Lévy噪声驱动的McKean-Vlasov方程的稳健性和驯化欧拉方案》,预印本(2020),arXiv:2010.08585。
[46] Pinnau,R.、Totzeck,C.、Tse,O.和Martin,S.,基于共识的全局优化模型及其平均场极限,数学。模型方法应用。科学27(2017)183-204·Zbl 1388.90098号
[47] Platen,E.和Bruti-Liberati,N.,《金融中带跳跃的随机微分方程的数值解》(Springer,2010)·Zbl 1225.60004号
[48] Shiryaev,A.,《概率》(Springer,2013)。
[49] Sznitman,A.S.,《混沌传播的主题》,载于《圣弗洛尔概率学院XIX-1989》,编辑:Hennequin,P.-L(Springer,1991),第165-251页·Zbl 0732.60114号
[50] Toscani,G.,意见形成的动力学模型,Commun。数学。科学4(2006)481-496·兹比尔1195.91128
[51] Totzeck,C.,《基于共识的优化趋势》,《活性粒子》,第3卷:理论、模型和应用进展,编辑:Bellomo,N.、Carrillo,J.A.和Tadmor,E.(Springer,2022),第201-226页·Zbl 1507.93024号
[52] 维拉尼,C.,《最佳运输主题》(美国数学学会,2003年)·Zbl 1106.90001号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。