×

高维全局优化和机器学习的二进制交互方法。 (英语) 90ZB132.1489升

摘要:在这项工作中,我们介绍了一类新的无梯度全局优化方法,它基于由Boltzmann型方程控制的二元相互作用动力学。在每一个相互作用中,粒子的作用同时考虑了最佳微观二元位置和最佳宏观集体位置。对于所得到的动力学优化方法,在不依赖于问题维数的适当参数约束下,保证了一大类函数收敛到全局最小值。在平均场极限下,我们证明所得到的Fokker-Planck偏微分方程推广了当前基于一致性的优化(CBO)方法。推导并讨论了受动力学理论中著名的直接模拟蒙特卡罗方法启发的算法实现。文中给出了几个用于全局优化的原型测试函数的例子,包括在机器学习中的应用。

理学硕士:

90C26型 非凸规划,全局优化
82立方厘米 含时统计力学中气体的动力学理论
65摄氏度 蒙特卡罗方法
90C56型 无导数方法和使用广义导数的方法
90度59度 数学规划中的逼近方法和启发式方法
68T05型 人工智能中的学习与自适应系统

软件:

PRMLT公司
PDF格式 BibTeX公司 XML 引用
全文: 内政部

参考文献:

[1] 奥尔茨,E。;Korst,J.,模拟退火和玻尔兹曼机器:组合优化和神经计算的随机方法(1989),纽约:威利,纽约·Zbl 0674.90059
[2] 阿尔比,G。;崔,Y-P;福尔纳西尔,M。;Kalise,D.,平均场控制层次,应用。数学。最佳。,76,1193-135(2017年)·兹布1378.49024
[3] 阿尔比,G。;Pareschi,L.,群集和群集动力学模拟的二进制交互算法,多尺度模型模拟。,2013年11月1日至29日·Zbl 1274.92053
[4] 阿尔比,G。;帕雷斯基。;托斯卡尼,G。;萨内拉,M。;北卡罗来纳州贝洛莫。;皮埃尔,D。;Eitan,T.,观点建模的最新进展:控制和社会影响,活性粒子,科学、工程和技术中的建模与仿真,49-98(2017),Cham:Birkhäuser,Cham
[5] 阿尔比,G。;帕雷斯基。;Zanella,M.,复杂网络上的意见动力学:动力学模型和数值方法,Kinet。关系。模型,10,1,1-32(2017)·Zbl 1352.35195
[6] 后退,T。;Fogel,分贝;Michalewicz,Z.,进化计算手册(1997),布里斯托尔:IOP出版有限公司,布里斯托尔·Zbl 0883.68001
[7] 本芬那提,A。;柯西亚,V.,《活性粒子动力学理论中的非线性微尺度相互作用》,应用。数学。利特。,第26、10、979-983页(2013年)·Zbl 1312.74003号
[8] 本芬那提,A。;Coscia,V.,《活性粒子动力学理论中的观点形成模型I:自发趋势》,Ann.Univ.Ferrara,60,35-53(2014)·Zbl 1297.93022
[9] 伯德,GA,直接模拟和玻尔兹曼方程,物理。流体,13,11,2676-2681(1970)·中银0227.76111
[10] 毕晓普,CM,模式识别和机器学习(2006),柏林:斯普林格,柏林·Zbl 1107.68072
[11] 布鲁姆,C。;Roli,A.,组合优化中的元启发式:概述和概念比较,ACM计算机。调查。,353268-308(2003年)
[12] 卡里略,JA;崔,Y-P;托泽克,C。;Tse,O.,基于一致性的全局优化方法的分析框架,数学。模型方法适用。科学。,2018年6月28日至1066日(2018年)·Zbl 1397.35311
[13] Carrillo,J.A.,Hoffmann,F.,Stuart,A.M.,Vaes,U.:基于共识的抽样。预录十四:2106.02519,(2021年)
[14] Li,Jin S.,全球机器优化方法。ESAIM:控制、优化和变分计算,27:S5,(2021)
[15] Cercignani,C.,Boltzmann方程及其应用。施普林格应用数学科学系列(1988),柏林:斯普林格,柏林·Zbl 0646.76001
[16] 塞尔吉尼亚,C。;伊尔纳,R。;《稀释气体的数学理论》。应用数学科学中的斯普林格系列(1994),柏林:斯普林格,柏林·Zbl 0813.76001号
[17] Chen,J.,Jin,S.,Lyu,L.:基于一致性的自适应动量估计全局优化方法。预录十四:2012.04827(2020年)·Zbl 07529229号
[18] 登博,A。;Zeitouni,O.,大偏差技术与应用(2010),柏林,海德堡:斯普林格,柏林,海德堡·Zbl 1177.60035
[19] 多里戈,M。;Blum,C.,蚁群优化理论:综述,理论。计算机。科学。,344,2-3,243-278(2005年)·Zbl 1154.90626
[20] 《进化计算:走向机器智能的新哲学IEEE出版社计算智能丛书》(2006),纽约:威利IEEE出版社,纽约
[21] 福尔纳西尔,M。;黄,H。;帕雷斯基。;Sünnen,P.,基于一致性的超曲面优化:适定性和平均场极限,数学。模型方法适用。科学。,30、14、2725-2751(2020年)·Zbl 1467.90039
[22] Fornasier,M.,Huang,H.,Pareschi,L.,Sünnen,P.:基于球体的一致性优化中的各向异性扩散。预录十四:2104.00420(2021年)·Zbl 1467.90039
[23] 福尔纳西尔,M。;黄,H。;帕雷斯基。;Sünnen,P.,《基于一致性的球体优化:收敛到全局最小化器和机器学习》,J.Mach。学习。第22页,第1-55页(2021年)
[24] Fornasier,M.,Klock,T.,Riedl,K.:基于共识的优化方法在平均场法中全局收敛。预录十四:2103.15130(2021年)
[25] 《计量经济学》(2000),普林斯顿:普林斯顿大学出版社,普林斯顿·Zbl 0994.62107
[26] 根德劳,M。;Potvin,J-Y,《元启发式手册》(2010),柏林:斯普林格出版公司,柏林·Zbl 1198.90002
[27] Grassi,S.,Huang,H.,Pareschi,L.,Qiu,J.:平均场粒子群优化。在集体动力学的建模与模拟中,IMS讲稿系列。新加坡世界科学院(2021年)
[28] 格拉西,S。;Pareschi,L.,从粒子群优化到共识优化:随机建模和平均场极限,数学。模型方法适用。科学。,1625-1657年(2021年)·Zbl 1473.35570
[29] 哈斯廷斯,WK,使用马尔可夫链的蒙特卡罗抽样方法及其应用,生物计量学,57,1,97-109(1970)·Zbl 0219.65008
[30] 赫蒂,M。;帕雷斯基。;Visconti,G.,大数据聚类问题的平均场模型,网络。异教徒。媒体,15,3463-487(2020年)·Zbl 1451.82045号
[31] 霍兰德,JH,自然和人工系统的适应:生物学、控制和人工智能应用的介绍性分析(1992年),马萨诸塞州剑桥:麻省理工学院出版社,剑桥,马萨诸塞州
[32] 霍利,R。;Stroock,D.,通过Sobolev不等式模拟退火,Commun。数学。物理。,1154553-569(1988年)·中银0643.60092
[33] Huang,H.关于粒子群优化的平均场极限的注记,应用。数学。利特。,117107133(2021年)·Zbl 1475.82015
[34] 杰米尔,M。;杨晓明,王国安,全局优化问题基准函数文献综述,国际数学杂志。模特儿。数字。最佳。,2150-194(2013年)·Zbl 1280.65053
[35] 金,S。;李,L。;刘建刚,交互粒子系统的随机批处理方法(RBM),计算机学报。物理。,(2020年8月7日)·Zbl 1453.82065号
[36] Kennedy,J.,粒子群优化机器学习百科全书,760-766(2010),纽约:斯普林格,纽约
[37] 柯克帕特里克,S。;凝胶,CD;Vecchi,MP,模拟退火优化,科学,2204598671-680(1983)·Zbl 1225.90162
[38] 科,D。;哈,西;金,S。;Kim,D.,具有反对称相互作用核的一阶一致性模型的随机批处理方法的一致误差估计,Stud.Appl。数学。(2021年)·Zbl 1467.82056号
[39] 米勒,PD,应用渐近分析(2006),普罗维登斯:美国数学学会,普罗维登斯·Zbl 1101.41031
[40] 南部,K.,直接模拟方案从玻尔兹曼方程推导。一、 单组分气体,物理学杂志。Soc.日本。,4952042-2049年(1980年)
[41] 内尔德,JA;Mead,R.,函数极小化的单纯形方法,计算机。J、 ,7308-313(1965年)·中银0229.65053
[42] 帕雷斯基。;Russo,G.,《玻尔兹曼方程的蒙特卡罗方法简介》,ESAIM:程序。,10,35-75(2001年)·Zbl 0982.65145
[43] 帕雷斯基。;Toscani,G.,《相互作用多智能体系统:动力学方程和蒙特卡罗方法》(2013),牛津:牛津大学出版社,牛津·Zbl 1330.93004
[44] 皮诺,R。;托泽克,C。;谢,O。;Martin,S.,基于共识的全局优化模型及其平均场极限,数学。模型方法适用。科学。,2017年11月27日,第183-204页·Zbl 1388.90098
[45] 波利,R。;肯尼迪,J。;Blackwell,T.,粒子群优化,swarm Intell。,1,1,33-57(2007年)
[46] Totzeck,C.:基于共识的优化趋势。预录十四:2104.01383(2021年)·Zbl 1474.90363
[47] 托泽克,C。;Wolfram,M-T,基于共识的全局优化与个人最佳,数学。比奥西。工程,17,5,6026-6044(2020年)·Zbl 1473.90132
[48] Vapnik,V.N.:学习理论的风险最小化原则。在:第五届会议论文集,神经信息处理系统(NIPS-91),第4卷。神经信息处理系统的进展,第831-838页(1991年)
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。