×

通过解预测和机器学习推进蚁群优化。 (英语) Zbl 1511.90365号

摘要:本文介绍了一种结合机器学习(ML)和蚁群优化(ACO)的增强型元神经网络(ML-ACO)来解决组合优化问题。为了说明ML-ACO算法的基本机制,我们首先描述了一个测试问题,即定向运动问题。在这个问题中,目标是找到一条在时间预算内访问图中顶点子集的路径,以最大化收集的分数。在ML-ACO算法的第一阶段,使用一组已知最优解的小问题实例训练ML模型。具体来说,分类模型用于使用特定于问题的特征和统计度量,将边缘分类为最佳路线的一部分,或不是。然后使用训练好的模型预测测试问题实例图中的边属于相应最优路径的“概率”。在第二阶段,我们将预测的概率合并到我们算法的ACO组件中,即使用概率值作为启发式权重或温启动信息素矩阵。在这里,概率值偏向于在构建可行路径时有利于那些预测的“高质量”边。我们测试了多种分类模型,包括图神经网络、逻辑回归和支持向量机,实验结果表明,我们的解决方案预测方法持续提高了ACO的性能。此外,我们的经验表明,我们在小型合成实例上训练的ML模型能够很好地推广到大型合成实例和真实实例。我们将ML与元神经网络集成的方法是通用的,可以应用于广泛的优化问题。

理学硕士:

90C27型 组合优化
90 C59 数学规划中的近似方法和启发式
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] M.阿巴迪。;阿加瓦尔,A。;巴勒姆,P。;Brevdo,E。;陈,Z。;Citro,C。;Corrado,G.S。;A.戴维斯。;迪安·J。;德文,M。;Ghemawat,S。;古德费罗,I。;竖琴,A。;欧文,G。;Isard,M。;贾,Y。;Jozefowicz,R。;凯撒,L。;库德勒,M。;Levenberg,J。;马内,D。;蒙加,R。;摩尔,S。;D.穆雷。;奥拉,C。;舒斯特,M。;Shlens,J。;斯坦纳,B。;Sutskever,I。;Talwar,K。;塔克,P。;Vanhoucke,V。;瓦苏德万,V。;维加斯,F。;葡萄酒,O。;监狱长,P。;Wattenberg,M。;维克,M。;Yu,Y。;Zheng,X.,TensorFlow:异构系统上的大规模机器学习(2015),URL:https://www.tensorflow.org/软件可从tensorflow.org获得
[2] 阿巴斯,B。;Babaei,T。;侯赛尼法德,Z。;Smith-Miles,K。;Dehghani,M.,《通过机器学习预测大规模优化问题的解决方案:血液供应链管理的案例研究》,计算机。操作。第119号决议,第104941条pp.(2020)·Zbl 1458.90007号
[3] Angelleli,E。;Archetti,C。;菲利普,C。;Vindigni,M.,概率定向问题,计算。操作。决议,81,269-281(2017)·Zbl 1391.90503号
[4] 阿尔切蒂,C。;阿拉巴马州科尔伯兰。;Plana,I。;桑奇斯,J.M。;Speranza,M.G.,定向弧线路线问题的分支切割算法,计算。操作。决议,66,95-104(2016)·Zbl 1349.90155号
[5] Assunção,L.公司。;Mateus,G.R.,耦合可行性泵和大邻域搜索以解决steiner团队定向越野问题,计算。操作。第128号决议,第105175条pp.(2021)·Zbl 1510.90275号
[6] Y.本吉奥。;Lodi,A。;Prouvost,A.,《组合优化的机器学习:方法论之旅》,欧洲期刊Oper。第290、2、405-421号决议(2021年)·兹比尔1487.90541
[7] Bishop,C.M.,模式识别和机器学习(2006),Springer·Zbl 1107.68072号
[8] Blum,C.,《蚁群优化:简介和最新趋势》,《物理学》。生命评论,2,4,353-373(2005)
[9] 布鲁姆,C。;朱卡诺维奇,M。;Santini,A。;姜浩。;李,C.-M。;Manyá,F。;Raidl,G.R.,通过转换到最大团问题解决最长公共子序列问题,计算。操作。第125号决议,第105089条,pp.(2021)·Zbl 1458.68288号
[10] Boser,B.E.,Guyon,I.M.,Vapnik,V.N.,1992年。一种最优边缘分类器的训练算法。摘自:第五届计算学习理论年度研讨会论文集。第144-152页。
[11] 蔡,S。;Lin,J.,快速求解大规模图中的最大权团问题,(《第二十五届国际人工智能联合会议论文集》,第二十五届人工智能国际联合会议论文,IJCAI’16(2016),AAAI出版社),568-574
[12] 坎波斯,V。;马蒂,R。;Sánchez-Oro,J。;Duarte,A.,GRASP与定向问题的路径重新链接,J.Oper。Res.Soc.,65,12,1800-1813(2014)
[13] Chang,C.-C。;Lin,C.-J.,LIBSVM:支持向量机库,ACM Trans。智力。系统。技术。,2, 27:1-27:27 (2011)
[14] 赵益民。;Golden,B.L。;Wasil,E.A.,《快速有效的定向问题启发式》,《欧洲J.Oper》。决议,88,3,475-489(1996)·Zbl 0911.90146号
[15] Chen,T。;李,M。;Yao,X.,《种子策略的影响:基于搜索的多目标服务组合案例》,(《遗传与进化计算会议论文集》,GECCO’18(2018),计算机械协会),1419-1426
[16] 科尔特斯,C。;Vapnik,V.,支持向量网络,马赫。学习。,20, 3, 273-297 (1995) ·Zbl 0831.68098号
[17] 丁J.、张C.、沈L.、李S.、王B.、徐Y.、宋L.,2020年。基于解预测加速混合整数规划的原始解发现。摘自:《第三十四届AAAI人工智能会议论文集》,第34卷。第1452-1459页。
[18] 多里戈,M。;Blum,C.,《蚁群优化理论:一项调查》,Theor。计算。科学。,344, 2-3, 243-278 (2005) ·Zbl 1154.90626号
[19] 多里戈,M。;Gambardella,L.M.,《蚁群系统:旅行推销员问题的合作学习方法》,IEEE Trans。进化。计算。,1, 1, 53-66 (1997)
[20] 多里戈,M。;马尼佐,V。;Colorni,A.,《蚂蚁系统:通过协作代理群体进行优化》,IEEE Trans。系统。人类网络。B、 26、1、29-41(1996)
[21] El-Hajj,R。;丹·D·C。;Moukrim,A.,用切割平面解决团队定向问题,计算机。操作。决议,74,21-30(2016)·Zbl 1349.90811号
[22] 风机,R.-E。;Chang,K.-W。;谢长杰。;王,X.-R。;Lin,C.-J.,LIBLINEAR:大型线性分类库,J.Mach。学习。1871-1874年8月9日决议(2008年)·Zbl 1225.68175号
[23] 菲舍蒂,M。;Fraccaro,M.,机器学习与数学优化相结合,预测海上风电场的最佳产量,Compute。操作。决议,106,289-297(2019)·Zbl 1458.90671号
[24] 菲舍蒂,M。;冈萨雷斯,J.J.S。;Toth,P.,通过分支解决定向运动问题,INFORMS J.Compute。,10, 2, 133-148 (1998) ·兹伯利1034.90523
[25] 弗里德里希,T。;Wagner,M.,《播种多目标进化算法的初始种群:计算研究》,应用。软计算。,33, 223-230 (2015)
[26] 甘巴德拉,L.M。;蒙特曼尼,R。;Weyland,D.,《将蚁群系统与强大的局部搜索结合起来》,欧洲期刊Oper。研究,220,3,831-843(2012)·Zbl 1253.90195号
[27] Golden,B.L。;Levy,L.公司。;Vohra,R.,定向运动问题,Nav。Res.Logist.公司。,34, 3, 307-318 (1987) ·Zbl 0647.90099号
[28] Gunawan,A。;刘,H.C。;Vansteenwegen,P.,《定向运动问题:最新变体、解决方法和应用的调查》,欧洲期刊。第255、2、315-332号决议(2016年)·Zbl 1346.90703号
[29] Hammami,F。;Rekik,M。;Coelho,L.C.,团队定向问题的混合自适应大邻域搜索启发式,计算。操作。第123号决议,第105034条pp.(2020年)·Zbl 1458.90099号
[30] 漏斗,E。;Turton,B.C.H.,《二维装箱问题的元神经和启发式算法的实证研究》,欧洲期刊Oper。研究,128,1,34-57(2001)·Zbl 0982.90044号
[31] 贾永华。;梅,Y。;Zhang,M.,求解容量受限电动汽车路径问题的双层蚁群优化算法,IEEE Trans。赛博。,1-14 (2021)
[32] 姜浩、李春明、刘毅、曼雅、F.,2018年。最大权重团问题的两阶段MaxSAT推理方法。摘自:《AAAI人工智能会议论文集》,第32卷。第1338-1346页。
[33] 姜浩、李春明、曼雅、F.,2017年。大型图中最大权团问题的精确算法。摘自:《AAAI人工智能会议论文集》,第31卷。第830-838页。
[34] Karimi-Mamaghan,M。;穆罕默德(M.Mohammadi)。;迈耶,P。;Karimi-Mamaghan,A.M。;Talbi,E.-G.,《为解决组合优化问题的元神经服务的机器学习:最新技术》,欧洲期刊Oper。决议,296,2393-422(2022)·Zbl 1490.90250号
[35] Ke,L。;Archetti,C。;冯,Z,蚂蚁可以解决团队定向问题,计算。Ind.Eng.,第54页,第3页,第648-665页(2008年)
[36] Kipf,T.N。;Welling,M.,图卷积网络半监督分类,(第五届学习表征国际会议(2017)),1-14
[37] Kobeaga,G。;梅里诺,M。;Lozano,J.A.,定向问题的有效进化算法,计算。操作。决议,90,42-59(2018)·兹比尔1391.90521
[38] Lauri,J.,Dutta,S.,2019年。子集问题硬枚举变量的细粒度搜索空间分类。收录:第三十三届AAAI人工智能会议论文集。第2314-2321页。
[39] Letchford,A.N。;罗西,F。;Smriglio,S.,稳定集问题:重新审视团和节点不等式,计算。操作。第123号决议,第105024条pp.(2020年)·Zbl 1458.90550号
[40] 李,Z。;陈,Q。;Koltun,V.,用图卷积网络和导向树搜索进行组合优化,(第32届神经信息处理系统国际会议论文集。第32届国际神经信息处理会议论文集,NIPS’18(2018),Curran Associates Inc.:Curran associatess Inc。美国纽约州红钩市),537-546
[41] 李,C.-M。;刘,Y。;姜浩。;Manyá,F。;Li,Y.,最大权重团问题的一个新上界,欧洲J.Oper。Res.,270,1,66-77(2018)·Zbl 1403.90640号
[42] Liaw,C.,开放式车间调度问题的混合遗传算法,欧洲J.Oper。研究,124,1,28-42(2000)·Zbl 0960.90039号
[43] Lin,S.,《旅行推销员问题的计算机解决方案》,贝尔系统。《技术期刊》,44,10,2245-2269(1965)·Zbl 0136.14705号
[44] Malladi,K.T。;米特罗维c-Minic,S。;Punnen,A.P.,群集最大权重集团问题:算法和实证分析,计算机。操作。决议,85,113-128(2017)·Zbl 1458.90651号
[45] Mavrovouniotis,M。;米勒,F.M。;Yang,S.,动态旅行商问题的局部搜索蚁群优化,IEEE Trans。赛博。,47, 7, 1743-1756 (2016)
[46] 蒙特曼尼,R。;韦兰德博士。;Gambardella,L.,《带时间窗的团队定向问题的增强蚁群系统》,(2011年计算机科学与社会国际研讨会(2011年),IEEE),381-384
[47] Nair,V.,Hinton,G.E.,2010年。校正的线性单元改进了受限的Boltzmann机器。摘自:第27届机器学习国际会议论文集。第807-814页。
[48] 诺盖拉,B。;Pinheiro,R.G.,用于大规模图上最大权重团问题的CPU-GPU局部搜索启发式算法,计算。操作。决议,90,232-248(2018)·Zbl 1391.90527号
[49] Palma-Heredia,D。;Verdaguer,M。;摩尔-胶态,M。;Poch,M。;Cugueró-Escofet,M.,使用蚁群方法优化厌氧共消化的混合:贝索河流域案例研究,更新。能源,168141-150(2021)
[50] San Segundo,P。;Furini,F。;Artieda,J.,最大加权团问题的一种新的分枝定界算法,计算。操作。决议,110,18-33(2019年)·Zbl 1458.90624号
[51] Santini,A.,定向问题的自适应大邻域搜索算法,实验系统。申请。,123, 154-167 (2019)
[52] Santini,A。;维亚纳,A。;Klimentova,X。;Pedroso,J.P.,《众包的概率旅行推销员问题》,1-31(2021),预印本。URL:http://www.optimization-online.org/DB_HTML/2021/08/8563.HTML
[53] 沈毅。;孙,Y。;艾伯哈特,A。;Li,X.,学习混合整数程序的原始启发式,(2021年神经网络国际联合会议(IJCNN)(2021)),1-8
[54] 西尔伯霍尔茨,J。;Golden,B.,一种新方法在广义定向运动问题中的有效应用,J.启发式,16,393-415(2010)·Zbl 1187.90078号
[55] Stützle,T。;胡斯,H.H.,MAX-min蚂蚁系统,未来世代。计算。系统。,16, 8, 889-914 (2000)
[56] 孙,Y。;安永会计师事务所。;李,X。;Weiner,J.,用于问题简化的机器学习泛化:旅行推销员问题的案例研究,OR Spectr。,43607-633(2021)·Zbl 1480.90215号
[57] 孙,Y。;李,X。;Ernst,A.,《使用统计方法和机器学习进行图形简化以解决最大权重团问题》,IEEE Trans。模式分析。机器。智力。,43, 5, 1746-1760 (2021)
[58] Vansteenwegen,P。;西苏弗里奥。;Van Oudhesden,D.,定向运动问题:一项调查,欧洲J.Oper。第209、1、1-10号决议(2011年)·Zbl 1205.90253号
[59] Verbeeck,C。;Sörensen,K。;阿赫扎夫,E.-H。;Vansteenwegen,P.,时间相关定向问题的快速求解方法,欧洲J.Oper。研究,236,2419-432(2014)·Zbl 1317.90056号
[60] Verbeeck,C。;Vansteenwegen,P。;Aghezzaf,E.-H.,《带时间窗的时间依赖性定向运动问题:快速蚁群系统》,Ann.Oper。研究,254,1-2,481-505(2017)·Zbl 1369.90016号
[61] Wang,Y。;蔡,S。;陈,J。;Yin,M.,SCCWalk:一种有效的局部搜索算法及其对最大权重团问题的改进,Artif。智力。,280,第103230条pp.(2020)·Zbl 1476.68218号
[62] Wang,Y.,Cai,S.,Yin,M.,2016年。求解最大权团问题的两种有效的局部搜索算法。摘自:《AAAI人工智能会议论文集》,第30卷。第805-811页。
[63] 王,S。;李,M。;Zhang,Y。;包,Z。;Tedjopurnomo,D.A。;Qin,X.,《基于综合搜索范式的出行规划》,(《2018年国际数据管理会议论文集》,2018年国际会议论文集,SIGMOD’18(2018),计算机械协会:美国纽约州纽约市计算机械协会),1673-1676
[64] 吴琼。;Hao,J.-K.,《最大团问题算法综述》,欧洲期刊。第242、3、693-709号决议(2015年)·Zbl 1341.05241号
[65] 吴,Z。;潘,S。;陈,F。;Long,G。;张,C。;Yu,P.S.,图神经网络综合调查,IEEE Trans。神经网络。学习。系统。,32, 1, 4-24 (2021)
[66] X.向。;田,Y。;张,X。;肖,J。;Jin,Y.,基于成对邻近学习的动态车辆路径问题蚁群算法,IEEE Trans。智力。运输。系统。,1-12 (2021)
[67] 周,Y。;Hao,J.-K。;Goöffon,A.,PUSH:最大顶点权重团问题的广义算子,欧洲J.Oper。决议,257,1,41-54(2017)·Zbl 1394.90506号
[68] 兹洛钦,M。;比拉塔里,M。;北卡罗来纳州穆勒奥。;Dorigo,M.,《基于模型的组合优化搜索:批判性调查》,Ann.Oper。第131、1-4、373-395号决议(2004年)·Zbl 1067.90162号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。