×
约书亚·本吉奥；安德烈·洛迪；安托万·普罗沃斯特

组合优化的机器学习：方法论之旅。 （英语） Zbl 1487.90541号

欧洲药典。物件。 290，编号2，405-421（2021）.
摘要：本文综述了机器学习和运筹学界最近利用机器学习解决组合优化问题的尝试。考虑到这些问题的复杂性，最先进的算法依赖于手工设计的启发式算法来做出决策，否则计算成本太高或数学上定义不明确。因此，机器学习看起来像是一个自然的候选者，可以以更加原则化和优化的方式做出这样的决策。我们提倡进一步推动机器学习和组合优化的集成，并详细介绍了实现这一集成的方法。本文的一个主要观点是将一般优化问题视为数据点，并探讨在给定任务中用于学习的问题的相关分布。

引用于72文件

MSC公司：

90C27型 组合优化
68T05型 人工智能中的学习和自适应系统
68T20型 人工智能背景下的问题解决（启发式、搜索策略等）
90-02 与运筹学和数学规划有关的研究博览会（专著、调查文章）
90立方厘米 混合整数编程
90C57型 多面体组合学，分支与绑定，分支与切割
90 C59 数学规划中的近似方法和启发式

关键词：

组合优化；机器学习；分支和绑定；混合整数编程求解器

软件：

PMTK公司；神经卫星；张紧器2传感器；PRMLT公司
PDF格式BibTeX公司 XML格式引用
\textit{Y.Bengio}等人，《欧洲药典》。第290号决议，第2号，405--421（2021；Zbl 1487.90541）
全文： 内政部 arXiv公司

参考文献：

[1] Ahuja，R.K。；Orlin，J.B.，《逆向优化》，运筹学，49，5，771-783（2001）·兹比尔1163.90764
[2] 安德里乔维奇，M。；丹尼尔，M。；Gómez，S。；霍夫曼，M.W。；Pfau，D。；Schaul，T。；de Freitas，N.，通过梯度下降学习梯度下降，（Lee，D.D.；Sugiyama，M.；Luxburg，U.V.；Guyon，I.；Garnett，R.，《神经信息处理系统的进展》29（2016），Curran Associates，Inc.），3981-3989
[3] Ansótegui，C。；海曼，B。；Pon，J。；Sellmann，M。；Tierney，K.，《MaxSAT超反应禁忌搜索》（Battiti，R.；Brunato，M.；Kotsireas，I.；Pardalos，P.M.，《学习与智能优化》，《学习和智能优化》（Learning and intelligent optimization），计算机科学讲义（2019年），斯普林格国际出版：斯普林格（Springer）国际出版商会），309-325
[4] https://www.aaai.org/ocs/index.php/aaai/AAAI17/paper/view/14872。
[5] Applegate，D。；比克斯比，R。；查塔尔，V。；库克，W.，《旅行推销员问题：计算研究》（2007），普林斯顿大学出版社
[6] 巴达瑙，D。；Cho，K。；Bengio，Y.，联合学习对齐和翻译的神经机器翻译，Iclr’2015，arxiv:1409.0473（2015）
[7] Baltean-Lugojan，R。；米塞纳，R。；Bonami，P。；Tramontani，A.，通过训练神经网络进行二次半定外逼近的强稀疏切割选择，技术报告（2018），伦敦帝国理工学院
[8] https://openreview.net/forum？id=Bk9mxlSFx。
[9] Ⅱ-A969
[10] http://www.sciencedirect.com/science/article/pii/S0004370216300388。 ·Zbl 1357.68202号
[11] Bishop，C.M.，模式识别和机器学习（2006），Springer-Verlag:Springer-Verlag纽约·Zbl 1107.68072号
[12] Bonami，P。；Lodi，A。；Zarpellon，G.，学习混合整数二次规划问题的分类，约束规划、人工智能和运筹学的集成。约束编程、人工智能和运筹学的集成，计算机科学讲义，595-604（2018），施普林格：施普林格商学院·Zbl 1511.90304号
[13] Chan，T.C.Y。；克雷格，T。；Lee，T。；Sharpe，M.B.，广义逆多目标优化及其在癌症治疗中的应用，运筹学，62，3，680-695（2014）·Zbl 1302.90194号
[14] 康福尔蒂，M。；Conrnuéjols，G。；赞贝利，G.，《整数规划》（2014），施普林格出版社·Zbl 1307.90001号
[15] 克雷斯韦尔，A。；怀特，T。；杜穆林，V。；阿鲁库马兰，K。；Sengupta，B。；Bharath，A.A.，《生成对抗网络：概述》，IEEE信号处理杂志，35，1，53-65（2018）
[16] 戴，H。；戴，B。；Song，L.，《结构化数据潜在变量模型的判别嵌入》，（Balcan，M.F.；Weinberger，K.Q.，《第33届机器学习国际会议论文集》，《机器学习研究论文集》48（2016），PMLR:美国纽约PMLR），2702-2711
[17] 戴伊·S。；Molinaro，M.，切割平面选择的理论挑战，数学规划，170237-266（2018）·兹比尔1391.90427
[18] arXiv：1805.07010[cs，统计]。
[19] 芬恩，C。；Abbeel，P。；Levine，S.，《用于深度网络快速适应的模型认知元学习》，（Precup，D.；Teh，Y.W.，《第34届机器学习国际会议论文集》，《机器学习研究论文集》70（2017），PMLR:PMLR国际会议中心，悉尼，澳大利亚），1126-1135
[20] https://onlinelibrary.wiley.com/doi/abs/10.1002/9780470400531.eorms0376。
[21] https://www.aaai.org/ocs/index.php/SOCS/SOCS14/paper/view/8910。
[22] M.福尔顿。；Schweber，S.S.，《科学家与二战遗产：运筹学案例》，科学社会研究，23，4，595-642（1993）
[23] arXiv预印arXiv:1906.01629。
[24] https://www.springer.com/gp/book/9783319910857。
[25] Gilmer，J。；Schoenholz，S.S。；莱利，P.F。；葡萄酒，O。；Dahl，G.E.，《量子化学的神经信息传递》（Precup，D.；Teh，Y.W.，第34届机器学习国际会议论文集，机器学习研究论文集，70（2017），PMLR:PMLR国际会议中心，澳大利亚悉尼）， 1263-1272
[26] 古德费罗，I。；Y.本吉奥。；A.Courville，《深度学习》（2016），麻省理工学院出版社·Zbl 1373.68009号
[27] He，H。；Daume III，H。；Eisner，J.M.，《学习在分支定界算法中搜索》，（Ghahramani，Z.；Welling，M.；Cortes，C.；Lawrence，N.D.；Weinberger，K.Q.，《神经信息处理系统的进展》27（2014），Curran Associates，Inc.），3293-3301
[28] Hochreiter，S。；Younger，A.S。；Conwell，P.R.，《学习使用梯度下降法进行学习》（Dorffner，G.；Bischof，H.；Hornik，K.，《人工神经网络-ICANN 2001》（2001），斯普林格·柏林-海德堡：斯普林格尔·柏林-海德堡-柏林，海德堡），87-94·Zbl 1001.68724号
[29] Hoos，H.H.，《自动算法配置和参数调整》，（Hamadi，Y.；Monfroy，E.；Saubion，F.，《自治搜索》（2012），施普林格-柏林-海德堡：施普林格/柏林-海德堡-柏林），37-71
[30] ArXiv:1709.09972·Zbl 1458.90436号
[31] 侯赛因，A。；Gaber，M.M。；Elyan，E。；Jayne，C.，《模仿学习：学习方法调查》，ACM计算调查，50，2，21:1-21:35（2017）
[32] http://www.sciencedirect.com/science/article/pii/S0377221717300061。 ·Zbl 1403.90515号
[33] Khalil，E。；戴，H。；Zhang，Y。；Dilkina，B。；Song，L.，《学习图上的组合优化算法》，（Guyon，I.；Luxburg，U.V.；Bengio，S.；Wallach，H.；Fergus，R.；Vishwanathan，S.，Garnett，R.，《神经信息处理系统的进展》30（2017），Curran Associates，Inc.），6348-6358
[34] Khalil，E.B。；机构，P.L。；宋，L。；纳姆豪泽，G。；Dilkina，B.，《混合整数规划分支学习》，第三十届AAAI人工智能会议论文集。第三十届AAAI人工智能会议论文集，AAAI’16，724-731（2016），AAAI出版社：AAAI出版社，亚利桑那州凤凰城
[35] 哈利勒，E.B。；Dilkina，B。；纳姆豪泽，G.L。；艾哈迈德，S。；Shao，Y.，《在树搜索中学习启发式》，第二十六届国际人工智能联合会议论文集，IJCAI-17659-666（2017）
[36] 科尔，W.W.M。；Welling，M.，Attention解决了您的TSP，大约，arXiv:1803.08475[cs，stat]（2018）
[37] Kruber，M。；Lübbecke，M.E。；Parmentier，A.，《学习何时在约束编程中使用分解、AI和OR技术的集成》。约束编程中AI和OR技术的集成，计算机科学讲义，202-210（2017），施普林格，查姆·Zbl 1489.68253号
[38] Larsen，E。；Lachapelle，S。；Y.本吉奥。；Frejinger，E。；鳄鱼朱利安，S。；Lodi，A.，用机器学习预测不完全信息下整数线性规划的解摘要，arXiv:1807.11876[cs，stat]（2018）
[39] 拉森，R.C。；Odoni，A.R.，《城市运营研究》（1981年）
[40] 李凯。；Malik，J.，《学习优化神经网络》，arXiv:1703.00441[cs，math，stat]（2017）
[41] http://www.sciencedirect.com/science/article/pii/S0377221715007559。 ·Zbl 1346.90629号
[42] 林道尔，M。；Hutter，F.，基于模型的算法配置的启动，第三十二届AAAI人工智能会议（2018）
[43] Lodi，A.，《MIP计算》（Jünger，M.；Liebling，T.；Naddef，D.；Nemhauser，G.；Pulleyblank，W.；Reinelt，G.）；Wolsey，L.，《1958-2008年50年整数规划》（2009），斯普林格-Verlag），619-645
[44] Lodi，A。；Zarpellon，G.，《关于学习和分支：一项调查》，TOP，25，2，207-236（2017）·Zbl 1372.90003号
[45] 国际人工智能组织联合会议
[46] 马哈茂德，R。；Babier，A。；McNiven，A。；Diamant，A。；Chan，T.C.Y.，使用生成性对抗网络进行放射治疗中的自动化治疗规划，《医疗保健机器学习学报》。医疗保健机器学习论文集，《机器学习研究论文集》，85（2018）
[47] Malitsky，Y。；默什曼，M。；奥沙利文，B。；Tierney，K.，《结构保持实例生成》（Festa，P.；Sellmann，M.；Vanschoren，J.，《学习与智能优化》，计算机科学讲义（2016），Springer International Publishing:Springer国际出版公司Cham），123-140
[48] 马科斯·阿尔瓦雷斯（Marcos Alvarez），A。；卢沃，Q。；Wehenkel，L.，《分支与边界变量分支的监督机器学习方法》，《技术报告》（2014年），利昂大学
[49] 马科斯·阿尔瓦雷斯（Marcos Alvarez），A。；卢沃，Q。；Wehenkel，L.，基于机器学习的强分支近似，计算信息杂志，29，1，185-195（2017）·兹比尔1364.90224
[50] 马科斯·阿尔瓦雷斯，A。；韦汉克尔。；Louveaux，Q.，《分支和定界中强分支逼近的在线学习》，技术报告（2016），列日大学
[51] http://www.sciencedirect.com/science/article/pii/S0305054814001555。 ·Zbl 1348.68230号
[52] McCormick，G.P.，可分解非凸规划整体解的可计算性：第i部分-凸低估问题，数学规划，10，1，147-175（1976）·Zbl 0349.90100号
[53] Murphy，K.P.，《机器学习：概率视角》（2012），麻省理工出版社·Zbl 1295.68003号
[54] Nagarajan，P。；沃内尔，G。；Stone，P.，《深度强化学习中再现性的确定性实现》，2019年AAAI可再生AI研讨会（2019年）
[55] http://auai.org/uai2018/proceedings/papers/217.pdf。
[56] Nowak，A。；维拉尔，S。；Bandeira，A.S。；Bruna，J.，关于图神经网络二次分配学习算法的注释，arXiv:1706.07450[cs，stat]（2017）
[57] https://www.igi-global.com/chapter/reinforcement-learning-great-dluge-hyper/63803。
[58] 拉维，S。；Larochelle，H.，《优化作为少快照学习模式》，学习表征国际会议（2017年）
[59] Schmidhuber，J.，《学习控制快速记忆：动态递归网络的替代方法》，神经计算，4，1，131-139（1992）
[60] 塞尔萨姆，D。；拉姆，M。；Bünz，B。；梁，P。；de Moura，L。；Dill，D.L.，从单位监管中学习SAT解算器，arXiv:1802.03685[cs]（2018）
[61] 西尔弗·D。；黄，A。；Maddison，C.J。；A.盖兹。；Sifre，L。；van den Driessche，G。；Hassabis，D.，《利用深度神经网络和树搜索掌握围棋游戏》，《自然》，529，7587，484-489（2016）
[62] Smith，K.A.，《用于组合优化的神经网络：十多年研究综述》，《计算信息杂志》，11，1，15-34（1999）·Zbl 1034.90528号
[63] http://www.sciencedirect.com/science/article/pii/S0305054815001136。 ·Zbl 1349.68325号
[64] http://incompleteideas.net/book/the-book-2nd.html。 ·Zbl 1407.68009号
[65] 学会学习，（Thrun，S.；Pratt，L.Y.（1998），Kluwer学术）·Zbl 0891.68079号
[66] 瓦斯瓦尼，A。；北沙泽尔。；北卡罗来纳州帕尔马。；Uszkoreit，J。；Jones，L。；A.N.戈麦斯。；Polosukhin，I.，《注意力就是你所需要的一切》（Guyon，I.；Luxburg，U.V.；Bengio，S.；Wallach，H.；Fergus，R.；Vishwanathan，S.，Garnett，R.，《神经信息处理系统的进展》30（2017），Curran Associates，Inc.），5998-6008
[67] https://openreview.net/forum？id=rJXMpikCZ。
[68] Curran Associates公司。
[69] 俄亥俄州威克洛夫斯卡。；北马赫斯瓦拉纳坦。；霍夫曼，M.W。；科尔梅纳雷霍，S.G。；丹尼尔，M。；德弗里塔斯，N。；Sohl-Dickstein，J.，Learned Optimizers that Scale and Generalize，（Precup，D.；Teh，Y.W.，《第34届机器学习国际会议论文集》，《机器学习研究论文集》70（2017），PMLR:澳大利亚悉尼PMLR国际会议中心）， 3751-3760
[70] Wierstra，D。；Förster，A。；彼得斯，J。；Schmidhuber，J.，《经常性政策梯度》，《IGPL逻辑杂志》，第18、5、620-634页（2010年）·Zbl 1214.68304号
[71] Wolsey，L.A.，整数规划（1998），Wiley·Zbl 0930.90072号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。