×
迪米特里斯·伯西马斯;巴尔托洛梅奥·斯特拉托

优化的声音。 （英文） Zbl 07432802号

机器。学习。 110，第2号，249-277（2021）.
摘要：我们介绍了使用最优分类树（OCT）和带超平面的最优分类树的思想，可解释机器学习算法由D.伯西马斯和J.邓恩《马赫·学习》106，第7期，1039–1082（2017；Zbl 1455.68159号)]我们能够深入了解连续和混合整数凸优化问题中最优解背后的策略，它是影响问题的关键参数的函数。这样，优化就不再是一个黑盒子了。相反，我们将优化重新定义为一个多类分类问题，在该问题中，预测器可以洞察最优解决方案背后的逻辑。换句话说，OCT和OCT-H为优化提供了发言权。我们在几个现实的例子中表明，我们的方法背后的准确性在90-100%的范围内，而即使预测不正确，次优或不可行的程度也很低。我们比较了OCT和OCT-Hs的最优策略预测以及前馈神经网络（NNs），得出OCT-Hs和NNs的性能具有可比性的结论。华侨城实力较弱，但往往具有竞争力。因此，我们的方法提供了对最优策略的新的深刻理解，以解决一类广泛的连续和混合整数优化问题。

引用于8文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

参数优化;可解释性;取样;多类别分类

引文：

Zbl 1455.68159号

软件：

帕拉米尔斯;萨特齐拉;神经卫星;AlexNet公司;PyTorch公司;卡费;古罗比;SMAC公司;ImageNet公司;TensorFlow公司;irace公司;CVXPY公司
PDF格式BibTeX公司 XML格式引用
\textit{D.Bertsimas}和\textit{B.Stellato}，马赫。学习。110，编号2，249--277（2021；Zbl 07432802）
全文： 内政部 arXiv公司

参考文献：

[1] Abadi，M.、Agarwal，A.、Barham，P.、Brevdo，E.、Chen，Z.、Citro，C.等人（2015）。TensorFlow：异构系统上的大规模机器学习。https://www.tensorflow.org/，软件可从tensorflow.org获得。
[2] 阿尔瓦雷斯，AM；卢沃，Q。；Wehenkel，L.，基于机器学习的强分支近似，《计算信息杂志》，29，1，185-195（2017）·Zbl 1364.90224号 ·doi:10.1287/ijoc.2016.0723
[3] Bengio，Y.（2009）《学习人工智能的深层架构》。机器学习中的基础和趋势®，2（1），1-127·Zbl 1192.68503号
[4] Bengio，Y.、Lodi，A.和Prouvost，A.（2018）。组合优化的机器学习：方法论之旅。arXiv:1811.0612。
[5] Bertsimas，D。；Dunn，J.，最优分类树，机器学习，106，7，1039-1082（2017）·Zbl 1455.68159号 ·doi:10.1007/s10994-017-5633-9
[6] Bertsimas，D。；Dunn，J.，《现代优化视角下的机器学习》（2019），伦敦：动态思想出版社，伦敦
[7] Bertsimas，D.和Stellato，B.（2019年）。以毫秒为单位的在线混合集成优化。arXiv:1907.02206。
[8] Bertsimas，D。；Tsitsiklis，JN，《线性优化导论》（1997），纽约：雅典娜科学出版社，纽约
[9] Bojarski，M.、Del Testa，D.、Dworakowski，D.、Firner，B.、Flepp，B.、Goyal，P.等人（2016年）。针对自动驾驶汽车的端到端学习。arXiv:1604.17316。
[10] Bonami，P。；Lodi，A。；Zarpellon，G。；van Hoeve，WJ，学习混合整数二次规划问题的分类，约束规划、人工智能和运筹学的集成，595-604（2018），Cham:Springer，Cham·Zbl 1511.90156号 ·文件编号：10.1007/978-3-319-93031-2_43
[11] 博伊德，S。；Vandenberghe，L.，凸优化（2004），剑桥：剑桥大学出版社，剑桥·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441
[12] 布雷曼，L。；JH弗里德曼；奥申，RA；Stone，CJ，分类和回归树。《华兹华斯统计/概率系列》（1984），加利福尼亚州蒙特里：华兹华斯布鲁克斯/科尔高级图书与软件公司，加利福尼亚州蒙特雷·Zbl 0541.62042号
[13] Calafiore，GC，随机凸规划，SIAM优化杂志，20，6，3427-3464（2010）·Zbl 1211.90168号 ·doi:10.1137/090773490
[14] 克拉克，E。；古普塔，A。；库库拉，J。；斯特里赫曼，O。；Brinksma，E。；Larsen，KG，使用ILP和机器学习技术进行基于SAT的抽象再定义，计算机辅助验证，265-279（2002），柏林：施普林格出版社，柏林·Zbl 1010.68515号 ·doi:10.1007/3-540-45657-0_20
[15] Copeland，J.（2012）。阿兰·图灵：拯救了“数百万人生命”的密码破坏者。BBC新闻。https://www.bbc.com/news/technology-18419691。在线；发布于2012年6月19日。
[16] Dai，H.、Dai，B.和Song，L.（2016）。结构化数据潜在变量模型的判别嵌入。第33届国际机器学习会议论文集——第48卷，JMLR.org，ICML’16（第2702-2711页）。
[17] Dai，H.、Khalil，E.B.、Zhang，Y.、Dilkina，B.和Song，L.（2017）。学习图上的组合优化算法。arXiv:1704.01665。
[18] 钻石，S。；Boyd，S.，CVXPY:一种嵌入Python的凸优化建模语言，《机器学习研究杂志》，17，83，1-5（2016）·Zbl 1360.90008号
[19] Good，IJ，物种的种群频率和种群参数的估计，Biometrika，40，3-4237-264（1953）·兹比尔0051.37103 ·doi:10.2307/2333344
[20] 古德费罗，I。；Y.本吉奥。；Courville，A.，《深度学习》（2016），伦敦：麻省理工学院出版社，伦敦·Zbl 1373.68009号
[21] Gurobi Optimization Inc.（2020年）。Gurobi优化器参考手册。http://www.gurobi.com。
[22] 哈斯蒂，T。；Tibshirani，R。；弗里德曼，J.，《统计学习的要素》。《斯普林格统计系列》（2009）第二名，纽约：斯普林格，纽约·Zbl 1273.62005年
[23] 辛顿，G。；邓，L。；Yu，D。；Dahl，通用电气；Mohamed，A。；北卡罗来纳州贾特利。；高级，A。；Vanhoucke，V。；Nguyen，P。；田纳西州塞纳；Kingsbury，B.，《语音识别中声学建模的深度神经网络：四个研究小组的共同观点》，IEEE Signal Processing Magazine，29，6，82-97（2012）·doi:10.1109/MSP.2012.2205597
[24] 霍夫曼，AJ，《约束和helly数》，《纽约科学院年鉴》，319，1，284-288（1979）·Zbl 0489.52011 ·doi:10.1111/j.1749-6632.1979.tb32803.x
[25] Hutter，F。；呼，HH；莱顿-布朗，K。；Stützle，T.，ParamILS:自动算法配置框架，《人工智能研究杂志》，36，1，267-306（2009）·Zbl 1192.68831号 ·doi:10.1613/jair.2861
[26] Hutter，F。；呼，HH；莱顿-布朗，K。；Coello，CA，通用算法配置的基于序列模型的优化，学习和智能优化，507-523（2011），柏林：施普林格出版社，柏林·doi:10.1007/978-3-642-25566-340
[27] Jia，Y.、Shelhamer，E.、Donahue，J.、Karayev，S.、Long，J.，Girshick，R.、Guadarrama，S.和Darrell，T.（2014）。Caffe：快速特征嵌入的卷积架构。arXiv:1408.5093。
[28] Khalil，E.B.、Bodic，P.L.、Song，L.、Nemhauser，G.和Dilkina，B.（2016）。学习混合整数编程中的分支。第30届AAAI人工智能会议论文集，AAAI’16（第724-731页）。伦敦：AAAI出版社。http://dl.acm.org/citation.cfm？id=3015812.3015920。
[29] 克劳乔，M。；卡鲁兹，M。；Kvasnica，M.，基于机器学习的嵌入式模型预测控制中主动集方法的温启动，人工智能工程应用，77，1-8（2019）·doi:10.1016/j.engappai.2018.09.014
[30] Krizhevsky，A.、Sutskever，I.和Hinton，G.E.（2012）。基于深度卷积神经网络的Imagenet分类。F.Pereira、C.J.C.Burges、L.Bottou和K.Q.Weinberger（编辑），《神经信息处理系统的进展》（第1097-1105页）。Curran Associates公司。
[31] Kruber，M。；吕贝克，ME；帕门蒂尔，A。；Salvagnin，D。；Lombardi，M.，学习何时使用分解，AI和OR技术在约束编程中的集成，202-210（2017），Cham:Springer，Cham·Zbl 1489.68253号 ·doi:10.1007/978-3-319-59776-8_16
[32] LeCun，Y。；本吉奥，Y。；Hinton，G.，《深度学习》，《自然》，521，7553，436-444（2015）·doi:10.1038/nature14539
[33] López-Ibáñez，M。；Dubois-Lacoste，J。；佩雷斯·卡塞雷斯（Pérez Cáceres，L.）。；比拉塔里，M。；Stützle，T.，《愤怒包：自动算法配置的迭代竞赛》，运筹学展望，3，43-58（2016）·doi:10.1016/j.orp.2016.09.002
[34] Markowitz，H.，《投资组合选择》，《金融杂志》，第7期，第1期，第77-91页（1952年）
[35] McAllester，D.A.和Schapire，R.E.（2000）。关于Good-Turing估计的收敛速度。第13届计算学习理论年会论文集。
[36] McDiarmid，C.，《关于有界差分法》。伦敦数学学会讲座笔记系列，148-188（1989），剑桥：剑桥大学出版社，剑桥·Zbl 0712.05012号
[37] Minton，S.，《自动配置约束满足程序：案例研究》，约束，1，1-2，7-43（1996）·doi:10.1007/BF00143877
[38] Misra，S.、Roald，L.和Ng，Y.（2019年）。学习约束优化：识别最佳活动约束集。arXiv:1802.09639v4。
[39] Paszke，A.、Gross，S.、Chintala，S.，Chanan，G.、Yang，E.、DeVito，Z.等人（2017年）。PyTorch中的自动区分。在NIPS-W中。
[40] Selsam，D.、Lamm，M.、Bünz，B.、Liang，P.、de Moura，L.和Dill，D.L.（2019）。从单位监管中学习SAT解算器。在学习代表国际会议上。
[41] 西尔弗·D。；Schrittwieser，J。；Simonyan，K。；安东尼奥卢，I。；Huang，A。；A.盖兹。；休伯特，T。；贝克，L。；赖，M。；博尔顿，A。；陈，Y。；Lillicrap，L。；Hui，F。；Sifre，L。；van den Driessche，G。；Graepel，T。；哈萨比斯，D.，《在没有人类知识的情况下掌握围棋游戏》，《自然》，5507676354-359（2017）·doi:10.1038/nature24270
[42] Smith，KA，《用于组合优化的神经网络：十多年研究综述》，《计算信息杂志》，11，1，15-34（1999）·Zbl 1034.90528号 ·doi:10.1287/ijoc.11.1.15
[43] 萨顿，RS；Barto，AG，《强化学习：简介》（2018），纽约：布拉德福德图书公司，纽约·Zbl 1407.68009号
[44] Takapoui，R。；莫尔，N。；博伊德，S。；Bempoad，A.，《嵌入式混合整数二次规划的简单有效启发式算法》，《国际控制杂志》，93，1-11（2017）·Zbl 1434.90117号
[45] 徐，L。；Hutter，F。；呼，HH；Leyton-Brown，K.，SATzilla:SAT基于组合的算法选择，《人工智能研究杂志》，32，1565-606（2008）·Zbl 1182.68272号 ·doi:10.1613/jair.2490
[46] 郑，YS；Federgruen，A.，《寻找最佳（s，s）策略与评估单个策略一样简单》，《运筹学》，39，4，654-665（1991）·Zbl 0749.90024号 ·doi:10.1287/opre.39.4.654
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。