克劳迪奥·甘贝拉;比桑加达尔;乔·瑙姆·萨瓦亚 机器学习的优化问题：综述。 （英语） Zbl 1487.90004号 欧洲药典。物件。 290，编号3，807-828（2021）. 摘要：本文调查了机器学习文献，并在优化框架中介绍了几种常用的机器学习方法。特别是，提出了回归、分类、聚类、深度学习和对抗学习的数学优化模型，以及机器教学、经验模型学习和贝叶斯网络结构学习中的新应用。这些模型可以受益于数值优化技术的进步，这些技术已经在一些机器学习环境中发挥了独特的作用。讨论了这些模型的优点和缺点，并强调了潜在的研究方向和存在的问题。 引用于22文件 MSC公司： 90-08 运筹学和数学规划相关问题的计算方法 68T05年 人工智能中的学习和自适应系统 68T07型 人工神经网络与深度学习 62小时30分 分类和区分；聚类分析（统计方面） 90-02 与运筹学和数学规划有关的研究博览会（专著、调查文章） 关键词：分析;数学程序设计;机器学习;深度学习 软件：AlexNet公司;凯利;LBFGS-B型;Scikit公司;中央情报局;亚当;丁香;Reluplex公司;二进制连接;ImageNet公司;配子 PDF格式BibTeX公司 XML格式引用 \textit{C.Gambella}等人，《欧洲药典》。第290号决议，第3号，807--828（2021年；Zbl 1487.90004） 全文： 内政部 arXiv公司 参考文献： [1] Agostinelli，F。；霍夫曼，M。；萨多夫斯基，P。；Baldi，P.，《学习激活函数以改进深层神经网络》，《技术报告》（2014），arXiv预印本1412.6830 [2] Alam，医学硕士。；Lin，H.-Y。；邓海伟。；卡尔霍恩，V.D。；Wang，Y.-P.，检测多模态数据集中高阶交互作用的核机器方法：在精神分裂症中的应用，《神经科学方法杂志》，309161-174（2018） [3] 阿洛伊斯，D。；Hansen，P。；Liberti，L.，《最小平方和聚类的改进列生成算法》，《数学规划》，131,1195-220（2012）·Zbl 1236.90095号 [4] 阿马尔迪，E。；Coniglio，S.，基于距离的点重分配启发式算法用于k超平面聚类问题，《欧洲运筹学杂志》，227，1，22-29（2013）·兹比尔1292.90323 [5] 阿马尔迪，E。；Coniglio，S。；Taccari，L.，将分段仿射模型拟合到数据点的离散优化方法，计算机与运筹学，75，214-230（2016）·Zbl 1349.68209号 [6] 青木，Y。；Hayami，K。；斯特克·H·D。；Konagaya，A.，《欠定逆问题多解抽样的聚类牛顿法：在药代动力学参数识别问题中的应用》，SIAM科学计算杂志，36，1，14-44（2014）·Zbl 1290.65062号 [7] Atamturk，A。；Gomez，A.，稀疏回归的秩一凸化，技术报告（2019），arXiv预印本1901.10334 [8] Aytug，H.，使用广义Benders分解的支持向量机特征选择，《欧洲运筹学杂志》，244，1，210-218（2015）·Zbl 1347.62105号 [9] 阿扎德，M。；Moshkov，M.，具有多值决策的决策表的决策树平均深度最小化，Procedia Computer Science，35，368-377（2014） [10] 阿扎德，M。；Moshkov，M.，多标签决策表的决策树深度最小化，ieee粒度计算国际会议论文集，7-12（2014） [11] 阿扎德，M。；Moshkov，M.，以MVD表表示的不一致决策表的决策树分类和优化，计算机科学和信息系统联合会议论文集，31-38（2015） [12] 阿扎德，M。；Moshkov，M.，具有多值决策的决策表的决策树和抑制树的多级优化，《欧洲运筹学杂志》，263，3，910-921（2017）·Zbl 1380.91054号 [13] Bagirov，A.M。；Yearwood，J.，最小平方和聚类问题的一种新的非光滑优化算法，《欧洲运筹学杂志》，170，2，578-596（2006）·Zbl 1085.90045号 [14] Barlett，M。；Cussens，J.，《使用整数规划的贝叶斯网络学习进展》，《人工智能不确定性会议论文集》，182-191（2013） [15] 巴雷诺，M。；B.纳尔逊。；约瑟夫，A.D。；Tygar，J.D.，机器学习的安全性，机器学习，81，2，121-148（2010）·Zbl 1470.68080号 [16] Bartlett，M。；Cussens，J.，贝叶斯网络结构学习问题的整数线性规划，人工智能，244258-271（2017）·Zbl 1404.68094号 [17] O.巴斯塔尼。；约阿诺，Y。；Lampropoulos，L。；病毒性肠炎，D。；Nori，A。；Criminisi，A.，《用约束测量神经网络鲁棒性》（Lee，D.D.；Sugiyama，M.；Luxburg，U.V.；Guyon，I.；Garnett，R.，《神经信息处理系统的进展》（2016），Curran Associates，Inc.），2613-2621 [18] 鲍曼，P。；Hochbaum博士。；Yang，Y.T.，《领先机器学习技术和两种新优化算法的比较研究》，《欧洲运筹学杂志》，272，3，1041-1057（2019）·Zbl 1403.90560号 [19] Belhumeur，P.N。；赫斯帕尼亚，J.P。；Kriegman，D.J.，《特征脸与渔夫脸：使用类特定线性投影的识别》，IEEE模式分析与机器智能汇刊，7711-720（1997） [20] 贝纳蒂，S。；García，S.，《带变量选择的混合整数线性聚类模型》，《计算机与运筹学研究》，第43期，第280-285页（2014年）·兹比尔1349.62258 [21] Y.本吉奥。；Lodi，A。；Prouvost，A.，《组合优化的机器学习：一种方法论之旅》，《技术报告》（2018年），arXiv预印本1811.06128 [22] Bennett，K.P.，《通过线性规划构建决策树》，《技术报告》（1992），威斯康星大学计算机科学系并行优化中心 [23] Bennett，K.P。；Blue，J.，《最优决策树》，《技术报告》（1996），伦斯勒理工学院 [24] Bennett，K.P。；Mangasarian，O.L.，两个线性不可分集的鲁棒线性规划判别，优化方法和软件，1,1,23-34（1992） [25] Bennett，K.P。；Parrado-Hernández，E.，《优化与机器学习研究的相互作用》，《机器学习研究杂志》，第7期，第1265-1281页（2006年）·Zbl 1222.68146号 [26] Bergstra，J。；Bengio，Y.，《超参数优化的随机搜索》，《机器学习研究杂志》，2012年2月13日，281-305页·Zbl 1283.68282号 [27] Bertsimas，D。；Copenhaver，M.S.，线性回归和矩阵回归中稳健化和正则化等价性的表征，《欧洲运筹学杂志》，270，3，931-942（2018）·Zbl 1403.62040号 [28] Bertsimas，D。；Dunn，J.，最优分类树，机器学习，106，7，1039-1082（2017）·Zbl 1455.68159号 [29] Bertsimas，D。；Dunn，J。；Pawlowski，C。；Zhuo，Y.D.，稳健分类，INFORMS优化杂志，1，1，2-34（2019） [30] Bertsimas，D。；Kallus，N.，《从预测到规定分析》，《管理科学》，66，3，1025-1044（2020） [31] Bertsimas，D。；King，A.，OR forum-线性回归的算法方法，运筹学，64，1，2-16（2016）·Zbl 1338.90272号 [32] Bertsimas博士。；金，A。；Mazumder，R.，《通过现代优化透镜选择最佳子集》，《统计年鉴》，44，2813-852（2016）·Zbl 1335.62115号 [33] Bertsimas，D。；Shioda，R.，通过整数优化进行分类和回归，运筹学，55，2，252-271（2007）·兹比尔1167.90593 [34] Bertsimas，D。；Van Parys，B.，《稀疏高维回归：精确可扩展算法和相变》，《统计年鉴》，48，1，300-323（2020）·Zbl 1444.62094号 [35] 比吉奥，B。；Fumera，G。；Roli，F.，《受到攻击的多分类器系统》，《多分类器系统国际研讨会论文集》，74-83（2010） [36] 比乔，B。；B.纳尔逊。；Laskov，P.，《对支持向量机的毒害攻击》，机器学习国际会议论文集，1467-1474（2012） [37] 布兰科，V。；J.波多尔。；Salmerón，R.，《将超平面定位到拟合点集：一般框架》，计算机与运筹学，95，172-193（2018）·Zbl 1458.90467号 [38] 布兰科罗，R。；Carrizosa，E。；Molero-Ráo，C。；Morales，D.R.，最优随机分类树，技术报告（2018） [39] 布兰科罗，R。；Carrizosa，E。；Molero-Río，C。；Morales，D.R.，最优随机分类树的稀疏性，《欧洲运筹学杂志》，284，1，255-272（2020）·Zbl 1441.62163号 [40] Bonami，P。；Lodi，A。；特拉蒙塔尼，A。；Wiese，S.，《关于带指标约束的数学规划》，《数学规划》（mathematical programming），151，1，191-223（2015）·Zbl 1328.90086号 [41] Bonami，P。；Lodi，A。；Zarpellon，G.，学习混合整数二次规划问题的分类，约束规划、人工智能和运筹学集成国际会议论文集，595-604（2018）·Zbl 1511.90304号 [42] 博伊，R.I。；Lorenz，N.，《统计学习中的优化问题：二重性和优化条件》，《欧洲运筹学杂志》，213，2395-404（2011）·Zbl 1222.90079号 [43] 博图，L。；柯蒂斯，F.E。；Nocedal，J.，《大规模机器学习的优化方法》，SIAM Review，60，2，223-311（2018）·Zbl 1397.65085号 [44] 布拉德利，P。；Mangasarian，O.，通过线性支持向量机进行大规模数据判别，优化方法和软件，13，1，1-10（2000）·Zbl 0986.90085号 [45] 布雷曼，L。；弗里德曼，J。；Olshen，R。；Stone，C.，《分类和回归树》（1984），查普曼和霍尔/CRC：查普曼与霍尔/CRC伦敦·Zbl 0541.62042号 [46] 布吕克纳，M。；坎佐，C。；Scheffer，T.，《对抗性学习问题的静态预测游戏》，《机器学习研究杂志》，第13期，第2617-2654页（2012年）·Zbl 1433.68328号 [47] 布吕克纳，M。；Scheffer，T.，Stackelberg对抗性预测问题游戏，知识发现和数据挖掘国际会议论文集，547-555（2011） [48] Bunel，R.R。；特克斯兰，I。；托尔，P。；科尔里，P。；Mudigonda，P.K.，《分段线性神经网络验证的统一观点》，（Bengio，S.；Wallach，H.；Larochelle，H.，Grauman，K.；Cesa-Bianchi，N.；Garnett，R.，《神经信息处理系统的进展》（2018），Curran Associates，Inc.），4790-4799 [49] 伯德·R·H。；卢，P。；Nocedal，J。；Zhu，C.，边界约束优化的有限内存算法，SIAM科学计算杂志，16，5，1190-1208（1995）·Zbl 0836.65080号 [50] 卡菲里，S。；科斯塔，A。；Hansen，P.，《分层除法图模块化最大化模型的重构》，运筹学年鉴，222，1，213-226（2014）·Zbl 1303.90111号 [51] 卡菲里，S。；Hansen，P。；Liberti，L.，使用精确算法改进网络模块化最大化的启发式，《离散应用数学》，163，65-72（2014）·Zbl 1303.90112号 [52] 坎波斯，C.P.d。；Ji，Q.，使用约束的贝叶斯网络的有效结构学习，机器学习研究杂志，12663-689（2011）·Zbl 1280.68226号 [53] 卡里尼，N。；Wagner，D.，《朝向评估神经网络的稳健性》，《ieee安全与隐私研讨会论文集》，39-57（2017） [54] Carrizosa，E。；Guerrero，V.，生物目标稀疏主成分分析，多元分析杂志，132151-159（2014）·Zbl 1360.62301号 [55] Carrizosa，E。；Guerrero，V.，rs稀疏主成分分析：VNS的混合整数非线性规划方法，计算机与运筹学，52349-354（2014）·Zbl 1349.62248号 [56] Carrizosa，E。；马丁·巴拉根，B。；Morales，D.R.，二值化支持向量机，《信息计算杂志》，22，1，154-167（2010）·兹比尔1243.62088 [57] Carrizosa，E。；马丁·巴拉根，B。；Morales，D.R.，《在监督分类中检测相关变量和交互作用》，《欧洲运筹学杂志》，213，1，260-269（2011） [58] Carrizosa，E。；Mladenović，N。；Todosijević，R.，网络上最小平方和聚类的可变邻域搜索，《欧洲运筹学杂志》，230，2，356-363（2013）·兹比尔1317.91061 [59] Carrizosa，E。；Morales，D.R.，《监督分类和数学优化》，《计算机与运筹学研究》，第40、1、150-165页（2013年）·Zbl 1349.68135号 [60] Chan，A.B。；Vasconcelos，N。；Lanckriet，G.R.G.，稀疏SVM的直接凸松弛，机器学习国际会议论文集，145-153（2007） [61] Chatterjee，S。；Hadi，A.S.，《示例回归分析》（2015年），John Wiley&Sons：John Willey&Sons New York [62] Chaves，A.A。；Lorena，L.A.N.，针对容量受限的中心聚类问题的聚类搜索算法，计算机与运筹学，37，3，552-558（2010）·Zbl 1173.90413号 [63] 陈，X。；杨，J。；张，D。；Liang，J.，使用数学规划方法完成大幅度线性判别分析，模式识别，46，6，1579-1594（2013）·Zbl 1264.68140号 [64] 陈，Y。；Florian，M.，《非线性双层规划问题：公式、正则性和最优性条件》，《最优化》，32，3，193-209（1995）·Zbl 0817.90101号 [65] Cheng，C.-H。；纽伦堡，G。；Ruess，H.，《人工神经网络的最大弹性》，（D’Souza，D.；Narayan Kumar，K.，《验证和分析自动化技术》（2017），施普林格国际出版公司：施普林格国家出版公司），251-268 [66] Chickering，D.M.，《学习贝叶斯网络是NP-complete》，《从数据中学习》，121-130（1996），斯普林格出版社 [67] 奇卡洛夫，I。；侯赛因，S。；Moshkov，M.，决策树的双标准优化及其在数据分析中的应用，《欧洲运筹学杂志》，266，2，689-701（2018）·Zbl 1403.91106号 [68] Chouldechova，A。；Hastie，T.，广义加性模型选择，技术报告（2015），arXiv预印本1506.03850 [69] 楚·W。；Keerthi，S.S.，支持向量有序回归，神经计算，19，3792-815（2007）·Zbl 1127.68080号 [70] 克拉森，G。；Hendriks，T.H.，《特殊有序集在定期牛奶收集问题中的应用》，《欧洲运筹学杂志》，第180、2754-769页（2007年）·Zbl 1123.90319号 [71] Corne博士。；Dhanens，C。；Jourdan，L.，《运筹学与数据挖掘之间的协同作用：多目标方法的新兴应用》，《欧洲运筹学杂志》，第221、3、469-479页（2012年）·Zbl 1253.90002号 [72] 科伦特，S。；Greco，S。；Kadziñski，M。；Słowiński，R.，偏好学习和排名中的稳健有序回归，机器学习，93，2-3381-422（2013）·Zbl 1300.68040号 [73] 科尔特斯，C。；Vapnik，V.，支持向量网络，机器学习，20，3，273-297（1995）·Zbl 0831.68098号 [74] Courbariaux，M。；Y.本吉奥。；David，J.-P.，Binaryconnect:在传播过程中使用二进制权重训练深层神经网络，（Cortes，C.；Lawrence，N.D.；Lee，D.D.；Sugiyama，M.；Garnett，R.，《神经信息处理系统的进展》（2015），Curran Associates，Inc），3123-131 [75] 洛杉矶考克斯。；邱，Y。；Kuehner，W.，具有不确定参数值的离散分类函数的启发式最小成本计算，运筹学年鉴，21，1，1-29（1989）·Zbl 0705.90089号 [76] 坎宁安，J.P。；Ghahramani，Z.，《线性降维：调查、洞察和概括》，《机器学习研究杂志》，16，1，2859-2900（2015）·Zbl 1351.62123号 [77] 柯蒂斯，F.E。；Scheinberg，K.，《监督机器学习的优化方法：从线性模型到深度学习》，INFORMS社区的领先发展，89-114（2017年），INFORM [78] Cussens，J.，《切面贝叶斯网络学习》，《人工智能不确定性会议论文集》，153-160（2011） [79] Cybenko，G.，通过sigmoid函数的叠加进行逼近，控制、信号和系统数学，2，4，303-314（1989）·Zbl 0679.94019号 [80] 达姆布罗西奥，C。；Lodi，A。；威斯，S。；Bragalli，C.，《水网络优化中的数学规划技术》，《欧洲运筹学杂志》，243，3，774-788（2015）·Zbl 1346.90211号 [81] Dekel，O。；O.沙米尔。；Xiao，L.，学习用缺失和损坏的特征进行分类，机器学习，81，2，149-178（2010）·Zbl 1470.68095号 [82] 9-1 [83] Dáaz-Bánez，J。；梅萨，J.A。；Schöbel，A.，维度结构的连续定位，《欧洲运筹学杂志》，152，1，22-44（2004）·Zbl 1040.90021号 [84] 丁，C。；He，X.，K-表示通过主成分分析进行聚类，机器学习国际会议论文集，29（2004） [85] Doshi-Velez，F。；Kim，B.，《迈向可解释机器学习的严谨科学》，《技术报告》（2017），arXiv预印本1702.08608 [86] Dreiseitl，S。；Ohno-Machado，L.，Logistic回归和人工神经网络分类模型：方法综述，生物医学信息学杂志，35，5-6，352-359（2002） [87] 邓巴，M。；莫里，J.M。；洛杉矶Cysique。；布鲁，B.J。；Jeyakumar，V.，通过凸二次规划进行同步分类和特征选择，并应用于HIV-相关神经认知障碍评估，欧洲运筹学杂志，206，2，470-478（2010）·Zbl 1188.90235号 [88] Edgeworth，F.Y.，《关于几个量的观察》，Hermathena，6，13，279-285（1887） [89] Edmunds，T.A。；Bard，J.F.，混合整数非线性双层规划问题的算法，运筹学年鉴，34,1149-162（1992）·Zbl 0751.90054号 [90] 埃夫隆，B。；哈斯蒂，T。；约翰斯通，I。；Tibshirani，R.，最小角回归，《统计年鉴》，32，2，407-499（2004）·Zbl 1091.62054号 [91] Elsken，T。；Metzen，J.H。；Hutter，F.，《神经架构搜索：调查》。，机器学习研究杂志，20，55，1-21（2019）·Zbl 1485.68229号 [92] Fanghänel，D。；Dempe，S.，带离散低层问题的双层规划，优化，58,81029-1047（2009）·Zbl 1175.90315号 [93] 德法里亚斯，I。；赵，M。；Zhao，H.，优化不连续可分分段线性函数的特殊有序集方法，运筹学快报，36，2，234-238（2008）·Zbl 1163.90758号 [94] 费拉里·特雷卡特，G。；穆塞利，M。；Liberati，D。；Morari，M.，用于识别分段仿射系统的聚类技术，Automatica，39，2，205-217（2003）·Zbl 1011.93508号 [95] 菲舍蒂，M。；Fraccaro，M.，《机器学习与数学优化相结合，预测海上风电场的最佳产量》，《计算机与运营研究》，106，289-297（2019）·Zbl 1458.90671号 [96] 菲舍蒂，M。；Jo，J.，深度神经网络和混合整数线性优化，约束，23，3，296-309（2018）·Zbl 1402.90096号 [97] 菲舍蒂，M。；洛迪，A。；Zarpellon，G.，《在达到时限之前学习MILP解决结果》，《约束规划、人工智能和运筹学集成国际会议论文集》，275-291（2019）·Zbl 1525.90283号 [98] Franceschi，L。；Frasconi，P。；萨尔佐，S。；格雷齐，R。；Pontil，M.，超参数优化和元学习的双层规划，技术报告（2018），arXiv预印本1806.04910 [99] 弗里德曼，J。；哈斯蒂，T。；Tibshirani，R.，《统计学习的要素》，1（2001），《统计中的斯普林格系列：美国纽约州纽约市统计中的斯普林格系列》·Zbl 0973.62007号 [100] Fukunaga，K.，《统计模式识别导论》（2013），爱思唯尔 [101] Ganesh，K。；Narendran，T.，《三叶草：解决送货和取货车辆路线问题的聚类和搜索启发式方法》，《欧洲运筹学杂志》，178，3699-717（2007）·Zbl 1148.90303号 [102] 盖塞，M。；Aussem，A。；Elghazel，H.，《贝叶斯网络结构学习的混合算法及其在多标签学习中的应用》，《应用的专家系统》，41，15，6755-6772（2014） [103] 高迪奥索，M。；Gorgone，E。；拉贝，M。；Rodríguez-Chía，a.M.，支持向量机特征选择的拉格朗日松弛法，计算机与运筹研究，87，137-145（2017）·Zbl 1391.90430号 [104] Gaudreau，P。；Hayami，K。；青木，Y。；Safouhi，H。；Konagaya，A.，对欠定反问题的聚类牛顿法的改进，计算与应用数学杂志，283122-141（2015）·Zbl 1311.65070号 [105] B.加达。；Naoum-Sawaya，J.，使用支持向量机进行高维数据分类和特征选择，《欧洲运筹学杂志》，265，3，993-1004（2018）·Zbl 1381.62170号 [106] A.Globerson。；Roweis，S.，《测试时的噩梦：通过特征删除实现鲁棒学习》，机器学习国际会议论文集，353-360（2006） [107] 高盛，S。；Kearns，M.，《论教学的复杂性》，《计算机与系统科学杂志》，50，1，20-31（1995）·Zbl 0939.68770号 [108] 古德费罗，I。；Y.本吉奥。；科尔维尔，A。；Bengio，Y.，《深度学习》，1（2016），麻省理工学院出版社：麻省理学院出版社剑桥·Zbl 1373.68009号 [109] 古德费罗，I。；Pouget-Abadie，J。；米尔扎，M。；徐，B。；Warde-Farley，D。；奥泽尔，S。；Bengio，Y.，《生成性对抗网络》（Ghahramani，Z.；Welling，M.；Cortes，C.；Lawrence，N.D.；Weinberger，K.Q.，《神经信息处理系统的进展》（2014），Curran Associates，Inc），2672-2680 [110] 古德费罗，I.J。；Warde-Farley，D。；米尔扎，M。；库尔维尔，A。；Bengio，Y.，Maxout networks，机器学习国际会议论文集，1319-1327（2013） [111] Grossmann，I.E.，《非线性混合整数和析取规划技术综述》，优化与工程，3，3，227-252（2002）·Zbl 1035.90050 [112] 顾S。；Rigazio，L.，《面向对抗性示例鲁棒的深层神经网络架构》，《技术报告》（2014），arXiv预印本1412.5068 [113] Gümüş，Z.H。；Floudas，C.A.，非线性双层规划问题的全局优化，《全局优化杂志》，20，1，1-31（2001）·Zbl 0987.90074号 [114] Günlük，O。；Kalagnanam，J。；Menickelly，M。；Scheinberg，K.，《通过整数规划实现分类数据的最优决策树》，《技术报告》（2018年），《在线优化》 [115] 盖恩，I。；韦斯顿，J。；巴恩希尔，S。；Vapnik，V.，使用支持向量机进行癌症分类的基因选择，机器学习，46，1-3，389-422（2002）·Zbl 0998.68111号 [116] 哈姆，J。；Noh，Y.，K-Beam minimax优化的次梯度下降，技术报告（2018），arXiv预印本1805.11640 [117] Hansen，P。；Jaumard，B.，聚类分析和数学规划，数学规划，79，1-3，191-215（1997）·Zbl 0887.90182号 [118] Har-Peled，S。；罗斯，D。；Zimak，D.，《多类分类和排序的约束分类》（Becker，S.；Thrun，S.）；Obermayer，K.，《神经信息处理系统的进展》（2003），麻省理工学院出版社，809-816 [119] 哈斯蒂，T。；Tibshirani，R.，广义加性模型，统计科学，1，3，297-310（1986）·Zbl 0645.62068号 [120] 哈斯蒂，T。；Tibshirani，R。；Tibshirani，R.J.，最佳子集选择、正向逐步选择和套索的扩展比较，技术报告（2017），arXiv预印本1707.08692 [121] Herbrich，R.，《学习内核分类器：理论和算法》（2001），麻省理工学院出版社 [122] Herbrich，R。；Graepel，T。；Obermayer，K.，《有序回归的大边距秩界》（Bartlett，P.；Schölkopf，B.；Schuumans，D.；Smola，A.（2000），麻省理工出版社） [123] Hornik，K.，多层前馈网络的逼近能力，神经网络，4，2，251-257（1991） [124] Hyafil，L。；Rivest，R.L.，构建最优二元决策树是NP完全的，信息处理快报，5，1，15-17（1976）·Zbl 0333.68029号 [125] Icarte，R.T。；伊利安斯，L。；卡斯特罗，M.P。；Cire，A.A。；McIlraith，美国。；Beck，J.C.，使用MIP和CP训练二值化神经网络，约束编程原理和实践国际会议论文集（2019年） [126] Izenman，A.J.，《现代多元统计技术：回归、分类和流形学习》，《统计学中的Springer文本》，10（2008），Springer·Zbl 1155.62040号 [127] Jaakkola，T。；桑塔格，D。；A.Globerson。；Meila，M.，使用LP松弛学习贝叶斯网络结构，《国际人工智能与统计会议论文集》，358-365（2010） [128] Jain，A.K。；Murty，M.N.N。；Flynn，P.J.，《数据聚类：综述》，ACM计算调查，31，3，264-323（1999） [129] 詹姆斯·G。；维滕，D。；哈斯蒂，T。；Tibshirani，R.，《统计学习导论》，第112页（2013年），施普林格出版社·Zbl 1281.62147号 [130] R.-H.月。；Chern，M.-S.，非线性整数双层规划，《欧洲运筹学杂志》，72,3574-587（1994）·Zbl 0824.90097号 [131] Jolliffe，I.，主成分分析，国际统计科学百科全书，1094-1096（2011），施普林格 [132] 北卡罗来纳州卡米萨。；Bagirov，A.M。；Taheri，S.，《大数据集聚类问题的新对角束方法》，《欧洲运筹学杂志》，263，2，367-379（2017）·Zbl 1380.90226号 [133] Karpathy，A。；托德里奇，G。；Shetty，S。；Leung，T。；Sukthankar，R。；Fei-Fei，L.，用卷积神经网络进行大尺度视频分类，计算机视觉和模式识别ieee会议论文集，1725-1732（2014） [134] Katz，G。；巴雷特，C。；Dill，D.L。；朱利安，K。；Kochenderfer，M.J.，Reluplex：验证深层神经网络的高效SMT解算器，计算机辅助验证国际会议论文集，97-117（2017）·Zbl 1494.68167号 [135] Kawano，S。；藤泽，H。；Takada，T。；Shiroishi，T.，《自适应载荷下的稀疏主成分回归》，计算统计与数据分析，89，192-203（2015）·兹比尔1468.62098 [136] Kelley，C.T.，最优化迭代方法（1999），工业和应用数学学会·Zbl 0934.90082号 [137] Keshvari，A.，分段凹最小二乘法：非参数分段线性回归，《欧洲运筹学杂志》，266，2585-594（2018）·Zbl 1403.90546号 [138] 哈利勒，E.B。；机构，P.L。；宋，L。；纳姆豪泽，G。；Dilkina，B.，《学习混合整数规划的分支》，《AAAI人工智能会议论文集》，724-731（2016） [139] Khalil，E.B。；Dilkina，B。；内姆豪泽，G.L。；艾哈迈德，S。；Shao，Y.，《学习在树搜索中运行启发式》，国际人工智能联合会议论文集，659-666（2017） [140] Khalil，E.B。；古普塔，A。；Dilkina，B.，对二值化神经网络的组合攻击，技术报告（2018），arXiv预印本1810.03538 [141] Kingma，D.P。；Ba，J.，Adam：随机优化方法，技术报告（2014），arXiv预印本1412.6980 [142] Klabjan，D。；Harmon，M.，深度神经网络激活信号群，IEEE大数据国际会议论文集，206-214（2019） [143] Klastorin，T.D.，《聚类分析的p中值问题：使用混合模型方法的比较检验》，《管理科学》，31,184-95（1985）·Zbl 0612.62086号 [144] Klatzer，T。；Pock，T.，支持向量机的连续超参数学习，计算机视觉冬季研讨会论文集，39-47（2015） [145] 克莱默，S。；Widmer，G。；普法林格，B。；De Groeve，M.，使用回归树预测序数类，信息学基础，47，1-2，1-13（2001）·Zbl 1016.68079号 [146] 克劳斯，M。；Feuerriegel，S。；Oztekin，A.，《商业分析和运营研究的深度学习：模型、应用和管理含义》，《欧洲运营研究杂志》，281,3628-641（2020） [147] 克里日夫斯基，A。；Sutskever，I。；Hinton，G.E.，用深度卷积神经网络进行Imagenet分类，（Pereira，F.；Burges，C.J.C.；Bottou，L.；Weinberger，K.Q.，《神经信息处理系统的进展》（2012），Curran Associates，Inc），1097-1105 [148] Kurakin，A。；古德费罗，I。；Bengio，S.，《大规模对抗性机器学习》，《技术报告》（2016），arXiv预印本1611.01236 [149] Kwatera，R.K。；Simeone，B.，集覆盖的聚类启发式，运筹学年鉴，43，5，295-308（1993）·Zbl 0784.90062号 [150] 柳叶刀，G.R.G。；Ghaoui，L.E。；巴塔查里亚，C。；Jordan，M.I.，《稳健的最小极大分类法》，《机器学习研究杂志》，3555-582（2002）·Zbl 1084.68657号 [151] LeCun，Y。；肖普拉，S。；哈德塞尔，R。；兰扎托，M。；Huang，F.，《基于能量的学习教程》，（Bakir，G.；Hofman，T.；Schokopt，B.；Smola，A.；Taskar，B.（2006），麻省理工学院出版社） [152] LeCun，Y.，《概括与网络设计策略》，《透视中的连接主义》，第19期，第143-155页（1989年） [153] Leofate，F。；北卡罗来纳州纳罗迪茨卡。；Pulina，L。；Taccella，A.，《神经网络自动验证：进展、挑战和展望》，《技术报告》（2018），arXiv预印本1805.09938 [154] 刘易斯，M。；Wang，H。；Kochenberger，G.，容量聚类问题的精确解：两种模型的比较，《数据科学年鉴》，1，1，15-23（2014） [155] Liang，T。；Poggio，T。；Rakhlin，A。；Stokes，J.，《神经网络的Fisher-Rao度量、几何学和复杂性》，《人工智能和统计国际会议论文集》，888-896（2019） [156] 林，M。；陈，Q。；Yan，S.，《网络中的网络》，《技术报告》（2013），arXiv预印本1312.4400 [157] 刘，J。；朱霞，线性学习者的教学维度，机器学习研究杂志，17，1，5631-5655（2016）·Zbl 1392.68353号 [158] Lodi，A。；Zarpellon，G.，《关于学习和分支：一项调查》，TOP，25，2，207-236（2017）·Zbl 1372.90003号 [159] 伦巴第，M。；米兰，M。；Bartolini，A.，《实证决策模型学习》，人工智能，244343-367（2017）·Zbl 1404.68113号 [160] Lowd，D。；Meek，C.，对手学习，数据挖掘中知识发现国际会议论文集，641-647（2005） [161] MacQueen，J.，《多元观测分类和分析的一些方法》，伯克利数理统计与概率研讨会论文集，281-297（1967）·Zbl 0214.46201号 [162] Madry，A。；马克洛夫，A。；施密特，L。；Tsipras，D。；Vladu，A.，《面向对抗性攻击的深度学习模型》，《技术报告》（2017），arXiv预印本1706.06083 [163] Mai，F。；弗莱，M.J。；Ohlmann，J.W.，基于模型的后验正则化容量聚类，《欧洲运筹学杂志》，271，2594-605（2018）·Zbl 1403.90519号 [164] 马尔多纳多，S。；佩雷斯，J。；韦伯，R。；Labbé，M.，通过混合整数线性规划进行支持向量机的特征选择，信息科学，279163-175（2014）·Zbl 1354.68226号 [165] 梅，S。；Zhu，X.，使用机器教学识别针对机器学习者的最佳训练集攻击。，AAAI人工智能会议记录，2871-2877（2015） [166] Mielke，P.W。；Berry，K.J.，基于排列的多元回归分析：最小绝对偏差和回归的案例，运筹学年鉴，74259（1997）·兹伯利0893.62067 [167] Miller，A.，回归中的子集选择（2002），Chapman和Hall/CRC·Zbl 1051.62060号 [168] （印刷中） [169] Miyashiro，R。；Takano，Y.，线性回归中变量选择的混合整数二阶锥规划公式，《欧洲运筹学杂志》，247，3，721-731（2015）·Zbl 1346.90616号 [170] Montüfar，G.，深度神经网络线性区域数量注释，技术报告（2017），马克斯·普朗克科学数学研究所 [171] 摩尔，G。；Bergeron，C。；Bennett，K.P.，原始SVM的模型选择，机器学习，85，1-2，175-208（2011）·Zbl 1237.68159号 [172] 莫滕森，M.J。；多尔蒂，N.F。；Robinson，S.，《从taylorism到TB的运筹学研究：分析时代的研究议程》，《欧洲运筹学杂志》，241,3583-595（2015）·Zbl 1339.90007号 [173] Mulvey，J.M。；克劳德，H.P.，《聚类分析：拉格朗日松弛的应用》，《管理科学》，25，4，329-340（1979）·Zbl 0415.90085号 [174] Natarajan，B.K.，线性系统的稀疏近似解，SIAM计算杂志，24，2，227-234（1995）·Zbl 0827.68054号 [175] Negreiros，M。；Palhano，A.，以能力为中心的集群问题，计算机与运筹学，33，6，1639-1663（2006）·Zbl 1087.90088号 [176] 聂，S。；De Campos，C.P。；Ji，Q.，《通过抽样学习有界树宽贝叶斯网络》，《欧洲推理和不确定性符号和定量方法会议论文集》，387-396（2015），施普林格出版社·Zbl 1465.68226号 [177] 聂，S。；Mauá，D.D。；De Campos，C.P。；Ji，Q.，学习有界树宽贝叶斯网络的进展，神经信息处理系统的进展，2285-2293（2014） [178] Olafsson，S。；李，X。；Wu，S.，运筹学与数据挖掘，《欧洲运筹学杂志》，187，3，1429-1448（2008）·Zbl 1137.90776号 [179] Parviainen，P。；法拉哈尼，H.S。；Lagergren，J.，使用整数线性规划学习有界树宽贝叶斯网络，人工智能与统计，751-759（2014） [180] Patil，K.R。；朱，J。；Kopeć，L.u。；Love，B.C.，《为能力有限的人类学习者提供最佳教学》，（Ghahramani，Z。；Welling，M。；Cortes，C。；Lawrence，N.D.；Weinberger，K.Q.，《神经信息处理系统的进展》27（2014），Curran Associates，Inc），2465-2473 [181] Payne，H.J。；Meisel，W.S.，构建最优二元决策树的算法，IEEE计算机汇刊，26，905-916（1977）·Zbl 0363.68131号 [182] 佩德雷戈萨，F。；瓦罗佐，G。；Gramfort，A。；米歇尔，V。；蒂里昂，B。；O.格栅。；Edouard，D.，Scikit-learn:Python中的机器学习，《机器学习研究杂志》，第12期，第2825-2830页（2011年）·Zbl 1280.68189号 [183] Piramuthu，S.，《评估数据挖掘应用中学习的特征选择方法》，《欧洲运筹学杂志》，156,2483-494（2004）·Zbl 1056.90091号 [184] Poggio，T。；川口，K。；廖琦（Liao，Q.）。；米兰达，B。；Rosasco，L。；博伊克斯，X。；Mhaskar，H.，《深度学习理论III：解释非过拟合难题》，《技术报告》（2017），arXiv预印本1801.00173 [185] Reris，R。；Brooks，J.P.，《主成分分析和优化：教程》，《技术报告》（2015），弗吉尼亚联邦大学 [186] 罗宾斯，H。；Monro，S.，《随机近似方法》，Herbert robbins论文选，102-109（1985），Springer [187] 罗瓦蒂，R。；达姆布罗西奥，C。；Lodi，A。；Martello，S.，非线性优化问题的乐观MILP建模，《欧洲运筹学杂志》，239，1，32-45（2014）·Zbl 1339.90250号 [188] 萨拉姆，B。；萨勒曼，F.S。；赛义恩，S。；Türkay，M.，《聚类问题的混合整数规划方法及其在客户细分中的应用》，《欧洲运筹学杂志》，173,3866-879（2006）·Zbl 1131.90434号 [189] 西班牙桑蒂。；阿洛伊斯，D。；Blanchard，S.J.，《异质差异数据聚类模型》，《欧洲运筹学杂志》，253，3，659-672（2016）·Zbl 1347.62120号 [190] Scanagatta，M。；Corani，G。；de Campos，C.P。；Zaffalon，M.，《学习具有数千个变量的树宽边界贝叶斯网络》（Lee，D.D.；Sugiyama，M.；Luxburg，U.V.；Guyon，I.；Garnett，R.，《神经信息处理系统的进展》（2016），Curran Associates，Inc），1462-1470 [191] 舍勒，S。；Wendolsky，R.，《容量受限聚类问题的分散搜索启发式算法》，《欧洲运筹学杂志》，169,2533-547（2006）·Zbl 1079.90180号 [192] Schöbel，A.，在平面上定位最小距离线，《欧洲运筹学杂志》，106，1，152-159（1998） [193] 塞拉，T。；Tjandratmadja，C。；Ramalingam，S.，深度神经网络线性区域的边界和计数，机器学习国际会议论文集，4558-4566（2018） [194] 沙哈姆，美国。；Yamada，Y。；Negahban，S.，《理解对抗训练：通过稳健优化提高监督模型的局部稳定性》，神经计算，307195-204（2018） [195] Shashua，A。；Levin，A.，《大幅度原则排名：两种方法》（Becker，S.；Thrun，S.）；Obermayer，K.，《神经信息处理系统进展》（2003），麻省理工学院出版社，961-968 [196] Shinohara，A。；Miyano，S.，《计算学习中的可教性》，新一代计算，8，4，337-347（1991）·Zbl 0712.68084号 [197] Smola，A.J。；Schölkopf，B.，支持向量回归教程，统计与计算，14，3，199-222（2004） [198] Solomonoff，R.J.，《归纳推理机》，IRE惯例记录，信息理论部分，第256-62页（1957年） [199] 宋，H。；Triguero，I。；zcan，E.，《机器学习和优化之间的自我和双重交互综述》，《人工智能进展》，第8期，第2期，第143-165页（2019年） [200] 斯坦哈特，J。；Koh，P.W.W。；Liang，P.S.，《数据中毒攻击的认证防御》，（Guyon，I.；Luxburg，U.V.；Bengio，S.；Wallach，H.；Fergus，R.；Vishwanathan，S.，Garnett，R.，《神经信息处理系统的进展》（2017），Curran Associates，Inc），3517-3529 [201] 塞格迪，C。；Zaremba，W。；Sutskever，I。；布鲁纳，J。；Erhan，D。；古德费罗，I。；Fergus，R.，神经网络的有趣特性，技术报告（2013），arXiv预印本1312.6199 [202] Tamura，R。；Kobayashi，K。；Y.Takano。；Miyashiro，R。；Nakata，K。；松井，T.，消除多重共线性的最佳子集选择，日本运筹学会杂志，60，3，321-336（2017）·兹比尔1382.90068 [203] Tamura，R。；Kobayashi，K。；Y.Takano。；Miyashiro，R。；Nakata，K。；松井，T.，基于方差膨胀因子消除多重共线性的混合整数二次优化公式，《全局优化杂志》，73，2，431-446（2019）·Zbl 1421.90093号 [204] 泰兰，P。；韦伯，G.-W。；Beck，A.，《金融、科学和技术现代应用中广义加性模型回归和连续优化的新方法》，《优化》，56，5-6，675-698（2007）·Zbl 1123.62055号 [205] 蒂瓦里，S。；维，H。；Daryanto，Y.，《2010年至2016年供应链管理中的大数据分析：对行业、计算机和工业工程的见解》，115，319-330（2018） [206] Tjeng，V。；Tedrake，R.，用混合整数规划评估神经网络的鲁棒性，技术报告（2017），arXiv预印本1711.07356 [207] 托里埃洛，A。；Vielma，J.P.，拟合分段线性连续函数，《欧洲运筹学杂志》，219，1，86-95（2012）·Zbl 1244.90166号 [208] 有轨电车，F。；Kurakin，A。；Papernot，N。；古德费罗，I。；Boneh，D。；McDaniel，P.，《合奏对抗训练：攻击与防御》，《技术报告》（2017），arXiv预印本1705.07204 [209] Vapnik，V.，《统计学习理论》，3（1998），威利出版社：威利纽约·Zbl 0935.62007号 [210] Vapnik，V.，《统计学习理论的本质》（2013），施普林格科学与商业媒体·Zbl 0934.62009号 [211] Verwer，S。；Zhang，Y.，使用整数优化学习具有灵活约束和目标的决策树，组合优化问题约束编程中人工智能和或技术国际会议论文集，94-103（2017）·兹比尔1489.68259 [212] Verwer，S。；Zhang，Y。；Ye，Q.C.，使用回归树和线性模型作为整数程序的拍卖优化，人工智能，244368-395（2017）·Zbl 1404.68122号 [213] 维埃玛，J.P。；艾哈迈德，S。；Nemhauser，G.，不可分离分段线性优化的混合整数模型：统一框架和扩展，运筹学，58，2303-315（2010）·Zbl 1226.90046号 [214] 瓦克莱维克，R。；诺瓦克，A。；Šucha，P。；Hanzálek，Z.，使用机器学习加速分支和价格算法，《欧洲运筹学杂志》，271，3，1055-1069（2018）·Zbl 1403.90372号 [215] 王，G。；Gunasekaran，A。；Ngai，E.W。；Papadopoulos，T.，《物流和供应链管理中的大数据分析：研究和应用的某些调查》，《国际生产经济学杂志》，17698-110（2016） [216] Wang，H。；丁，C。；Huang，H.，多值线性判别分析，欧洲计算机视觉会议论文集，126-139（2010） [217] Wang，L。；朱，J。；邹浩，双正则支持向量机，中国统计，16，2，589（2006）·兹比尔1126.68070 [218] Wang，Y。；Chaudhuri，K.，《针对在线学习的数据中毒攻击》，《技术报告》（2018），arXiv预印本1808.08994 [219] Wang，Y。；张，D。；刘，Y。；戴，B。；Lee，L.H.，《通过深度学习加强交通系统：调查》，交通研究第C部分：新兴技术，99，144-163（2019） [220] Wistuba，M。；Rawat，A。；Pedapati，T.，《神经架构搜索调查》，《技术报告》（2019），arXiv预印本arXiv:1905.01392 [221] Wright，S.J.，《数据分析的优化算法》（Mahoney，M.；Duchi，J.；Gilbert，A.，《数据的数学》（2018），美国数学学会），49-98·Zbl 1448.68018号 [222] 袁，C。；Malone，B.，《学习最优贝叶斯网络：最短路径视角》，《人工智能研究杂志》，第48期，第23-65页（2013年）·Zbl 1361.68182号 [223] Zhu，J.，《指数族贝叶斯学习者的机器教学》（Burges，C.J.C.；Bottou，L.；Welling，M.；Ghahramani，Z.；Weinberger，K.Q.，《神经信息处理系统的进展》（2013），Curran Associates，Inc），1905-1913 [224] 朱，J。；Rosset，S。；Tibshirani，R。；Hastie，T.J.，《1-范数支持向量机》（Thrun，S.；Saul，L.K.；Schölkopf，B.，《神经信息处理系统的进展》（2004），麻省理工出版社），49-56 [225] 朱霞，《机器教学：与机器学习相反的问题和优化教育的方法》。，AAAI人工智能会议记录，4083-4087（2015） [226] 朱，X。；辛格拉，A。；齐勒斯，S。；Rafferty，A.N.，《机器教学概述》，《技术报告》（2018），arXiv预印本1801.05927 [227] Zinkevich，M.，在线凸规划和广义无穷小梯度提升，机器学习国际会议论文集，928-936（2003） [228] 邹，H。；Hastie，T.，《通过弹性网进行正则化和变量选择》，《皇家统计学会杂志：B辑（统计方法）》，67，2，301-320（2005）·Zbl 1069.62054号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。