×
多加坎·伊尔马兹;伊利诺伊州Büyüktahtakón。埃斯拉

通过LSTM优化框架学习最佳解决方案。 （英语） Zbl 07724144号

序号操作。Res.论坛 4，第2号，第48号论文，40页（2023年）.
摘要：在本研究中，我们提出了一个深度学习优化框架来处理动态混合集成程序。具体来说，我们开发了一个双向长短期记忆（LSTM）框架，该框架可以及时向前和向后处理信息，以学习顺序决策问题的最佳解决方案。我们展示了我们的方法来预测单项目容量受限批量问题（CLSP）的最优决策，其中二进制变量表示是否在一个时期内生产。由于必须满足周期性需求的生产和库存水平的动态性质，CLSP可以被视为序列标记任务，其中递归神经网络可以捕获问题的时间动态。计算结果表明，我们的LSTM-Optimization（LSTM-Opt）框架显著缩短了基准CLSP问题的求解时间，并且在可行性和最优性方面没有太大损失。例如，对于240000多个测试实例，85%水平的预测平均会将CPLEX解算时间缩短9倍，而测试集中的最优差距小于0.05%，不可行率为0.4%。此外，使用较短规划范围训练的模型可以成功预测具有较长规划范围的实例的最优解。对于最困难的数据集，LSTM预测在25%的水平上将70个CPU小时的解决时间减少到不到2个CPU分钟，优化差距为0.8%，并且没有任何不可行之处。LSTM-Opt框架在求解质量方面优于经典ML算法，如逻辑回归和随机森林，在求解时间改进方面优于精确方法，如基于（ell）、S）和动态规划的不等式。我们的机器学习方法有助于解决类似于CLSP的顺序决策问题，这些问题需要重复、频繁和快速地解决。

引用于1文件

MSC公司：

90立方厘米 混合整数编程
90立方厘米 动态编程

关键词：

机器学习;循环神经网络;双向长短记忆;混合整数规划;容量受限批量;顺序决策

软件：

CPLEX公司;张紧器2传感器;亚当
PDF格式BibTeX公司 XML格式引用
\textit{D.Yilmaz}和\textit{I.E.Büyüktahtakn}，SN Oper。Res.Forum 4，No.2，论文编号48，40 p.（2023；Zbl 07724144）
全文： DOI程序 arXiv公司

参考文献：

[1] Gicquel C、Minoux M、Dallery Y（2008）《产能批量模型：文献综述》
[2] 卡里米，B。；吉奥米，旧金山；Wilson，J.，容量批量问题：模型和算法综述，Omega，31，5365-378（2003）·doi:10.1016/S0305-0483（03）00059-8
[3] 比特兰，希腊；Yanasse，HH，容量受限批量问题的计算复杂性，《管理科学》，28，10，1174-1186（1982）·Zbl 0502.90046号 ·doi:10.1287/月28日.10.1174
[4] Hartman，JC；Büyüktahtakón，以色列；Smith，JC，容量受限批量问题的基于动态规划的不等式，IIE Trans，42，12，915-930（2010）·doi:10.1080/0740817X.2010.504683
[5] Hochreiter，S。；Schmidhuber，J.，《长短期记忆》，神经计算，91735-80（1997）·doi:10.1162/neco.1997.9.8.1735
[6] Y.本吉奥。；Simard，P。；Frasconi，P.，学习梯度下降的长期依赖性是困难的，IEEE神经网络汇刊/a，IEEE神经元网络委员会出版物，5157-66（1994）·doi:10.1109/72.279181
[7] 舒斯特，M。；Paliwal，K.，双向递归神经网络，信号处理，IEEE汇刊，452673-2681（1997）·数字对象标识代码：10.1109/78.650093
[8] Graves A，Schmidhuber J（2005）《双向LSTM网络的框架音素分类》。In：诉讼。2005年IEEE国际神经网络联合会议，第4卷。第2047-2052页
[9] Smith，KA，《用于组合优化的神经网络：十多年研究综述》，INFORMS J Compute，11，1，15-34（1999）·Zbl 1034.90528号 ·doi:10.1287/ijoc.11.1.15
[10] Larsen E、Lachapelle S、Bengio Y、Frejinger E、Lacoste-Julien S、Lodi A（2021）《在不完全信息下预测作战规划问题的战术解决方案》。信息J计算·Zbl 07549375号
[11] 菲舍蒂，M。；Fraccaro，M.，《机器学习与数学优化相结合，预测海上风电场的最佳产量》，Comput Oper Res，106，289-297（2019）·Zbl 1458.90671号 ·doi:10.1016/j.cor.2018.04.006
[12] Bertsimas D，Stellato B（2019）在线混合整数优化（以毫秒为单位）。arXiv预打印arXiv:1907.02206·Zbl 07587567号
[13] Bushaj S，Büyüktahtakñn Is E（2023）一种K-means支持的强化学习算法，用于解决多维背包问题。正在审查中
[14] Bushaj S、Yin X、Beqiri A、Andrews D、Büyüktahtak n I E（2022）用于流行病控制优化的模拟深度强化学习（SiRL）方法。《运营年鉴》1-33
[15] Yilmaz D，Büyüktahtakín Is E（2023）求解两阶段随机程序的深度强化学习框架。已接受以优化信函形式发布
[16] Oroojlooyjadid，A。；斯奈德，LV；Takáć，M.，《将深度学习应用于报童问题》，IISE Transactions，52，4，444-463（2019）·doi:10.1080/24725854.2019.1632502
[17] Khalil EB，Bodic PL，Song L，Nemhauser G，Dilkina B（2016）学习混合整数规划中的分支。《第三十届AAAI人工智能会议论文集》，AAAI'16，第724-731页。AAAI出版社
[18] Khalil EB、Dilkina B、Nemhauser GL、Ahmed S、Shao Y（2017）《学习在树搜索中运行启发式》。在第二十六届国际人工智能联合会议记录中，IJCAI-17第659-666页
[19] Lodi，A。；Zarpellon，G.，《关于学习和分支：一项调查》，TOP，25，2，207-236（2017）·Zbl 1372.90003号 ·doi:10.1007/s11750-017-0451-6
[20] Xavier AS、Qiu F、Ahmed S（2019）学习解决大规模受安全约束的单位承诺问题·Zbl 07362344号
[21] Kruber M，Lübbecke M，Parmentier A（2017）学习何时使用分解。第202-210页·Zbl 1489.68253号
[22] Bonami，P。；Lodi，A。；Zarpellon，G。；van Hoeve，WJ，学习混合整数二次规划问题的分类，约束规划、人工智能和运筹学的集成，595-604（2018），Cham。施普林格国际出版公司·Zbl 1511.90304号 ·doi:10.1007/978-3-319-93031-243
[23] 弗洛里安，M。；Lenstra，JK；Rinnooy Kan，A.，《确定性生产计划：算法和复杂性》，《管理科学》，26，7，669-679（1980）·Zbl 0445.90025号 ·doi:10.1287/mnsc.26.769
[24] 巴拉尼，I。；范罗伊，TJ；Wolsey，LA，《多项目容量限制批量计算的强大公式》，《管理科学》，30，10，1255-1261（1984）·Zbl 0601.90037号 ·doi:10.1287个/mnsc.30.10.1255
[25] 爱彭，GD；Martin，RK，使用变量重定义解决多项目容量受限批量问题，Oper Res，35，6，832-848（1987）·Zbl 0639.90046号 ·doi:10.1287/opre.35.6.832
[26] Büyüktahtakón，以色列；JC史密斯；Hartman，JC，多项目产能批量问题的部分目标不等式，Comput Oper Res，91132-144（2018）·Zbl 1391.90215号 ·doi:10.1016/j.cor.2017.11.006
[27] Pochet Y，Wolsey LA（2006）《混合整数规划的生产规划》。施普林格科技与商业媒体·兹比尔1102.90039
[28] Goodfellow I、Bengio Y、Courville A（2016）《深度学习》。麻省理工学院出版社。http://www.deeplearningbook.org ·Zbl 1373.68009号
[29] Graves，A.，《递归神经网络监督序列标记》（2012），柏林-海德堡：施普林格出版社·Zbl 1235.68014号 ·数字对象标识代码：10.1007/978-3-642-24797-2
[30] ILOG I（2016）Cplex优化器12.7。0
[31] Quadt D，Kuhn H（2007）《带扩展的容量批量：综述》。4或6（1）：61-83·Zbl 1146.90391号
[32] Bishop，CM，《模式识别的神经网络》（1995），牛津大学出版社
[33] 科皮尔，K。；Wörbelauer，M。；Meyr，H。；Tempelmeier，H.，《同时批量和调度问题：模型的分类和审查》，OR Spectr，39，1，1-64（2017）·Zbl 1368.90065号 ·doi:10.1007/s00291-015-0429-4
[34] 阿塔姆蒂尔克，A。；穆尼奥斯（Muñoz），JC，《对数多面体的研究》，《数学程序》，99，3，443-465（2004）·Zbl 1073.90067号 ·doi:10.1007/s10107-003-0465-8
[35] Büyüktahtakón，以色列；Liu，N.，容量受限批量问题的动态规划近似算法，J Glob Optim，65，2，231-259（2016）·Zbl 1348.90484号 ·doi:10.1007/s10898-015-0349-5
[36] 比特兰，GR；哈斯，EA；Matsuo，H.，《高设置成本时尚产品的生产计划和预测修订》，《Oper Res》，34，2，226-236（1986）·Zbl 0606.90059号 ·doi:10.1287/opre.34.226
[37] 阿塔姆蒂尔克，A。；Küçükyavuz，S.，《带库存边界和固定成本的批量确定：多面体研究和计算》，Oper Res，53，4，711-730（2005）·兹比尔1165.90304 ·doi:10.1287/opre.1050.0223
[38] Büyüktahtakñn Is E（2023）多阶段随机批量和背包问题的场景优势。计算Oper Res 106149·Zbl 07706567号
[39] Yilmaz D，Büyüktahtakın IE（2023）一个用于顺序依赖决策的可扩展学习优化框架。正在审查中
[40] Yilmaz D，Büyüktahtakñn IE（2023）求解多阶段随机程序的非预期学习优化框架。正在审查中
[41] LeCun YA、Bottou L、Orr GB、Müller KR（2012）《高效反导》。在《神经网络：商业伎俩》第9-48页。施普林格
[42] Kingma DP，Ba J（2014）Adam：随机优化方法。arXiv预打印arXiv:1412.6980
[43] Yang，L。；Shami，A.，《机器学习算法的超参数优化：理论与实践》，神经计算，415295-316（2020）·doi:10.1016/j.neucom.2020.07.061
[44] Bergstra J，Bengio Y（2012）超参数优化的随机搜索。J Mach学习研究13（2）·Zbl 1283.68282号
[45] Bischl B、Binder M、Lang M、Pielok T、Richter J、Coors S、Thomas J、Ullmann T、Becker M、Boulesteix AL等（2021）超参数优化：基础、算法、最佳实践和开放挑战。威利跨学科评论：数据挖掘和知识发现页面e1484
[46] Yu T，Zhu H（2020）超参数优化：算法和应用综述。arXiv预打印arXiv:2003.05689
[47] 吴杰。；陈，XY；张，H。；熊，LD；Lei，H。；邓，SH，基于贝叶斯优化的机器学习模型超参数优化，《电化学科学技术杂志》，17，1，26-40（2019）
[48] Lorenzo PR，Nalepa J，Kawulok M，Ramos LS，Pastor JR（2017）粒子群优化用于深度神经网络中超参数选择。遗传和进化计算会议记录第481-488页
[49] Elsken，T。；梅森，JH；Hutter，F.，《神经架构搜索：一项调查》，J Mach Learn Res，1997-2017年第20期，第1期（2019年）·Zbl 1485.68229号
[50] 坎塔斯，AB；科布洛鲁，HI；Büyüktahtakın，《用于经济可行和清洁生物燃料生产的多源产能批量》，清洁生产杂志，94116-129（2015）·doi:10.1016/j.jclepro.2015.02.001
[51] Shrouf，F。；Miragliotta，G.，《基于物联网的能源管理：生产管理中采用的实践和框架》，《清洁生产杂志》，100235-246（2015）·doi:10.1016/j.jclepro.2015.03.055
[52] Uzsoy，R。；Lee，CY；Martin Vega，LA，半导体行业生产计划和调度模型综述第一部分：系统特性、性能评估和生产计划，IIE Trans，24，4，47-60（1992）·doi:10.1080/07408179208964233
[53] 费尔南德斯·德尔加多，M。；Cernadas，E。；巴罗，S。；阿莫林，D.，我们需要数百个分类器来解决现实世界的分类问题吗？，J Mach Learn Res，15，1，3133-3181（2014）·Zbl 1319.62005号
[54] Büyüktahtakñn IE（2022）风险规避多阶段随机混合整数项目的阶段t情景优势。《运营研究年鉴》309（1）：1-35。施普林格·Zbl 1478.90065号
[55] Bahdanau D，Cho K，Bengio Y（2014）联合学习对齐和翻译的神经机器翻译。arXiv预打印arXiv:1409.0473
[56] Vaswani A、Shazeer N、Parmar N、Uszkoreit J、Jones L、Gomez AN、KaiserŁ、Polosukhin I（2017）关注是你所需要的。高级神经信息处理系统30
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。