×
赵勇;陈，王;杨新民

随机多目标优化的自适应抽样随机多梯度算法。 （英语） Zbl 07794713号

J.优化。理论应用。 200，第1期，215-241（2024）.
摘要：本文提出了一种求解随机多目标优化问题的自适应抽样随机多梯度算法。该方法不需要额外存储或计算全梯度，而是通过自适应控制所用样本大小来减少方差。在没有目标函数凸性假设的情况下，我们得到了该算法几乎可以肯定地收敛到Pareto平稳点。然后我们分析了该算法的收敛速度。通过数值实验验证了该算法的有效性。

理学硕士：

90C06型 数学规划中的大尺度问题
90立方厘米 随机规划
90C29型 多目标规划

关键词：

随机多目标优化;随机多重梯度算法;自适应采样;收敛速度
PDF格式BibTeX公司 XML格式引用
\textit{Y.Zhao}等人，J.Optim。理论应用。200，编号1，215--241（2024；Zbl 07794713）
全文： 内政部

参考文献：

[1] 安萨里，文学硕士；Panda，G.，向量优化问题的修正拟Newton方法，optimization，64，11，2289-2306（2015）·Zbl 1327.90275号
[2] Beiser，F。；基思，B。；Urbainczyk，S.公司。；Wohlmuth，B.，带约束的风险规避随机优化的自适应采样策略，IMA J.Numer。分析。(2023)
[3] 博拉普拉加达，R。；伯德，RH；Nocedal，J.，随机优化的自适应采样策略，SIAM J.Optim。，28, 4, 3312-3343 (2018) ·Zbl 1461.65131号
[4] 博图，L。；FE柯蒂斯；Nocedal，J.，《大规模机器学习的优化方法》，SIAM Rev.，60，2，223-311（2018）·兹比尔1397.65085
[5] 伯德，RH；Chin，总经理；Nocedal，J。；Wu，Y.，机器学习优化方法中的样本量选择，数学。程序。，134, 1, 127-155 (2012) ·Zbl 1252.49044号
[6] Cartis，C。；Scheinberg，K.，基于概率模型的无约束优化方法的全局收敛速度分析，数学。程序。，1692337-375（2018）·Zbl 1407.90307号
[7] 赵，JH；王，YT；陈，R。；Chan，KS；Swami，A.，《多目标系统建模和优化调查》，IEEE Commun。调查。导师。，19, 3, 1867-1901 (2017)
[8] FE柯蒂斯；Scheinberg，K.，《自适应随机优化：分析随机优化算法的框架》，IEEE Signal Proc。Mag.，37，5，32-42（2020年）
[9] Durrett，R.，《概率：理论与实例》（2010），伦敦：剑桥大学出版社，伦敦·Zbl 1202.60001号
[10] Ehrgott，M.，《多准则优化》（2005），柏林：施普林格出版社，柏林·Zbl 1132.90001号
[11] 艾希费尔德，G。；Warnow，L.，《使用箱均值的多目标优化问题近似算法》，J.Global Optim。，83, 2, 329-357 (2022) ·Zbl 1489.90173号
[12] 弗利格，J。；Svaiter，BF，多准则优化的最速下降法，数学。方法操作。决议，51，3，479-494（2000）·Zbl 1054.90067号
[13] 弗利格，J。；瓦兹，AIF；Vicente，LN，多目标优化梯度下降的复杂性，Optim。方法软件。，949-959年5月34日（2019年）·Zbl 1429.90067号
[14] 弗利格，J。；Werner，R.，《稳健多目标优化及其在投资组合优化中的应用》，Eur.J.Oper。研究，234，2，422-433（2014）·Zbl 1304.91191号
[15] 弗利格，J。；Xu，HF，《随机多目标优化：样本平均逼近和应用》，J.Optim。理论应用。，151, 1, 135-162 (2011) ·Zbl 1263.90048号
[16] 福田，裕利安怡；Graña Drummond，LM，多目标下降法调查，Pesqui。操作。，34, 3, 585-620 (2014)
[17] Garrigos，G.：平方距离函数是Polyak-Łojasiewicz和vice-versa。arXiv:2301.10332（2023）
[18] 加里戈斯，G。；罗莎科，L。；Villa，S.，《前向后退算法的收敛：借助几何超越最坏情况》，数学。程序。，198, 1, 937-996 (2023) ·Zbl 1512.90166号
[19] 贡卡尔维斯，MLN；利马，FS；Prudente，LF，多目标优化的全局收敛牛顿型方法，计算。最佳方案。申请。，83, 2, 403-434 (2022) ·Zbl 1502.90165号
[20] WJ Gutjahr；Pichler，A.，《随机多目标优化：非标度化方法的调查》，Ann.Oper。研究，236，2，475-499（2016）·Zbl 1331.90045号
[21] 胡，Z。；沙洛德基，K。；张，GJ；Yu，YL，联合学习满足多目标优化，IEEE Trans。Netw公司。科学。工程师，9，4，2039-251（2022）
[22] 亨特，SR；苹果酸，EA；阿罗拉，V。；Chong，B。；库珀，K。；俄勒冈州格瓦拉；Valencia，CV，多目标仿真优化导论，ACM Trans。模型。计算。模拟。，29, 1, 1-36 (2019)
[23] 金，YC；Sendhoff，B.，基于Pareto的多目标机器学习：概述和案例研究，IEEE Trans。系统。人类网络。C部分，38，3，397-415（2008）
[24] Karimi，H.，Nutini，J.，Schmidt，M.：Polyak-Łohasiewicz条件下梯度和近似粒度方法的线性收敛。摘自：Frasconi，P.、Landwehr，N.、Manco，G.、Vreeken，J.（编辑），《数据库中的机器学习和知识发现：欧洲会议》，ECML PKDD 2016，会议记录。Springer International Publishing，第一部分16，第795-811页（2016）
[25] 林，GH；张，DL；Liang，YC，具有互补约束的随机多目标问题及其在医疗管理中的应用，欧洲期刊Oper。研究，226，3461-470（2013）·Zbl 1292.90218号
[26] Lin，X.，Zhen，H.L.，Li，Z.H.，Zhang，Q.F.，Kwong，S.：帕累托多任务学习。在：Wallach，H.，Larochelle，H.，Beygelzimer，A.，\（d^｛\prime｝\）Alché-Buc，F.，Fox，E.，Garnett，R.（编辑）《神经信息处理系统进展》，第32卷，第12037-12047页（2019）
[27] 刘，S。；Vicente，LN，多目标优化的随机多梯度算法及其在监督机器学习中的应用，Ann.Oper。决议（2021）
[28] Mahdavi，M.，Yang，T.B.，Jin，R.：多目标随机凸优化。收录：Burges，C.J.、Bottou，L.、Welling，M.、Ghahramani，Z.、Weinberger，K.Q.（编辑）《神经信息处理系统进展》，第32卷，第1115-1123页（2013）
[29] Mercier，Q。；Poirion，F。；Désidéri，JA，随机多重梯度下降算法，Eur.J.Oper。Res.，271，3，808-817（2018）·Zbl 1403.90613号
[30] Pasupathy，R。；Glynn，P。；Ghosh，S。；Hashemi，FS，关于基于模拟的递归中的采样率，SIAM J.Optim。，28, 1, 45-73 (2018) ·Zbl 1380.93168号
[31] Poirion，F。；Mercier，Q。；Désidéri，JA，非光滑随机多目标优化的下降算法，计算。最佳方案。申请。，68, 2, 317-331 (2017) ·Zbl 1387.90237号
[32] Reiners，M。；克拉姆罗斯，K。；Heldmann，F。；Stiglmayr，M.，《在多目标学习方法中通过修剪权重实现高效稀疏神经网络》，计算。操作。第141、5号决议（2022年）·Zbl 1511.68238号
[33] Sener，O.，Koltun，V.：作为多目标优化的多任务学习。收录于：Bengio，S.、Wallach，H.、Larochelle，H.，Grauman，K.、Cesa-Bianchi，N.、Garnett，R.（编辑）《神经信息处理系统进展》，第31卷，第527-538页（2018）
[34] Tanabe，H。；福田，裕利安怡；Yamashita，N.，多目标近似梯度法的收敛速度分析，Optim。莱特。，17, 2, 333-350 (2023) ·Zbl 1514.90212号
[35] 威塞克，MM；埃尔戈特，M。；Engau，A。；Greco，S。；埃尔戈特，M。；Figueira，JR，连续多目标规划，多准则决策分析：最新调查，739-815（2016），纽约：Springer，纽约
[36] Zhao，Y。；Chen，L。；Yang，XM，基于间隙函数的随机多目标优化问题样本平均近似方法，Pac。J.Optim。，1681-694（2021）·兹比尔1476.90225
[37] Zhou，S.J.，Zhang，W.P.，Jiang，J.Y.，Zhong，W.L.，Gu，J.J.，朱，W.W.W.：关于随机多目标梯度操作的收敛性及其以外。收录：Koyejo，S.、Mohamed，S.，Agarwal，A.、Belgrave，D.、Cho，K.、Oh，A.（编辑）《神经信息处理系统的进展》，第35卷，第38103-3815页（2022年）
[38] 齐茨勒，E。；Thiele，L.，《多目标进化算法：比较案例研究和强度Pareto方法》，IEEE Trans。进化。计算。，3, 4, 257-271 (1999)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。