马修·巴雷;阿德里安·B·泰勒。;弗朗西斯·巴赫 具有不精确近似算子的一阶方法的原理分析和设计。 （英语） Zbl 1522.90074号 数学。程序。 201，编号1-2（A），185-230（2023）. 摘要：近距离操作是实际和理论（或高级）优化方法中最常见的原语之一。这个基本操作通常包括解决中间（希望更简单）优化问题。在这项工作中，我们调查了在解决这些中间优化问题时可以使用的不准确性概念。然后，我们证明了依赖于这种不精确近似运算的算法的最坏情况保证可以通过基于半定规划的泛型过程系统地获得。该方法主要基于Y.德罗里和M.Teboulle先生[数学课程.145，第1-2（A）号，451-482（2014；Zbl 1300.90068号)]以及凸插值结果，并允许生成不可改进的最坏情况分析。换句话说，对于给定的算法，该方法生成最坏情况的证书（即证明）和实现它们的问题实例。基于此方法，我们研究了一些基本方法的数值最坏情况性能，这些方法依赖于包括加速变量在内的不精确近似运算，并设计了一个具有优化最坏情况行为的变量。通过研究一种简单的相对不精确的近似最小化方法，我们进一步说明了如何扩展该方法以支持强凸目标。 引用于1文件 MSC公司： 90C22型 半定规划 90C25型 凸面编程 90C06型 数学规划中的大尺度问题 90C60型 数学规划问题的抽象计算复杂性 65年第68季度 算法和问题复杂性分析 引文：Zbl 1300.90068号 软件：取消锁定BoX;香蒜酱;莫塞克;YALMIP公司;塞杜米 PDF格式BibTeX公司 XML格式引用 \textit{M.Barré}等人，《数学》。程序。201，编号1--2（A），185-230（2023；Zbl 1522.90074） 全文： 内政部 arXiv公司 参考文献： [1] Ajalloeian，A.，Simonetto，A.，Dall'Anese，E.：时变凸优化的非精确在线近似粒度方法。收录于：2020年美国控制会议（ACC），第2850-2857页。IEEE（2020） [2] Alves，M.M.，Eckstein，J.，Geremia，M.，Melo，J.：相对误差惯性松弛的Douglas-Rachford和ADMM分裂算法的不精确版本。预印本arXiv:1904.10502（2019）·Zbl 1432.90107号 [3] 阿尔维斯，MM；Marcavillaca，RT，关于具有惯性效应的不精确相对误差混合近端外梯度、前向-后向和Tseng修正的前向-后向方法，集值变量分析。，28, 301-325 (2020) ·Zbl 1445.90079号 [4] Auslender，A.：不可微凸优化的数值方法。摘自：《非线性分析与优化》，第102-126页。斯普林格（1987）·Zbl 0616.90052号 [5] Barré，M.，Taylor，A.，d'Aspremont，A.：Polyak步骤的复杂性保证。摘自：学习理论会议，第452-478页。PMLR（2020年） [6] Bastianello，N.，Ajalloeian，A.，Dall'Anese，E.：在线凸优化的分布式不精确近似梯度法。arXiv预印arXiv:2001.00870（2020） [7] Bauschke，HH；Combettes，PL，Hilbert空间中的凸分析和单调算子理论（2011），柏林：Springer，柏林·Zbl 1218.47001号 [8] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.Imag。科学。，183-202年2月1日（2009年）·Zbl 1175.94009号 [9] Bello-Cruz，Y.，Gonçalves，M.L.，Krislock，N.：关于具有相对误差规则的不精确加速近端梯度方法。预印arXiv:2005.03766（2020） [10] 博伊，RI；Csetnek，ER，具有惯性效应的混合近似-极值算法，数值。功能。分析。最佳。，36, 8, 951-963 (2015) ·Zbl 06514880号 [11] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，通过乘法器的交替方向方法进行分布式优化和统计学习，Found。趋势马赫数。学习。，3, 1, 1-122 (2011) ·Zbl 1229.90122号 [12] 布伦斯特德，A。；Rockafellar，RT，关于凸函数的次微分，Proc。美国数学。Soc.，16，4，605-611（1965）·Zbl 0141.11801号 [13] Bruck，RE Jr，Hilbert空间中某些单调算子变分不等式的迭代解，Bull。美国数学。Soc.，81，5，890-892（1975）·Zbl 0332.49005号 [14] 波拉奇克，RS；安大略省Iusem；Svaiter，BF，单调算子的扩大及其在变分不等式中的应用，集值分析。，5, 2, 159-180 (1997) ·Zbl 0882.90105号 [15] 波拉奇克，RS；马丁内斯·莱加兹，JE；雷扎伊，M。；Théra，M.，极大单调算子扩张的一个加法子族，集值变分分析。，23, 4, 643-665 (2015) ·兹比尔1335.49026 [16] Burachik，R.S.，Sagastizábal，C.A.，Svaiter，B.F.：（varepsilon）-极大单调算子的放大：理论与应用。《重整：非光滑、分段光滑、半光滑和平滑方法》，第25-43页。斯普林格（1998）·Zbl 0928.65068号 [17] Burachik，R.S.，Sagastizábal，C.A.，Svaiter，B.F.：最大单调算子的束方法。在：不适定变分问题和正则化技术，第49-64页。斯普林格（1999）·Zbl 0944.65078号 [18] 伯克·J。；Qian，M.，单调算子的可变度量近点算法，SIAM J.Control。最佳。，37, 2, 353-375 (1999) ·Zbl 0918.90112号 [19] Chambolle，A。；Pock，T.，成像连续优化介绍，《数值学报》。，25, 161-319 (2016) ·Zbl 1343.65064号 [20] Chierchia，G.、Chouzenoux，E.、Combettes，P.L.、Pesquet，J.C.：近距离操作员储存库。用户指南（2020年）。http://proximity-operator.net/download/guide.pdf [21] Combettes，P.L.，Pesquet，J.C.：信号处理中的近距离分裂方法。摘自：《科学与工程反问题的定点算法》，第185-212页。施普林格（2011）·Zbl 1242.90160号 [22] Cominetti，R.，将近点算法与近似方法耦合，J.Optim。理论应用。，95, 3, 581-600 (1997) ·Zbl 0902.90129号 [23] 科雷亚，R。；Lemaréchal，C.，一些凸极小化算法的收敛性，数学。程序。，62, 1-3, 261-275 (1993) ·Zbl 0805.90083 [24] Cyrus，S.，Hu，B.，Van Scoy，B.，Lessard，L.：强凸函数的稳健加速优化算法。摘自：2018年美国年度控制会议（ACC），第1376-1381页（2018） [25] 德克勒克，E。；Glineur，F。；Taylor，AB，关于光滑强凸函数的精确线搜索梯度方法的最坏情况复杂性，Optim。莱特。，11, 7, 1185-1199 (2017) ·Zbl 1381.90067号 [26] 德克勒克，E。；Glineur，F。；Taylor，AB，通过半定规划性能估计对不精确梯度和牛顿方法的最坏情况收敛性分析，SIAM J.Optim。，30, 3, 2053-2082 (2020) ·Zbl 1448.90070号 [27] Devolder，O.：具有不精确预言的一阶方法：强凸情形。核心讨论文件（2013年） [28] Devolder，O。；Glineur，F。；Nesterov，Y.，带不精确预言的光滑凸优化的一阶方法，数学。程序。，146, 1-2, 37-75 (2014) ·Zbl 1317.90196号 [29] Dixit，R。；贝迪，AS；特里帕蒂，R。；Rajawat，K.，使用不精确的近端在线梯度下降算法进行在线学习，IEEE Trans。信号处理。，67, 5, 1338-1352 (2019) ·Zbl 1414.90282号 [30] 道格拉斯，J。；Rachford，HH，关于两个和三个空间变量中热传导问题的数值解，Trans。美国数学。Soc.，82，421-439（1956年）·Zbl 0070.35401号 [31] RA德拉戈米尔；Taylor，AB；d'Aspremont，A。；Bolt，J.，Bregman一阶方法的最佳复杂性和认证，数学。程序。，194, 41-83 (2022) ·Zbl 1494.90076号 [32] Drori，Y.：对优化算法复杂性分析的贡献。Tel-Avi大学博士论文（2014） [33] Drori，Y。；Taylor，AB，《凸极小化的有效一阶方法：构造性方法》，数学。程序。，184183-220（2020）·Zbl 1451.90118号 [34] Drori，Y。；Teboulle，M.，光滑凸最小化的一阶方法的性能：一种新方法，数学。程序。，145, 1-2, 451-482 (2014) ·Zbl 1300.90068号 [35] Drori，Y。；Teboulle，M.，凯利切割平面法的最佳变体，数学。程序。，160, 1-2, 321-351 (2016) ·Zbl 1349.90880号 [36] Eckstein，J.：单调算子的分裂方法及其在并行优化中的应用。麻省理工学院博士论文（1989年） [37] Eckstein，J.，基于Bregman函数的近似算法中的近似迭代，数学。程序。，83, 1-3, 113-123 (1998) ·Zbl 0920.90117号 [38] 埃克斯坦，J。；Bertsekas，DP，关于Douglas Rachford分裂方法和最大单调算子的近点算法，数学。程序。，55, 1-3, 293-318 (1992) ·Zbl 0765.90073号 [39] 埃克斯坦，J。；Silva，PJ，增广拉格朗日函数的实用相对误差准则，数学。程序。，141, 1-2, 319-348 (2013) ·Zbl 1362.90312号 [40] 埃克斯坦，J。；Yao，W.，《凸优化的增广拉格朗日和交替方向方法：教程和一些说明性计算结果》，RUTCOR Res.Rep.，32，3，44（2012） [41] 埃克斯坦，J。；Yao，W.，从拉格朗日分裂导出的近似ADMM算法，计算。最佳方案。申请。，68, 2, 363-405 (2017) ·Zbl 1378.90063号 [42] 埃克斯坦，J。；Yao，W.，Douglas Rachford分裂的相对误差近似版本和ADMM的特例，数学。程序。，170, 2, 417-444 (2018) ·Zbl 1401.90151号 [43] 福廷，M。；格洛温斯基，R。；Fortin，M。；Glowinski，R.，《关于使用增广拉格朗日的分解协调方法，增广拉格朗日方法：在边界值问题求解中的应用》（1983年），阿姆斯特丹：北荷兰·Zbl 0525.65045号 [44] Fuentes，M。；Malick，J。；Lemaréchal，C.，平滑优化的下降不精确近似算法，计算。最佳方案。申请。，53, 3, 755-769 (2012) ·Zbl 1264.90160号 [45] 加贝，D。；Fortin，M。；Glowinski，R.，乘子方法在变分不等式中的应用，增广拉格朗日方法：在边值问题求解中的应用（1983年），阿姆斯特丹：荷兰北部·Zbl 0561.90029号 [46] Golub，G.H.，Van Loan，C.F.：矩阵计算。JHU出版社，巴尔的摩（1996）·Zbl 0865.65009号 [47] Gu，G.，Yang，J.：关于变分不等式松弛近点算法的最优遍历次线性收敛速度。预印本arXiv:1905.06030（2019） [48] Gu，G.，Yang，J.：最大单调包含问题的近似点算法的最优非正则次线性收敛速度。预印arXiv:1904.05495（2019） [49] Güler，O.，凸极小化的新近点算法，SIAM J.Optim。，2, 4, 649-664 (1992) ·Zbl 0778.90052号 [50] Hu，B.，Lessard，L.：内斯特罗夫加速方法的耗散理论。见：《第34届国际机器学习会议记录》，第70卷，第1549-1557页。JMLR（2017） [51] Iusem，AN，凸优化的增广拉格朗日方法和近点方法，Investig。操作。，8, 11-49, 7 (1999) [52] Kim，D.，最大单调算子的加速近点方法，数学。程序。，190, 57-87 (2021) ·Zbl 1478.90089号 [53] Kim，D。；Fessler，JA，光滑凸最小化的优化一阶方法，数学。程序。，159, 1-2, 81-107 (2016) ·Zbl 1345.90113号 [54] Kim，D。；Fessler，JA，《快速迭代收缩/阈值算法（FISTA）的另一种研究》，SIAM J.Optim。，28, 1, 223-250 (2018) ·Zbl 1391.90476号 [55] Kim博士。；Fessler，JA，优化一阶方法降低光滑凸函数梯度的效率，J.Optim。理论应用。，188, 1, 192-219 (2021) ·兹比尔1468.90085 [56] Lemaire，B.：关于近端方法的收敛性。摘自：《优化进展》，第39-51页。斯普林格（1992）·Zbl 0763.90072号 [57] Lessard，L。；Recht，B。；Packard，A.，通过积分二次约束分析和设计优化算法，SIAM J.Optim。，26, 1, 57-95 (2016) ·Zbl 1329.90103号 [58] Lieder，F.，关于Halpern迭代的收敛速度，Optim。莱特。，15, 405-418 (2021) ·Zbl 1466.90067号 [59] Lin，H.，Mairal，J.，Harchaoui，Z.：一级优化的通用催化剂。摘自：《神经信息处理系统进展》，第3384-3392页（2015年） [60] Lin，H。；Mairal，J。；Harchaoui，Z.，《一阶凸优化的催化剂加速：从理论到实践》，J.Mach。学习。Res.，18212，1-54（2018）·Zbl 1469.68101号 [61] 狮子，PL；Mercier，B.，两个非线性算子之和的分裂算法，SIAM J.Numer。分析。，16, 6, 964-979 (1979) ·兹比尔0426.65050 [62] Löfberg，J.：YALMIP：MATLAB中用于建模和优化的工具箱。摘自：CACSD会议记录（2004年） [63] Martinet，B.，《正则化方程变量内尔斯近似序列》，《法国信息与经济评论》，第4期，第154-158页（1970年）·Zbl 0215.21103号 [64] Martinet，B.，Détermination approachée D’un point fixed’une application伪合同。巴黎科学院应用研究所，274163-165（1972）·Zbl 0226.47032号 [65] Megretski，A。；Rantzer，A.，通过积分二次约束进行系统分析，IEEE Trans。自动。控制，42，6，819-830（1997）·Zbl 0881.93062号 [66] 密兰，RD；马查多，MP，复合凸优化问题的非精确近似（ε）-次梯度方法，J.Global Optim。，75, 4, 1029-1060 (2019) ·Zbl 1461.65176号 [67] 蒙泰罗，RD；Svaiter，BF，关于迭代和遍历平均的混合近端外梯度方法的复杂性，SIAM J.Optim。，20, 6, 2755-2787 (2010) ·Zbl 1230.90200 [68] 蒙泰罗，RD；Svaiter，BF，一种用于凸优化的加速混合近端超梯度方法及其对二阶方法的影响，SIAM J.Optim。，23, 2, 1092-1125 (2013) ·Zbl 1298.90071号 [69] Moreau，JJ，《儿童空间的双重和接近点基金会》，巴黎科学院院长，2552897-2899（1962）·Zbl 0118.10502号 [70] 莫罗，JJ，Proximitéet dualitédans un espace hilbertien，公牛。社会数学。法国，93，273-299（1965）·Zbl 0136.12101号 [71] Mosek，A.：Mosek优化软件。网址：http://www.mosek.com54 (2010) [72] Nemirovski，A.，关于Lipschitz连续单调算子变分不等式和光滑凹凸鞍点问题的具有收敛速度（o（1/t））的Prox方法，SIAM J.Optim。，15, 1, 229-251 (2004) ·Zbl 1106.90059号 [73] Nesterov，Y.，求解具有收敛速度的凸规划问题的方法\（O（1/k^2）\），苏联数学。Doklady，27，372-376（1983）·Zbl 0535.90071号 [74] Nesterov，Y.，最小化复合函数的梯度方法，数学。程序。，140, 1, 125-161 (2013) ·Zbl 1287.90067号 [75] Nesterov，Y.：不精确的加速高阶近点方法。技术报告、CORE讨论文件（2020年）·Zbl 1514.90186号 [76] Nesterov，Y.：具有辅助搜索过程的非精确高阶近似点方法。技术报告、CORE讨论文件（2020年）·Zbl 1481.90255号 [77] 北卡罗来纳州帕里赫。；Boyd，S.，《近似算法》，Found。最佳趋势。，1, 3, 127-239 (2014) [78] Passty，GB，遍历收敛到Hilbert空间中单调算子和的零，J.Math。分析。申请。，72, 2, 383-390 (1979) ·Zbl 0428.47039号 [79] Polyak，BT，《加速迭代法收敛的一些方法》，苏联计算机。数学。数学。物理。，4, 5, 1-17 (1964) ·Zbl 0147.35301号 [80] Rockafellar，RT，通过无约束优化解决非线性规划问题的对偶方法，数学。程序。，5, 1, 354-373 (1973) ·Zbl 0279.90035号 [81] Rockafellar，RT，增广拉格朗日和近点算法在凸规划中的应用，数学。操作。第1、2、97-116号决议（1976年）·Zbl 0402.90076号 [82] Rockafellar，RT，Monotone操作符和近点算法，SIAM J.Control。最佳。，14, 5, 877-898 (1976) ·Zbl 0358.90053号 [83] Rockafellar，RT，凸分析（1996），普林斯顿：普林斯顿大学出版社，普林斯顿 [84] Ryu，EK；Boyd，S.，单调算子方法入门，应用。计算。数学。，15, 1, 3-43 (2016) ·Zbl 1342.47066号 [85] Ryu，EK；泰勒，AB；Bergeling，C。；Giselsson，P.，《算子分裂性能估计：紧收缩因子和最优参数选择》，SIAM J.Optim。，30, 3, 2251-2271 (2020) ·Zbl 1511.90322号 [86] Ryu，EK；Vũ，BC，《寻找正向-Douglas-Rachford-forward方法》，J.Optim。理论应用。，184, 858-876 (2019) ·Zbl 1513.47112号 [87] Salzo，S。；Villa，S.，《不精确和加速近点算法》，J.凸分析。，19, 4, 1167-1192 (2012) ·Zbl 1283.90030号 [88] Schmidt，M.，Le Roux，N.，Bach，F.：凸优化的非精确近似粒度方法的收敛速度。摘自：《神经信息处理系统进展》，第1458-1466页（2011年） [89] 西蒙内托，A。；Jamali-Rad，H.，分布式凸优化中基于共识的对偶分解的原始恢复，J.Optim。理论应用。，168, 1, 172-197 (2016) ·Zbl 1332.90203号 [90] Solodov，MV；Svaiter，BF，使用最大单调算子扩大的混合近似外梯度-最大点算法，集值分析。，7, 4, 323-345 (1999) ·Zbl 0959.90038号 [91] Solodov，MV；Svaiter，BF，一种混合投影-近点算法，J.凸分析。，6, 1, 59-70 (1999) ·Zbl 0961.90128号 [92] Solodov，M.V.，Svaiter，B.F.：两种不精确近点算法收敛速度的比较。摘自：非线性优化和相关主题，第415-427页。斯普林格（2000）·Zbl 0986.90081号 [93] Solodov，MV；Svaiter，BF，近点子问题的误差界和相关的不精确近点算法，数学。程序。，88, 2, 371-389 (2000) ·Zbl 0963.90064号 [94] Solodov，MV；Svaiter，BF，一个不精确的混合广义近点算法和Bregman函数理论的一些新结果，数学。操作。决议，25，2，214-230（2000）·Zbl 0980.90097号 [95] 索洛多夫，MV；Svaiter，BF，一些不精确近点算法的统一框架，Numer。功能。分析。最佳。，22, 7-8, 1013-1035 (2001) ·Zbl 1052.49013号 [96] Sturm，J.F.：使用SeDuMi 1.02，一个用于对称锥体优化的MATLAB工具箱。最佳方案。方法软件。11-12, 625-653 (1999) ·Zbl 0973.90526号 [97] Svaiter，B.F.：具有相对误差容限的弱收敛完全不精确Douglas-Rachford方法。预印arXiv:1809.02312（2018）·Zbl 07194596号 [98] Taylor，A.，Bach，F.：随机一阶方法：通过势函数的非渐近和计算机辅助分析。摘自：《第三十二届学习理论会议论文集》，第99卷，第2934-2992页。PMLR（2019年） [99] Taylor，AB；亨德里克斯，JM；Glineur，F.，复合凸优化一阶方法的精确最坏情况性能，SIAM J.Optim。，27, 3, 1283-1313 (2017) ·Zbl 1371.90108号 [100] Taylor，A.B.、Hendrickx，J.M.、Glineur，F.：性能评估工具箱（PESTO）：一阶优化方法的自动最坏情况分析。参见：IEEE第56届决策与控制年会（CDC），第1278-1283页（2017）·Zbl 1371.90108号 [101] Taylor，AB；亨德里克斯，JM；Glineur，F.，《光滑强凸插值和一阶方法的精确最坏情况性能》，数学。程序。，161, 1-2, 307-345 (2017) ·Zbl 1359.90098号 [102] Toker，O.，Ozbay，H.：关于求解双线性矩阵不等式和静态输出反馈同时镇定的np-hardness。收录于：1995年美国年度管制会议（ACC），第4卷，第2525-2526页（1995年） [103] Van Scoy，B。；弗里曼，RA；Lynch，KM，最小化强凸函数的已知最快全局收敛一阶方法，IEEE控制系统快报。，2, 1, 49-54 (2018) [104] 南部维拉。；Salzo，S。；巴尔达萨雷，L。；Verri，A.，《加速和不精确前向支持算法》，SIAM J.Optim。，1607-1633年3月23日（2013年）·Zbl 1295.90049号 [105] 宗，C。；Tang，Y。；Cho，Y.，不精确三算子分裂算法的收敛性分析，Symmetry，10，11563（2018）·Zbl 1423.47017号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。