叶，简·J。;袁晓明;曾尚志;张，金 变分分析视角下非光滑凸优化问题一阶方法的线性收敛性。 （英语） Zbl 1484.90082号 设定值变量分析。 29，第4期，803-837（2021）. 摘要：我们研究了一些一阶方法的线性收敛性，如最近梯度法（PGM）、最近交替线性化最小化（PALM）算法和用于最小化光滑凸函数和非光滑凸函数之和的随机块坐标最近梯度法。我们引入了一个新的基于误差界/冷静度/度量子正则性/有界度量子正则性的分析框架。这种变分分析的观点使我们能够为一类结构凸问题提供线性收敛的一些具体充分条件和计算这些一阶方法线性收敛速度的适用方法。特别是，对于LASSO、融合LASSO和LASSO组，这些条件会自动满足，平静度/度量子区域的模量是可计算的。因此，对于这些重要应用，一阶方法的线性收敛性得到了自动保证，并且可以计算收敛速度。新的视角使我们能够改进现有的一些结果，并获得文献中未知的新结果。特别地，我们利用可计算的误差界估计改进了结构化凸问题的PGM和PALM的线性收敛性结果。此外，对于结构凸问题的R-BCPGM，我们证明了当目标函数的非光滑部分是群LASSO正则化子时，线性收敛是可以保证的。 引用于14文件 MSC公司： 90C25型 凸面编程 90摄氏52度 减少梯度类型的方法 第49页第52页 非平滑分析 49J53型 集值与变分分析 关键词：度量子区域性;平静;近似梯度法;近似交替线性化最小化;随机块坐标近端梯度法;线性收敛;变分分析;机器学习;统计学 软件：奥斯卡；PRMLT公司 PDF格式BibTeX公司 XML格式引用 \textit{J.J.Ye}等人，集值变量分析。29，第4号，803--837（2021；Zbl 1484.90082） 全文： 内政部 参考文献： [1] Agarwal，A.，Negahban，S.N.，Wainwright，M.J.：高维统计恢复梯度方法的快速全局收敛，第40卷（2012）·Zbl 1373.62244号 [2] 佛罗里达州阿拉贡·阿塔乔；Geoffroy，MH，次微分度量正则性的表征，J.凸分析。，15, 365-380 (2008) ·Zbl 1146.49012号 [3] 佛罗里达州阿拉贡·阿塔乔；Geoffroy，MH，Banach空间中凸次微分的度量子凸性，非线性凸分析。，15, 35-47 (2014) ·Zbl 1290.49028号 [4] Aubin，J.，凸极小化问题解的Lipschitz行为，数学。操作。第987-111号决议（1984年）·兹比尔0539.90085 [5] 巴赫，F。；Jenatton，R。；Mairal，J。；Obozinski，G.，《发现稀疏诱导惩罚的优化》。趋势R马赫数。学习。，4, 1, 1-106 (2012) ·Zbl 06064248号 [6] Beck，A.，优化中的一阶方法，第25卷（2017），新德里：新德里SIAM·Zbl 1384.65033号 [7] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.Imag。科学。，2, 183-202 (2009) ·Zbl 1175.94009号 [8] Bishop，CM，模式识别和机器学习（2006），纽约：Springer-Verlag，纽约·Zbl 1107.68072号 [9] 博尔特，J。；Nguyen，TP；Peypouquet，J。；Suter，BW，《从误差界到凸函数一阶下降法的复杂性》，数学。程序。，165, 471-507 (2017) ·Zbl 1373.90076号 [10] 博尔特，J。；萨巴赫，S。；Teboulle，M.，非凸和非光滑问题的近端交替线性化最小化，数学。程序。，146, 459-494 (2014) ·Zbl 1297.90125号 [11] Bondell，HD公司；Reich，BJ，同步回归收缩、变量选择和奥斯卡监督聚类预测，生物统计学，64，115-123（2008）·Zbl 1146.62051号 [12] 坎迪斯，EJ；Wakin，MB；Boyd，SP，《通过重加权У1最小化增强稀疏性》，J.Fourier Anal。申请。，14, 5, 877-905 (2008) ·Zbl 1176.94014号 [13] 阿拉巴马州顿切夫；Rockafellar，RT，变分分析中解映射的正则性和条件，集值分析。，12, 79-109 (2004) ·Zbl 1046.49021号 [14] Drusvyatskiy，D。；Lewis，AS，误差界，二次增长和近似方法的线性收敛，数学。操作。第43919-948号决议（2018年）·Zbl 1440.90046号 [15] 法奇尼，F。；Pang，JS，有限维变分不等式与互补问题（2007），柏林：Springer科学与商业媒体，柏林·Zbl 1062.90001号 [16] 费尔科克，O。；Richtrik，P.，《通过加速、平行和近端坐标下降实现高维优化》，SIAM Rev.，58，739-771（2016）·Zbl 1353.65053号 [17] Friedman，J.、Hastie，T.、Tibshirani，R.：关于群套索和稀疏群套索的注释。arXiv:1606.00269（2010） [18] Gfrerer，H.，关于非光滑数学程序的方向度量正则性、子区域性和最优性条件，集值变量。分析。，21, 151-176 (2013) ·Zbl 1321.49031号 [19] Güler，O。；AJ霍夫曼；Rothblum，UG，线性不等式组解的近似，SIAM J.矩阵分析。申请。，16, 688-696 (1995) ·Zbl 0830.15016号 [20] 郭，L。；叶，JJ；Zhang，J.，《Banach空间中带几何约束的数学程序：增强的最优性、精确惩罚和灵敏度》，SIAM J.Optim。，23, 2295-2319 (2013) ·Zbl 1342.90144号 [21] Gfrerer，H。；Ye，JJ，通过变分分析获得平衡约束数学程序的新约束条件，SIAM J.Optim。，27, 842-865 (2017) ·Zbl 1368.49015号 [22] Henrion，R。；Jourani，A。；Outrata，J.，关于一类多函数的平静性，SIAM J.Optim。，13, 603-618 (2002) ·Zbl 1028.49018号 [23] Henrion，R。；Outrata，J.，约束系统的冷静与应用，数学。程序。，104, 437-464 (2005) ·邮编1093.90058 [24] AJ·霍夫曼，《关于线性不等式组的近似解》，J.Research Nat.Bur。标准，49，263-265（1952） [25] 洪，M。；王，X。；拉扎维亚因，M。；罗，ZQ，块坐标下降法的迭代复杂性分析，数学。程序。，163, 85-114 (2017) ·Zbl 1367.49010号 [26] Karimi，H.，Nutini，J.，Schmidt，M.：Polyak-łohasiewicz条件下梯度和近似粒度方法的线性收敛。在：关于数据库中的机器学习和知识发现的欧洲联合会议，第795-811页。斯普林格（2016） [27] Klatte，D。；Kummer，B.，度量空间中的约束极小值和lipschitzian惩罚，SIAM J.Optim。，13, 619-633 (2002) ·Zbl 1042.49020号 [28] Klatte，D。；Thiere，G.，线性方程和不等式解的误差界，Zeitschrift fü，r Oper。决议，41，191-214（1995）·Zbl 0823.65055号 [29] 李·G。；Pong，TK，kurdykaŁojasiewicz不等式的指数演算及其在一阶方法线性收敛中的应用，Found。计算。数学。，18, 1199-1232 (2018) ·Zbl 1405.90076号 [30] Li，X.，Zhao，T.，Arora，R.，Liu，H.，Hong，M.：强凸最小化循环块坐标下降型方法的改进收敛性分析。Artif公司。智力。统计，491-499（2016） [31] 刘，YL；毕，SJ；潘，SH，秩正则极小化问题的几类驻点，SIAM J.Optim。，30, 2, 1756-1775 (2020) ·Zbl 1447.90041号 [32] 卢克博士；Nguyen，HT；Tam，MK，迭代扩张集值映射的定量收敛性分析，数学。操作。决议，43，1143-1176（2018）·Zbl 1434.49012号 [33] 罗，ZQ；Tseng，P.，关于凸本质光滑最小化的下降方法的线性收敛性，SIAM J.Control。最佳。，30, 408-425 (1992) ·Zbl 0756.90084号 [34] 罗，ZQ；Tseng，P.，可行下降法的误差界和收敛性分析：一般方法，Ann.Oper。决议，46，157-178（1993）·Zbl 0793.90076号 [35] Martinet，B.，Brève communication réregularisation d’inéquations variationnelles par approximations sequessives，Revue française d’informatique et de Recherche Opérationnelle，Sé，rie Rouge，4154-158（1970）·Zbl 0215.21103号 [36] Mordukhovich，B.，变分分析与广义微分Ⅰ：基本理论，Ⅱ：应用（2006），柏林：施普林格科学与商业媒体，柏林 [37] Necoara，I.，Clipici，D.：可分离约束凸优化问题的高效并行坐标下降算法：分布式MPC的应用，第23卷（2013） [38] 内科瓦拉，I。；Clipici，D.，复合最小化的并行随机坐标下降法：收敛分析和误差界，SIAM J.Optim。，26, 197-226 (2016) ·Zbl 1329.90108号 [39] 内科瓦拉，I。；内斯特罗夫，Y。；Glineur，F.，非强凸优化一阶方法的线性收敛，数学。程序。，175, 69-107 (2019) ·Zbl 1412.90111号 [40] 内科瓦拉，I。；内斯特罗夫，Y。；Glineur，F.，网络上线性约束优化的随机块坐标下降方法，J.Optim。理论应用。，173, 227-254 (2017) ·Zbl 1370.90145号 [41] Nesterov，Y.，坐标下降法在大规模优化问题上的效率，SIAM J.Optim。，22, 341-362 (2012) ·Zbl 1257.90073号 [42] Nesterov，Y.，凸优化入门讲座（2004），Dordrecht:Kluwer Academic，Dordecht·Zbl 1086.90045号 [43] 奥多诺休，B。；Candès，E.，《加速梯度方案的自适应重启》，Found。计算。数学。，15, 715-732 (2015) ·Zbl 1320.90061号 [44] Passty，G.，Hilbert空间单调算子和的遍历收敛到零，J.Math。分析。申请。，72, 383-390 (1979) ·Zbl 0428.47039号 [45] Peña，J.，Vera，J.C.，Zuluaga，L.F.：计算线性约束系统的霍夫曼常数的算法。arXiv:1804.08418（2018） [46] Peña，J.，Vera，J.C.，Zuluaga，L.F.：线性约束系统霍夫曼常数的新特征。数学。程序。(2020) ·兹比尔1465.90043 [47] Polyak，BT，优化简介，优化软件公司（1987），纽约：出版部，纽约·Zbl 0625.62093号 [48] 里奇塔里克，P。；Takáč，M.，最小化复合函数的随机块坐标下降方法的迭代复杂性，数学。程序。，144, 1-38 (2014) ·Zbl 1301.65051号 [49] Robinson，SM，不等式系统的稳定性理论。第一部分：线性系统，SIAM J.Numer。分析。，12, 754-769 (1975) ·Zbl 0317.90035号 [50] Robinson，S.M.：广义变分不等式的隐函数定理技术报告（WISCONSIN UNIV MADISON数学研究中心，1976） [51] Robinson，SM，多面体多函数的一些连续性，数学。程序。研究，14206-214（1981）·Zbl 0449.90090号 [52] Rockafellar，RT，凸分析（1970），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 0193.18401号 [53] Rockafellar，RT；Wets，R.，变异分析（2009），柏林：施普林格科学与商业媒体，柏林·兹比尔0888.49001 [54] 谢菲，R。；Teboulle，M.，关于凸问题的近似交替线性化最小化算法的收敛速度，EURO J.Compute。最佳。，4, 27-46 (2016) ·Zbl 1338.90306号 [55] 施密特，M。；Roux，N。；Bach，F.，凸优化的不精确近似粒度方法的收敛速度，高级神经网络过程。系统。，24, 1458-1466 (2011) [56] 斯托尔，J。；Witzgall，C.，有限维凸性与优化I（2012），柏林：Springer科学与商业媒体，柏林·Zbl 0203.52203号 [57] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.Royal Stat.Soc.系列B（方法学），73，267-288（1996）·Zbl 0850.62538号 [58] Tibshirani，R。；桑德斯，M。；Rosset，S。；朱，J。；K.奈特（K.K.Knight），《通过融合套索实现的稀疏与平滑》，J.Royal Stat.Soc.Ser。B（统计方法），67，91-108（2005）·兹比尔1060.62049 [59] Tseng，P.，结构化凸优化的近似精度、梯度方法和误差界，数学。程序。，125, 263-295 (2010) ·Zbl 1207.65084号 [60] 曾，P。；Yun，S.，非光滑可分离极小化的坐标梯度下降法，数学。程序。，117, 387-423 (2009) ·Zbl 1166.90016号 [61] Wang，PW；Lin，CJ，凸优化可行下降法的迭代复杂性，J.Mach。学习。第1523-1548号决议（2014年）·Zbl 1319.90051号 [62] Wang，X.，Ye，J.J.，Yuan，X.、Zeng，S.，Zhang，J.：通过变分分析对最近梯度法和其他一阶算法进行收敛性分析的扰动技术。集值变分。分析。(2021) [63] 肖，L。；Zhang，T.，稀疏最小二乘问题的近似同伦方法，SIAM J.Optim。，23, 1062-1091 (2013) ·Zbl 1280.65057号 [64] 叶，JJ；Ye，XY，变分不等式约束优化问题的必要最优性条件，数学。操作。研究，22977-997（1997）·Zbl 1088.90042号 [65] 叶，JJ；周，JC，二阶锥互补问题误差界性质的可验证充分条件，数学。程序。，171, 361-395 (2018) ·Zbl 1400.49019号 [66] 袁，M。；Lin，Y.，《分组变量回归中的模型选择和估计》，J.Royal Stat.Soc.系列B（统计方法），68，49-67（2006）·兹比尔1141.62030 [67] 袁，X。；曾，S。；Zhang，J.，通过变分分析透镜识别结构化凸优化的ADMM的线性收敛性，J.Mach。学习。决议，21，1-75（2020年）·Zbl 1504.90096号 [68] Zhang，H.，通过统一误差界条件对梯度型方法线性收敛性的新分析，数学。程序。，180, 1, 371-416 (2020) ·Zbl 1435.90111号 [69] 张，H。；姜杰。；Luo，ZQ，关于一类非光滑凸极小化问题的近似梯度法的线性收敛性，J.Oper。中国研究社会，1163-186（2013）·Zbl 1334.90127号 [70] 张，S.，凸二次曲线问题的全局误差界，SIAM J.Optim。，10, 836-851 (2000) ·Zbl 0997.90101号 [71] 郑，XY；Ng，KF，分段线性多函数的度量子凸性及其在分段线性多目标优化中的应用，SIAM J.Optim。，24, 154-174 (2014) ·Zbl 1306.90123号 [72] Zhou，Z。；因此，AM-C，结构化凸优化问题误差界的统一方法，数学。程序。，165, 689-728 (2017) ·Zbl 1380.65109号 [73] Zhou，Z.，Zhang，Q.，So，A.M.-C.：L_1，p-范数正则化：一阶方法的误差界和收敛速度分析。在：机器学习国际会议，第1501-1510页（2015） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。