×

通过变分分析的方法,识别结构凸优化ADMM的线性收敛性。 (英语) Zbl 1504.90096号

摘要:尽管有丰富的文献,但交替方向乘数法(ADMM)的线性收敛性甚至对于凸情况也没有得到充分的理解。例如,ADMM的线性收敛性可以在统计学、机器学习和相关领域的广泛应用中进行实证观察,而现有的理论结果似乎过于严格而无法满足要求,或者过于模糊而无法检查,因此,为什么ADMM对这些应用程序执行线性收敛似乎仍不清楚。本文通过变分分析的方法,系统地研究了凸优化环境下ADMM的局部线性收敛性。我们证明,在不需要目标函数的强凸性以及系数矩阵的满秩假设或其次微分的全多面体假设的情况下,可以保证ADMM的局部线性收敛;对于各种具体应用,尤其是统计学习中出现的一些代表性模型,可以看出局部线性收敛性。我们巧妙地使用了一些变分分析技术;我们的分析是在最通用的ADMM近端版本中进行的,使用Fortin和Glowinski的较大步长,因此涵盖了文献中已知的ADMM的所有主要变体。

MSC公司:

90C25型 凸面编程
49J53型 集值与变分分析
62J07型 岭回归;收缩估计器(拉索)
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 链接

参考文献:

[1] Timo Aspelmeier、C.Charitha和D.Russell Luke。无强凸性的ADMM/Douglas-Rachford算法的局部线性收敛性及其在统计成像中的应用。SIAM成像科学杂志,9(2):842-8682016·Zbl 1347.49046号
[2] Heinz H.Bauschke和Patrick L.Combettes。希尔伯特空间中的凸分析和单调算子理论,第408卷。施普林格,2011年·Zbl 1218.47001号
[3] Heinz H.Bauschke和Walaa M.Moursi。关于Douglas-Rachford算法。数学规划,164(1-2):263-2842017·Zbl 06751028号
[4] 迪米特里·伯特塞卡斯(Dimitri P.Bertsekas)、安吉丽亚·内迪奇(Angelia Nedi´c)和阿苏曼·欧兹达格勒(Asuman E.Ozdaglar)。凸分析与优化。雅典娜科学优化和计算系列。雅典娜科学,2003年。国际标准图书编号9781886529458·Zbl 1140.90001号
[5] 霍华德·邦德尔(Howard D.Bondell)和布莱恩·雷奇(Brian J.Reich)。OSCAR预测因子的同时回归收缩、变量选择和监督聚类。生物计量学,64(1):115-1232008·兹比尔1146.62051
[6] 西尔维娅·博内蒂尼(Silvia Bonettini)和瓦莱丽亚·鲁杰罗(Valeria Ruggiero)。全变分图像复原的原-对偶混合梯度算法的收敛性。数学成像与视觉杂志,44(3):236-2532012·Zbl 1255.68210号
[7] 斯蒂芬·博伊德(Stephen Boyd)、尼尔·帕里克(Neal Parikh)、埃里克·朱(Eric Chu)、博尔贾·佩莱托(Borja Peleato)和乔纳森·埃克斯坦(Jonathan Eckstein)。通过交替方向乘数法进行分布式优化和统计学习。机器学习基础与趋势,3(1):1-1222011·Zbl 1229.90122号
[8] 安东尼·钱伯勒和托马斯·波克。凸问题的一阶原对偶算法及其在成像中的应用。数学成像与视觉杂志,40(1):120-1452011·Zbl 1255.68217号
[9] Tony F.Chan和Roland Glowinski。一类轻度非线性椭圆型方程的有限元逼近和迭代解。斯坦福大学计算机科学系,斯坦福大学,1978年。
[10] Damek Davis和Wotao Yin。松弛Peaceman-Rachford和ADMM在正则性假设下的更快收敛速度。运筹学数学,42(3):783-8051017·Zbl 1379.65035号
[11] 魏登和尹沃涛。广义交替方向乘子法的全局收敛性和线性收敛性。科学计算杂志,66(3):889-9162016·Zbl 1379.65036号
[12] 吉姆·道格拉斯和亨利·拉奇福德。关于两个和三个空间变量中热传导问题的数值解。美国数学学会学报,82(2):421-4391956·Zbl 0070.35401号
[13] Jonathan Eckstein和Dimitri P.Bertsekas。线性规划的一种交替方向方法。1990
[14] Jonathan Eckstein和Dimitri P.Bertsekas。关于最大单调算子的Douglas-Rachford分裂方法和近点算法。数学规划,55(1-3):293-3181992·Zbl 0765.90073号
[15] 乔纳森·埃克斯坦和王瑶。理解交替方向乘数法的收敛性:理论和计算观点。太平洋优化杂志,11(4):619-6442015·Zbl 1330.90074号
[16] Ernie Esser、Xiaoqun Zhang和Tony F.Chan。成像科学中用于凸优化的一类一阶原对偶算法的一般框架。SIAM成像科学杂志,3(4):1015-10462010·Zbl 1206.90117号
[17] 弗朗西斯科·法奇尼和容世鹏。有限维变分不等式与互补问题。Springer科学与商业媒体,2007年。
[18] 马西莫·福纳西耶(Massimo Fornasier)和霍尔格·劳胡特(Holger Rauhut)。具有联合稀疏约束的向量值数据恢复算法。SIAM数值分析杂志,46(2):577-6132008·Zbl 1211.65066号
[19] 米歇尔·福廷(Michel Fortin)和罗兰·格洛温斯基(Roland Glowinski)。第三章介绍了使用增广拉格朗日函数的分解协调方法。数学及其应用研究,第15卷,第97-146页。爱思唯尔,1983年·Zbl 0525.65045号
[20] Jerome Friedman、Trevor Hastie和Robert Tibshirani。关于组套索和稀疏组套索的注释。arXiv预印arXiv:1001.07362010。
[21] 丹尼尔·加贝(Daniel Gabay)。第九章乘子方法在变分不等式中的应用。数学及其应用研究,第15卷,299-331页。爱思唯尔,1983年。
[22] 丹尼尔·加贝(Daniel Gabay)和伯特兰·梅西耶(Bertrand Mercier)。通过有限元近似求解非线性变分问题的对偶算法。计算机与数学应用,2(1):17-401976·Zbl 0352.65034号
[23] 赫尔穆特·格弗雷尔(Helmut Gfrerer)。度量子区域的一阶和二阶特征以及约束集映射的平静性。SIAM优化杂志,21(4):1439-14742011·Zbl 1254.90246号
[24] 赫尔穆特·格弗雷尔(Helmut Gfrerer)。关于非光滑数学程序的方向度量正则性、子正则性和最优性条件。集值与变分分析,21(2):151-1762013·Zbl 1321.49031号
[25] Helmut Gfrerer和Diethard Klatte。优化问题和广义方程的Lipschitz和h¨older稳定性。数学规划,158(1-2):35-752016·Zbl 1345.49030号
[26] Helmut Gfrerer和Jane J.Ye。通过变分分析为具有平衡约束的数学程序提供新的约束条件。SIAM优化杂志,27(2):842-8652017·Zbl 1368.49015号
[27] 蓬特斯·吉塞尔森(Pontus Giselsson)和斯蒂芬·博伊德(Stephen Boyd)。Douglas-Rachford分裂和admm的线性收敛性和度量选择。IEEE自动控制汇刊,62(2):532-5442016·Zbl 1364.90256号
[28] 罗兰·格洛温斯基(Roland Glowinski)。非线性变分问题的数值方法。科学计算。施普林格-柏林-海德堡,2013年。国际标准图书编号9783662126134。
[29] 罗兰·格洛温斯基(Roland Glowinski)。关于乘数的交替方向方法:历史观点,第59-82页。施普林格荷兰,多德雷赫特,2014年。国际标准图书编号978-94-017-9054-3。doi:10.1007/978-94-017-9054-3 4·Zbl 1320.65098号
[30] 罗兰·格洛温斯基(Roland Glowinski)和马拉科奇(A Marroco)。在近似条件下,部分完成了“秩序”等解决方案,部分实现了“非林区问题的唯一类别”。ESAIM:数学建模与数值分析-模型化数学与分析数字,9(R2):41-761975·Zbl 0368.65053号
[31] 罗纳德·格洛温斯基和帕特里克·勒塔莱克。非线性力学中的增广拉格朗日和算子分裂方法,第9卷。SIAM,1989年·Zbl 0698.73001号
[32] Rafal Goebel和R.Tyrrell Rockafellar。凸函数梯度的局部强凸性和局部lipschitz连续性。凸分析杂志,15(2):2632008·Zbl 1149.26022号
[33] 奥斯曼·G·鲁勒。关于凸极小化近点算法的收敛性。SIAM控制与优化杂志,29(2):403-41991·兹比尔0737.90047
[34] 雷过、简·J·叶和金章。banach空间中具有几何约束的数学程序:增强的最优性、精确惩罚和灵敏度。SIAM优化杂志,23(4):2295-23192013·Zbl 1342.90144号
[35] 韩德仁和袁晓明。二次规划交替方向乘数法的局部线性收敛性。SIAM数值分析杂志,51(6):3446-34572013·Zbl 1285.90033号
[36] 韩德仁、孙德凤、张利伟。凸组合规划交替方向乘子法的线性速度收敛性。运筹学数学,43(2):622-6372017·Zbl 1440.90047号
[37] 何炳生和海阳。线性约束单调变分不等式乘子方法的一些收敛性。运营研究信件,23(3-5):151-1611998·Zbl 0963.49006号
[38] 何炳生和袁晓明。关于Douglas-Rachford交替方向法的o(1/n)收敛速度。SIAM数值分析杂志,50(2):700-7092012a·Zbl 1245.90084号
[39] 何炳生和袁晓明。鞍点问题原对偶算法的收敛性分析:从压缩的角度。SIAM成像科学杂志,5(1):119-1492012b·Zbl 1250.90066号
[40] 何炳生和袁晓明。Douglas-Rachford交替方向乘子法的非遍历收敛速度。Numeriche Mathematik,130(3):567-5771015·Zbl 1320.90060
[41] 何炳生、廖立志、韩德仁和海阳。单调变分不等式的一种新的非精确交替方向法。数学规划,92(1):103-1182002·Zbl 1009.90108号
[42] 何炳生、徐明华和袁晓明。用交替方向法求解大规模最小二乘协方差矩阵问题。SIAM矩阵分析与应用杂志,32(1):1362011·Zbl 1243.49039号
[43] 何炳生、游燕飞、袁晓明。关于原对偶混合梯度算法的收敛性。SIAM成像科学杂志,7(4):2526-25372014·兹比尔1308.90129
[44] 雷恩·亨利安(Ren´e Henrion)和季尔·奥特拉塔(Ji´r´V Outrata)。约束系统与应用程序的镇定。数学规划,104(2-3):437-4642005·邮编1093.90058
[45] 雷恩·亨利安(Renée Henrion)、阿卜杜拉希姆·朱拉尼(Abderrahim Jourani)和吉里·奥塔拉塔(Jiri Outrata)。关于一类多函数的平静性。SIAM优化杂志,13(2):603-6182002·Zbl 1028.49018号
[46] 艾伦·J·霍夫曼。关于线性不等式组的近似解。国家标准局研究杂志,49(4),1952年。
[47] Gareth M.James、Courtney Paulson和Paat Rusmevichientong。惩罚回归和约束回归。未发表的手稿,网址:http://www-bcf。南加州大学。edu/gareth/research/research。html,2013年。
[48] 迪特哈德·克拉特(Diethard Klatte)和伯恩德·库默(Bernd Kummer)。度量空间中的约束极小值和lipschitzian惩罚。SIAM优化杂志,13(2):619-6332002·Zbl 1042.49020号
[49] 马蒂厄·科瓦尔斯基(Matthieu Kowalski)。使用混合范数的稀疏回归。应用和计算谐波分析,27(3):303-3242009·Zbl 1183.94012号
[50] D.利文塔尔。度量子区域性和近点方法。数学分析与应用杂志,360(2):681-6882009·Zbl 1175.49028号
[51] 李敏、孙德芳和金传多。线性约束凸组合优化的具有不确定近似项的优化admm。SIAM优化杂志,26(2):922-9502016·Zbl 1338.90305号
[52] 梁静伟(Jingwei Liang)、贾拉尔·法迪利(Jalal Fadili)和加布里埃尔·佩尔(Gabriel Peyr’e)。Douglas-Rachford的局部收敛性和乘法器的交替方向方法。优化理论与应用杂志,172(3):874-9132017·兹比尔1362.65065
[53] 魏琳,石丕素,冯锐,李洪哲。成分协变量回归中的变量选择。《生物特征》,101(4):785-7972014·Zbl 1306.62164号
[54] 林周晨,刘日生,李欢。机器学习中可分离凸规划的并行分裂和自适应惩罚的线性化交替方向方法。机器学习,99(2):287-3252015·Zbl 1331.68189号
[55] 皮尔雷·卢伊斯狮子队和伯特兰·梅西耶。两个非线性算子之和的分裂算法。SIAM数值分析期刊,16(6):964-9791979·Zbl 0426.6500号
[56] 刘永超、袁晓明、曾尚志、张进军。交替方向乘子法的部分误差界条件和线性收敛速度。SIAM数值分析杂志,56(4):2095-21232018·Zbl 1402.90121号
[57] 罗志泉和曾保尔。凸本质光滑极小化下降法的线性收敛性。SIAM控制与优化杂志,30(2):408-4251992·Zbl 0756.90084号
[58] 伯纳德·马丁内特。正则化,代入方程变量,par近似序列。《法国信息与经济评论》(Revue Francaise d’informatique et de Recherche operationelle),1970年。
[59] Renato DC Monteiro和Benar F Svaiter。块分解算法和交替方向乘法器方法的迭代复杂性。SIAM优化杂志,23(1):475-5072013·兹比尔1267.90181
[60] Robert Nishihara、Laurent Lessard、Benjamin Recht、Andrew Packard和Michael I.Jordan。ADMM.arXiv预印本arXiv:1502.020092015收敛性的一般分析。
[61] 斯蒂芬·罗宾逊(Stephen M.Robinson)。不等式系统的稳定性理论。第一部分:线性系统。SIAM数值分析杂志,12(5):754-7691975·Zbl 0317.90035号
[62] 斯蒂芬·罗宾逊(Stephen M.Robinson)。强正则广义方程。运筹学数学,5(1):43-621980·Zbl 0437.90094号
[63] 斯蒂芬·M·罗宾逊。多面体多函数的一些连续性。Oberwolfach的数学编程,第206-214页。施普林格,1981年·Zbl 0449.90090号
[64] R.Tyrrell Rockafellar先生。凸分析,第28卷。普林斯顿大学出版社,1970年·Zbl 0193.18401号
[65] R.Tyrrell Rockafellar先生。单调运算符和近点算法。SIAM控制与优化杂志,14(5):877-8981976·兹比尔0358.90053
[66] R.Tyrrell Rockafellar和Roger J-B Wets。变分分析,第317卷。Springer科学与商业媒体,2009年。
[67] R.Shefi。凸非光滑优化算法的收敛速度分析。未发表的博士论文,以色列特拉维夫大学,2015年。
[68] 石皮素,张安如,李洪哲。微生物组分数据的回归分析。应用统计年鉴,10(2):1019-10402016·Zbl 1398.62346号
[69] 孙杰和苏章。凸二次约束二次半定规划的改进交替方向法。欧洲运筹学杂志,207(3):1210-12202010·Zbl 1229.90119号
[70] 闵涛和袁晓明。步长为2的广义近点算法不一定收敛。计算优化与应用,70(3):827-8392018a·兹比尔1393.90088
[71] 闵涛和袁晓明。关于Glowinskis,关于交替方向乘数法的公开问题。优化理论与应用杂志,179(1):163-1962018b·Zbl 1407.90259号
[72] 马克·特布勒。近似算法的收敛性。SIAM优化杂志,7(4):1069-10831997·Zbl 0890.90151号
[73] Robert Tibshirani、Michael Saunders、Saharon Rosset、Ji Zhu和Keith Knight。通过融合套索实现轻盈流畅。英国皇家统计学会期刊:B系列(统计方法论),67(1):91-1082005·兹比尔1060.62049
[74] 曾荫权(Paul Tseng)。结构化凸优化的近似精度、梯度方法和误差界。数学规划,125:263-2952010·Zbl 1207.65084号
[75] 托莫·瓦尔科宁。非线性算子的原-对偶混合梯度法及其在核磁共振成像中的应用。逆问题,30(5):0550122014·Zbl 1310.47081号
[76] 托莫·瓦尔科宁。预处理近点方法和部分子区域的概念。arXiv预印本arXiv:1711.051232017。
[77] 王向峰和袁晓明。dantzig选择器乘法器的线性化交替方向法。SIAM科学计算期刊,34(5):2792-2811,2012·Zbl 1263.90061号
[78] 王祥凤、叶珍妮、袁晓明、曾尚志和张进。通过变分分析分析近端梯度法和其他一阶算法收敛性的摄动技术。arXiv预印本arXiv:1810.100512018。
[79] Zaiwen Wen、Donald Goldfarb和Wotao Yin。半定规划的交替方向增广拉格朗日方法。数学规划计算,2(3-4):203-2302010·Zbl 1206.90088号
[80] 杨俊峰和袁晓明。核范数最小化的线性化增广拉格朗日和交替方向方法。计算数学,82(281):301-3292013·Zbl 1263.90062号
[81] 杨卫红和韩德仁。一类凸优化问题交替方向乘子法的线性收敛性。SIAM数值分析杂志,54(2):625-6402016·Zbl 1342.90138号
[82] 叶向阳。变分不等式约束优化问题的必要最优性条件。运筹学数学,22(4):977-9971997·Zbl 1088.90042号
[83] Jane J.Ye和Jin Zhang。增强的karush-kuhn-tucker条件和较弱的约束条件。数学规划,139(1-2):353-3812013·Zbl 1285.90078号
[84] Jane J.Ye、Xiaoming Yuan、Shangzhi Zeng和Jin Zhang。变分分析视角下非光滑凸优化问题一些一阶方法的线性收敛性。优化在线预印本,2018年。
[85] 袁明,林毅。分组变量回归中的模型选择和估计。英国皇家统计学会杂志:B辑(统计方法),68(1):49-672006·Zbl 1141.62030号
[86] Leon Wenliang Zhong和James T.Kwok。具有自动特征分组的高效稀疏建模。IEEE神经网络和学习系统事务,23(9):1436-14472012。
[87] Hua Zhou、Mary E.Sehl、Janet S.Sinsheimer和Kenneth Lange。通过惩罚回归对常见和罕见遗传变异进行关联筛查。生物信息学,26(19):23752010。
[88] 朱希德(Xide Zhu)、张金(Jin Zhang)、曾尚志(Shangzhi Zeng)和袁晓明(Xiaoming Yuan)。R-BCPGM/prox-SVRG在有界度量子域下的线性收敛性。手稿,2018年。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。