×

非线性凸锥规划一阶原对偶方法的迭代复杂性。 (英语) Zbl 1499.49087号

非线性凸锥规划(NCCP)模型有许多实际应用。在本文中,我们引入了一种灵活的一阶原对偶算法,称为变辅助问题原理(VAPP),用于解决目标函数和约束是凸的但可能是非光滑的NCCP问题。在每次迭代中,VAPP生成原始增广拉格朗日模型的非线性近似。该近似包含线性化和类距离近端项,然后VAPP的迭代被证明具有NCCP的分解特性。受最近大数据分析应用的推动,人们对具有大规模优化问题并行计算能力的算法的收敛速度分析越来越感兴趣。我们建立了对原始最优性、可行性和对偶最优性的(O(1/t))收敛速度。通过在不同的迭代中自适应地设置参数,我们证明了强凸情形下的(O(1/t^2))速率。最后,我们讨论了VAPP实施中的一些问题。

MSC公司:

49平方米27 分解方法
65年第68季度 算法和问题复杂性分析
90C25型 凸面编程
90立方 非线性规划
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 马萨诸塞州戈伯纳;López,MA,线性半无限优化(1998),伦敦:威利,伦敦·Zbl 0909.90257号
[2] López,M。;尽管如此,G.,《半无限编程》,Eur.J.Oper。研究,180,2,491-518(2007)·Zbl 1124.90042号
[3] Shapiro,A.,《半无限规划,对偶性,离散化和最优性条件》,《优化》,58,2,133-161(2009)·Zbl 1158.90410号
[4] Alizadeh,F。;Goldfarb,D.,二阶锥规划,数学。程序。,95, 1, 3-51 (2003) ·Zbl 1153.90522号
[5] 福田,裕利安怡;席尔瓦,PJ;Fukushima,M.,非线性二阶锥规划的可微精确罚函数,SIAM J.Optim。,22, 4, 1607-1633 (2012) ·Zbl 1261.49006号
[6] 坎佐,C。;费伦齐,I。;Fukushima,M.,关于无严格互补的线性和非线性二阶锥规划的半光滑牛顿方法的局部收敛性,SIAM J.Optim。,20297-320(2009年)·Zbl 1190.90239号
[7] 加藤,H。;Fukushima,M.,非线性二阶锥规划的SQP型算法,Optim。莱特。,1, 2, 129-144 (2007) ·Zbl 1149.90149号
[8] 山下,H。;Yabe,H.,二阶锥上非线性优化的原对偶内点法,Optim。方法软件。,24, 3, 407-426 (2009) ·Zbl 1245.90129号
[9] Ben-Tal,A。;Nemirovski,A.,稳健凸优化,数学。操作。第23、4、769-805号决议(1998年)·Zbl 0977.90052号
[10] Ben-Tal,A。;El Ghaoui,L。;Nemirovski,A.,《稳健优化》(2009),普林斯顿:普林斯顿大学出版社,普林斯顿·Zbl 1221.90001号
[11] 洛博,理学硕士;范登伯格,L。;博伊德,S。;Lebret,H.,二阶锥规划的应用,线性代数应用。,284, 1, 193-228 (1998) ·Zbl 0946.90050号
[12] Wu,S.P.,Boyd,S.,Vandenberghe,L.:通过半定规划和谱分解进行FIR滤波器设计。载:《第35届IEEE决策与控制会议论文集》,第1卷,第271-276页。IEEE(1996)
[13] 坎迪斯,EJ;J.隆伯格。;Tao,T.,《鲁棒不确定性原理:从高度不完整的频率信息中精确重建信号》,IEEE Trans。Inf.理论,52,2489-509(2006)·Zbl 1231.94017号
[14] Patriksson,M.,《关于连续非线性资源分配问题的调查》,Eur.J.Oper。研究,185,1,1-46(2008)·Zbl 1146.90493号
[15] Donoho,DL,压缩传感,IEEE Trans。《信息论》,52,4,1289-1306(2006)·Zbl 1288.94016号
[16] 帕特里克森,M。;斯特伦伯格,C.,《连续非线性资源分配问题的算法——新实现和数值研究》,欧洲期刊Oper。研究,243,3,703-722(2015)·Zbl 1346.90672号
[17] Hestenes,MR,乘数和梯度方法,J.Optim。理论应用。,4, 5, 303-320 (1969) ·Zbl 0174.20705号
[18] 鲍威尔,MJD;Fletcher,R.,最小化问题中非线性约束的方法,最优化(1969),伦敦:学术出版社,伦敦·Zbl 0194.47701号
[19] Buys,J.D.:约束优化问题的对偶算法。Bronder-Offset(1972)
[20] Rockafellar,RT,增广拉格朗日和近点算法在凸规划中的应用,数学。操作。第1、2、97-116号决议(1976年)·Zbl 0402.90076号
[21] 夏皮罗,A。;Sun,J.,锥约束优化中增广拉格朗日的一些性质,数学。操作。第29、3、479-491号决议(2004年)·Zbl 1082.90109号
[22] Fortin,M。;Glowinski,R.,关于使用增广拉格朗日函数的分解协调方法的第三章,Stud.Math。其应用。,15, 97-146 (1983) ·Zbl 0525.65045号
[23] Stellato,B.、Banjac,G.、Goulart,P.、Bempoad,A.、Boyd,S.:OSQP:二次规划的算子分裂解算器。收录于:2018年UKACC第12届国际控制会议(Control),第339-339页。IEEE(2018)·Zbl 1452.90236号
[24] 科恩,G。;Zhu,DL,大规模优化问题中的分解协调方法。不可微情形与增广拉格朗日函数的应用,高级大系统。,1, 203-266 (1984)
[25] 孔特雷拉斯,J。;A.洛西。;鲁索,M。;Wu,FF,DistOpt:分布式环境中建模和评估优化问题解决方案的软件框架,J.Parallel Distrib.Comput。,60, 6, 741-763 (2000) ·Zbl 0956.68005号
[26] A.洛西。;Russo,M.,《关于辅助问题原则的应用》,J.Optim。理论应用。,117, 2, 377-396 (2003) ·邮编:1045.90065
[27] Kim,BH;Baldick,R.,《粗粒度分布式最优潮流》,IEEE Trans。电力系统。,1932-939年12月2日(1997年)
[28] Kim,BH;Baldick,R.,分布式最优潮流算法的比较,IEEE Trans。电力系统。,15, 2, 599-604 (2000)
[29] Renaud,A.,《法国电力公司的日常发电管理:从规划到实时》,IEEE Trans。自动。控制,38,7,1080-1093(1993)
[30] Cao,L.,Sun,Y.,Cheng,X.,Qi,B.,Li,Q.:基于辅助问题原理的分布式并行优化算法的收敛性能研究。2007年IEEE自动化和物流国际会议,第1083-1088页。IEEE(2007)
[31] Hur,D。;公园,JK;Kim,BH,《关于分布式最优潮流数学分解技术收敛速度的改进》,国际电工杂志。电力能源系统。,25, 1, 31-39 (2003)
[32] 加贝,D。;Mercier,B.,通过有限元近似解非线性变分问题的对偶算法,计算。数学。通过申请。,2, 1, 17-40 (1976) ·Zbl 0352.65034号
[33] Aybat,N.S.,Hamedani,E.Y.:一种分布式ADMM类方法,用于时变网络上圆锥约束下的资源共享。arXiv:1611.07393(2016)·Zbl 1427.90214号
[34] 李,M。;Sun,D。;Toh,KC,线性约束凸组合优化中具有不确定近似项的优化ADMM,SIAM J.Optim。,26, 2, 922-950 (2016) ·兹比尔1338.90305
[35] 他,B。;袁,X.,关于Douglas-Rachford交替方向法的(O(1/n))收敛速度,SIAM J.Numer。分析。,50, 2, 700-709 (2012) ·Zbl 1245.90084号
[36] 蒙泰罗,RD;Svaiter,BF,块分解算法的迭代复杂性和乘法器的交替方向方法,SIAM J.Optim。,2475-507年3月23日(2013年)·Zbl 1267.90181号
[37] 高,X。;Zhang,SZ,带不可分离目标和耦合约束的凸优化的一阶算法,J.Oper。中国研究社会,5,2,131-159(2017)·Zbl 1390.90423号
[38] 邓,W。;Yin,W.,关于乘数的广义交替方向法的全局和线性收敛性,J.Sci。计算。,66, 3, 889-916 (2016) ·Zbl 1379.65036号
[39] 洪,M。;罗,ZQ,关于交替方向乘数法的线性收敛性,数学。程序。,162, 1-2, 165-199 (2017) ·兹比尔1362.90313
[40] Lin,T。;马,S。;Zhang,S.,关于多块变量ADMM的全局线性收敛性,SIAM J.Optim。,25, 3, 1478-1497 (2015) ·Zbl 1333.90095号
[41] 刘,Y。;袁,X。;曾,S。;Zhang,J.,交替方向乘法器法的部分误差界条件和线性收敛速度,SIAM J.Numer。分析。,56, 4, 2095-2123 (2018) ·Zbl 1402.90121号
[42] 陈,G。;Teboulle,M.,凸极小化问题的基于近似的分解方法,数学。程序。,64, 1-3, 81-101 (1994) ·Zbl 0823.90097号
[43] 张,X。;汉堡,M。;Osher,S.,基于Bregman迭代的统一原对偶算法框架,J.Sci。计算。,46, 1, 20-46 (2011) ·Zbl 1227.65052号
[44] 邓,W。;赖,MJ;彭,Z。;Yin,W.,具有(o(1/k)收敛性的并行多块ADMM,J.Sci。计算。,71, 2, 712-736 (2017) ·Zbl 1398.65121号
[45] Börgens,E。;Kanzow,C.,Hilbert空间中一类可分离凸优化问题的正则化Jacobi型ADMM方法,计算。最佳方案。申请。,73, 3, 755-790 (2019) ·Zbl 1423.90176号
[46] Chambolle,A。;Pock,T.,凸问题的一阶原对偶算法及其在成像中的应用,J.Math。成像视觉。,40, 1, 120-145 (2011) ·Zbl 1255.68217号
[47] Chambolle,A。;Pock,T.,关于一阶原对偶算法的遍历收敛速度,数学。程序。,159, 1-2, 253-287 (2016) ·Zbl 1350.49035号
[48] Nemirovski,A.,Lipschitz连续单调算子变分不等式和光滑凹凸鞍点问题的具有收敛速度(O)(1/t)的Prox方法,SIAM J.Optim。,15, 1, 229-251 (2004) ·Zbl 1106.90059号
[49] 他,N。;朱迪茨基,A。;Nemirovski,A.,多项组合最小化和半可分问题的镜像近似算法,计算。最佳方案。申请。,61, 2, 275-319 (2015) ·Zbl 1321.65105号
[50] 朱迪茨基,A。;Nemirovski,A.,非光滑凸大规模优化的一阶方法,ii:利用问题结构,Optim。机器。学习。,30, 9, 149-183 (2011)
[51] Hamedani,E.Y.,Aybat,N.S.:一般凹凸鞍点问题的原对偶算法。arXiv:1803.01401(2018)·Zbl 1507.65106号
[52] 方,Z。;李毅。;刘,C。;朱伟。;Zhang,Y。;Zhou,W.,《实时起搏保证显示广告的大规模个性化交付》,IEEE国际会议数据分钟(ICMM),2019,190-199(2019)
[53] Hojjat,A。;特纳,J。;塞廷塔斯,S。;Yang,J.,《根据覆盖范围和频率要求安排有保证的定向展示广告的统一框架》,Oper。第65、2、289-313号决议(2017年)·Zbl 1366.90156号
[54] Turner,J.,《有保证的定向展示广告的规划》,Oper。第60、1、18-33号决议(2012年)·Zbl 1242.90032号
[55] Turner,J.、Hojjat,A.、Cetintas,S.、Yang,J.:在距离和频率要求下交付有保证的显示ADS。参加:第二十八届AAAI人工智能会议。AAAI出版社(2014)·Zbl 1366.90156号
[56] Slawski,M.、Zu Castell,W.、Tutz,G.:由结构信息指导的特征选择。Ann.应用。Stat.4,1056-1080(2010年)·Zbl 1194.62092号
[57] Slawski,M.,分位数回归和支持向量分类的结构化弹性网,统计计算。,22, 1, 153-168 (2012) ·Zbl 1322.62041号
[58] JM奥尔特加;Rheinboldt,WC,多变量非线性方程的迭代解(1970),费城:SIAM,费城·兹比尔0241.65046
[59] Shapiro,A.,Scheinberg,K.:对偶性和最优性条件。《半定规划手册》,第67-110页(2000)·Zbl 0957.90517号
[60] 切尼,W。;Goldstein,AA,凸集的邻近映射,Proc。美国数学。《社会学杂志》,第10、3、448-450页(1959年)·兹伯利0092.11403
[61] 美联社Wierzbicki;Kurcyusz,S.,锥上的投影,Hilbert空间中不等式约束问题的罚泛函和对偶理论,SIAM J.控制优化。,15, 1, 25-56 (1977) ·Zbl 0355.90045号
[62] 贝克,A。;Teboulle,M.,用于凸优化的镜像下降和非线性投影次梯度方法,Oper。Res.Lett.公司。,31, 3, 167-175 (2003) ·Zbl 1046.90057号
[63] 博伊德,S。;Vandenberghe,L.,凸优化(2004),剑桥:剑桥大学出版社,剑桥·Zbl 1058.90049号
[64] 希里亚特·乌鲁蒂,JB;Lemaréchal,C.,《凸分析与最小化算法I:基础》(2013),柏林:施普林格出版社,柏林·Zbl 0795.49001号
[65] 艾巴特,NS;Iyengar,G.,最小化复合范数的统一方法,数学。程序。,144, 1-2, 181-226 (2014) ·Zbl 1327.90190号
[66] Vapnik,V.,《统计学习理论》(1998),纽约:威利出版社,纽约·Zbl 0935.62007号
[67] Bi,J.,Vapnik,V.N.:使用严格的支持向量机进行学习。摘自:《学习理论与核心机器》,第243-257页。柏林施普林格出版社(2003)·Zbl 1274.68291号
[68] Oneto,L。;Ridela,S。;Anguita,D.,Tikhonov,Ivanov和Morozov正则化支持向量机学习,马赫。学习。,103, 1, 103-136 (2016) ·Zbl 1357.68179号
[69] Zhao,L.,Zhu,D.:非线性凸锥规划的一阶原对偶方法。arXiv预印arXiv:1801.00261v5(2019)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。