×

双线性鞍点问题和带仿射单调算子的变分不等式的分解技术。 (英语) Zbl 1398.90098号

摘要:求解大型凸凹鞍点问题和单调算子变分不等式的大多数一阶方法都是近似算法。为了使这种算法实用,问题的域应该是近似友好的,即允许一个具有易于最小化线性扰动的强凸函数。作为副产品,该领域允许使用计算成本低廉的线性最小化预言机(LMO)来最小化线性形式。然而,在一些重要的情况下,确实可以使用廉价的LMO,但问题域不是近似友好的,这促使搜索仅基于LMO的算法。对于光滑凸极小化,存在一种使用LMO–条件梯度的经典算法。相比之下,我们已知的用于其他凸结构问题的类似技术(非光滑凸极小化、凸凹鞍点问题,甚至像双线性问题一样简单,以及带有单调算子的变分不等式,甚至像仿射一样简单)是最近才出现的,使用基于相关目标/向量场的芬切尔类型表示的通用方法。本文的目标是针对双线性鞍点问题和带有仿射单调算子的变分不等式,开发基于LMO的替代分解技术(看起来更简单)。

MSC公司:

90C06型 数学规划中的大尺度问题
90摄氏52度 减少梯度类型的方法
65克10 数值优化和变分技术
90立方厘米 动态编程

软件:

CVX公司
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Juditsky,A.,Nemirovski,A.:在线性最小化预言给出的域上用单调算子求解变分不等式。数学。程序。152(1), 1-36 (2013) ·Zbl 1333.65074号
[2] Harchaoui,Z.,Juditsky,A.,Nemirovski,A.:范数正则化光滑凸优化的条件梯度算法。数学。程序。152(1), 75-112 (2014) ·兹比尔1336.90069
[3] 齐格勒,G.M.:《多面体讲座》,第152卷。柏林施普林格(1995)·Zbl 0823.52002号
[4] Frank,M.,Wolfe,P.:二次规划的算法。海军后勤研究。Q.3(1-2),95-110(1956)·doi:10.1002/nav.3800030109
[5] Demyanov,V.,Rubinov,A.:优化问题中的近似方法,第32卷。Elsevier,阿姆斯特丹(1970)·Zbl 0217.46203号
[6] Dunn,J.C.,Harshbarger,S.:具有开环步长规则的条件梯度算法。数学杂志。分析。申请。62(2), 432-444 (1978) ·Zbl 0374.49017号 ·doi:10.1016/0022-247X(78)90137-3
[7] Freund,R.M.,Grigas,P.:Frank-Wolfe方法的新分析和结果。数学。程序。155(1-2), 199-230 (2016) ·兹比尔1342.90101
[8] Garber,D.,Hazan,E.:强凸集上Frank-Wolfe方法的更快速度。arXiv预印arXiv:1406.1305(2014)
[9] Harchaoui,Z.,Douze,M.,Paulin,M.、Dudik,M.和Malick,J.:带轨迹形式正则化的大尺度图像分类。2012年IEEE计算机视觉和模式识别会议(CVPR),第3386-3393页。IEEE(2012)
[10] Jaggi,M.:重温Frank-Wolfe:无投影稀疏凸优化。摘自:《第三十届国际机器学习会议论文集》(ICML-13),第427-435页(2013)
[11] Jaggi,M.,Sulovsk,M.等人:核范数正则化问题的简单算法。摘自:第27届国际机器学习会议记录(ICML-10),第471-478页(2010年)·Zbl 1305.65149号
[12] Pshenichny,B.N.,Danilin,Y.M.:极值问题的数值方法。米尔·莫斯科(1978)·Zbl 1336.90069号
[13] Argyriou,A.,Signoretto,M.,Suykens,J.A.K.:应用于稀疏和低秩正则化的混合算法,第3章。摘自:Suykens,J.A.K.,Signoretto,M.,Argyriou,A.,(编辑)正则化,优化,内核和支持向量机,第53-82页。查普曼和霍尔/CRC(2014)·Zbl 1305.68030号
[14] Pierucci,F.,Harchaoui,Z.,Malick,J.:具有非光滑损失的复合条件梯度的平滑方法。技术代表,Inria(2014)。https://hal.inia.fr/hal-01096630/ ·兹伯利0374.49017
[15] Tewari,A.、Ravikumar,P.K.、Dhillon,I.S.:结构约束高维问题的贪婪算法。《神经信息处理系统进展》,第882-890页(2011年)
[16] Ying,Y.,Li,P.:特征值优化的距离度量学习。J.马赫。学习。第13(1)号决议,1-26(2012)·Zbl 1283.68309号
[17] Cox,B.,Juditsky,A.,Nemirovski,A.:大规模非光滑学习问题的对偶次梯度算法。数学。程序。148(1-2), 143-180 (2014) ·Zbl 1305.65149号 ·doi:10.1007/s10107-013-0725-1
[18] Lan,G.,Zhou,Y.:凸优化的条件梯度滑动(2014)。http://www.ise.uf.edu/glan/files/2015/09/CGS08-31 ·Zbl 1342.90132号
[19] Hiriart-Urruti,J.B.,Lemaréchal,C.:凸分析和最小化算法I:基础,第305卷。柏林施普林格出版社(2013)·2012年11月13日
[20] Nemirovski,A.,Onn,S.,Rothblum,U.G.:凸结构计算问题的精度证书。数学。操作。第35(1)号决议,第52-78号决议(2010年)·Zbl 1216.90067号 ·doi:10.1287/门.1090.0427
[21] Cox,B.:凸结构问题的精度证书应用。乔治亚理工学院博士论文(2011年)。https://smartech.gatech.edu/jspui/bitstream/1853/39489/1/cox_bruce_a_201105_phd ·Zbl 0374.49017号
[22] Gol'stein,E.:线性规划的直接对偶块方法。自动。遥控57(11),1531-1536(1996)·Zbl 0930.90070号
[23] Gol'stein,E.,Sokolov,N.:解决多种商品生产和运输问题的分解算法。《Ekonomika i Matematicheskie Metody》33(1),112-128(1997)·Zbl 0937.90066号
[24] Dvurechensky,P.,Nesterov,Y.,Spokoiny,V.:求解无限维博弈的原对偶方法。J.优化。理论应用。166(1), 23-51 (2015) ·Zbl 1327.90108号 ·doi:10.1007/s10957-015-0771-3
[25] 贝尔曼,R.:关于“布洛托上校”和类似游戏。SIAM版本11(1),66-68(1969)·Zbl 0181.47001号 ·数字对象标识代码:10.1137/1011006
[26] 罗伯逊:布洛托上校的游戏。经济。理论29(1),1-24(2006)·兹比尔1107.91010 ·doi:10.1007/s00199-005-0071-5
[27] Grant,M.,Boyd,S.:Cvx:Matlab Software for Disciplined Convex Programming,2.1版(2015)。http://cvxr.com/cvx
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。