×
孙天晓;尼科瓦拉，离子;Tran-Din，Quoc公司

具有全局和局部不精确预言的复合凸优化。 （英语） Zbl 1433.90117号

计算。最佳方案。申请。 76，第1号，69-124（2020）.
摘要：对于复合凸极小化中的一大类凸函数，我们引入了新的全局和局部不精确预言概念。这种不精确的预言自然会在许多情况下出现，包括原始-对偶框架、障碍平滑以及梯度和黑森函数的不精确评估。我们还提供了一些例子，表明带有新的不精确预言符的凸函数类大于标准自协方差函数类和Lipschitz梯度函数类。此外，我们研究了在我们的不精确预言下凸函数和/或自协调函数的几个性质，这些性质对算法开发很有用。接下来，我们应用我们的理论开发了不精确的近似Newton型格式，用于最小化具有这种不精确预言的一般复合凸优化问题。我们的理论结果包括新的优化算法以及全局收敛保证，以解决一类广泛的复合凸优化问题。当第一个目标项是额外的自协调项时，我们为我们的方法建立了不同的局部收敛结果。特别地，我们证明了根据不精确二阶预言的精度水平的选择，我们获得了从线性、超线性到二次的不同的局部收敛速度。在收敛边界已知的特殊情况下，我们的理论恢复了已知的最佳速率。我们还应用我们的设置导出了一种新的原对偶方法，用于求解涉及线性算子的复合凸最小化问题。最后，我们给出了一些典型的数值例子来说明新算法的优点。

引用于1文件

MSC公司：

90C25型 凸规划
65千5 数值数学规划方法
90 C56 无导数方法和使用广义导数的方法

关键词：

自协调函数;复合凸最小化;局部和全局不精确预言;不精确近似牛顿型方法;原对偶二阶方法

软件：

SDPT3系统;玻璃制品;DiSCO公司;螺旋形的
PDF格式BibTeX公司 XML格式引用
\textit{T.Sun}等人，计算。最佳方案。申请。76，编号1，69-124（2020；Zbl 1433.90117）
全文： 内政部 arXiv公司

参考文献：

[1] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2, 1, 183-202 (2009) ·Zbl 1175.94009号
[2] Ben-Tal，A。；El Ghaoui，L。；Nemirovski，A.，《稳健优化》（2009），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 1221.90001号
[3] Ben-Tal，A。；Nemirovski，A.，《现代凸优化讲座：分析、算法和工程应用》（2001），大学城：SIAM，大学城·兹比尔0986.90032
[4] Bogolubsky，L.、Dvurechenskii，P.、Gasnikov，A.、Gusev，G.、Nesterov，Y.、Raigorodskii，A.、Tikhonov，A.和Zhukovskii，M.：使用基于梯度和无梯度的优化方法学习监督页面排名。摘自：《神经信息处理系统进展》，第4914-4922页（2016年）
[5] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，Found。趋势马赫数。学习。，3, 1, 1-122 (2011) ·Zbl 1229.90122号
[6] Chambolle，A。；Pock，T.，凸问题的一阶原对偶算法及其在成像中的应用，J.Math。成像视觉。，40, 1, 120-145 (2011) ·兹比尔1255.68217
[7] 连接器，AR；Scheinberg，K。；Vicente，LN，《无导数优化导论》（2008），大学城：SIAM，大学城
[8] d'Aspremont，A.，具有近似梯度的平滑优化，SIAM J.Optim。，19, 3, 1171-1183 (2008) ·Zbl 1180.90378号
[9] Devolder，O。；Glineur，F。；Nesterov，Y.，带不精确预言的光滑凸优化的一阶方法，数学。程序。，146, 1-2, 37-75 (2014) ·兹比尔1317.90196
[10] Dvurechensky，P。；Gasnikov，A.，随机不精确预言凸问题的随机中间梯度法，J.Optim。理论应用。，171, 1, 121-145 (2016) ·Zbl 1351.90150号
[11] 弗里德曼，J。；哈斯蒂，T。；Tibshirani，R.，用图形套索进行稀疏逆协方差估计，生物统计学，9，3，432-441（2008）·兹比尔1143.62076
[12] 高，W。；Goldfarb，D.，《拟Newton方法：无需对自协调函数进行线性搜索的超线性收敛》，Optim。方法软件。，34, 1, 194-217 (2019) ·Zbl 1409.90091号
[13] 哈曼，ZT；Marcia，RF；Willett，RM，这是SPIRAL-TAP：稀疏泊松强度重建算法-理论与实践，IEEE Trans。图像处理。，21, 3, 1084-1096 (2012) ·兹比尔1372.94381
[14] 谢长杰；马萨诸塞州苏斯蒂克；印度迪伦；Ravikumar，P.，使用二次近似的稀疏逆协方差矩阵估计，Adv.Neutral Inf.Process。系统。，24, 1-18 (2011)
[15] Lefkimmiatis，S。；Unser，M.，利用hessian schatten范数正则化进行泊松图像重建，IEEE Trans。图像处理。，22, 11, 4314-4327 (2013) ·Zbl 1373.94228号
[16] 李，J。；安徒生，M。；Vandenberghe，L.，自协调函数的非精确近似牛顿法，数学。操作方法。第85、1、19-41号决议（2017年）·Zbl 1386.90105号
[17] 李，L。；Toh，KC，正则化稀疏协方差选择的不精确内点方法，数学。程序。公司。，2, 3, 291-315 (2010) ·Zbl 1208.90131号
[18] Lu，Z.，复合材料自相关最小化的随机块近端阻尼牛顿法，SIAM J.Optim。，27, 3, 1910-1942 (2017) ·Zbl 1375.49040号
[19] 马龙，SJ；托德，MJ；Ahn，J.，《距离加权歧视》，J.Am.Stat.Assoc.，102，480，1267-1271（2007）·Zbl 1332.62213号
[20] 内科瓦拉，I。；Patrascu，A。；Glineur，F.，锥凸规划的一阶不精确拉格朗日和惩罚方法的复杂性，Optim。方法软件。，34, 2, 305-335 (2019) ·Zbl 1407.90256号
[21] 奈科拉，I。；Suykens，JAK，可分离凸优化的内点拉格朗日分解方法，J.Optim。理论应用。，143, 3, 567-588 (2009) ·邮编：1184.90126
[22] 内米洛夫斯基，A。；尤丁，D.，《优化中的问题复杂性和方法效率》（1983），纽约：威利出版社·Zbl 0501.90062号
[23] Nesterov，Y.，《凸优化导论：基础课程》，应用优化第87卷（2004），柏林：Kluwer学术出版社，柏林·Zbl 1086.90045号
[24] 内斯特罗夫，Y。；Nemirovski，A.，《凸规划中的内点多项式算法》（1994），纽约：工业数学学会，纽约·兹比尔0824.90112
[25] Nocedal，J。；Wright，SJ，数值优化（2006），纽约：施普林格，纽约·Zbl 1104.65059号
[26] 宾夕法尼亚州奥尔森；Oztoprak，F。；Nocedal，J。；Rennie，SJ，稀疏逆协方差估计的类牛顿方法，高级神经网络信息过程。系统。，25, 1-9 (2012)
[27] Ostrovskii，D.M.，Bach，F.：使用自一致性对M估计量进行有限样本分析。arXiv:1810.06838v1（2018）·Zbl 1490.62068号
[28] 北卡罗来纳州帕里赫。；Boyd，S.，《近似算法》，Found。最佳趋势。，1, 3, 123-231 (2013)
[29] Rockafellar，RT，凸分析（1970），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 0193.18401号
[30] 夏皮罗，A。；Dentcheva，D。；Ruszczynski，A.，《随机规划讲座：建模与理论》（2009），大学城：SIAM，大学城·兹比尔1183.90005
[31] Sun，T。；Tran-Din，Q.，《广义自相关函数：牛顿型方法的配方》，数学。程序。，178, 145-213 (2018) ·Zbl 1430.90464号
[32] Toh，K.-C.，Todd，M.J.，TüTüncü，R.H.：关于SDPT3-半定二次线性编程的Matlab软件包的实现和使用。新加坡国立大学技术报告4（2010年）·Zbl 1334.90117号
[33] Tran-Din，Q。；Kyrillidis，A。；Cevher，V.，复合自相关最小化，J.Mach。学习。Res.，15，374-416（2015）·Zbl 1337.68231号
[34] Tran-Din，Q。；内科瓦拉，I。；萨沃格南，C。；Diehl，M.，大规模可分离凸优化中拉格朗日分解的不精确扰动路径允许方法，SIAM J.Optim。，23, 1, 95-125 (2013) ·Zbl 1284.90049号
[35] 陈丁，Q。；Sun，T。；Lu，S.，《自协调包含：路径允许广义Newton型算法的统一框架》，数学。程序。，177, 1-2, 173-223 (2019) ·Zbl 1423.90188号
[36] 张，RY；Fattahi，S。；Sojoudi，S.，学习大型稀疏图形模型的线性时间算法，IEEE Access，712658-12672（2019）
[37] Zhang，Y.，Lin，X.：DiSCO：自相关经验损失的分布式优化。摘自：第32届国际机器学习会议记录，第362-370页（2015）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。