×
Xu，洋洋;尹沃涛

基于块坐标更新的非凸优化的全局收敛算法。 （英语） Zbl 1378.65126号

科学杂志。计算。 72，第2号，700-734（2017）.
提出了一种求解非凸光滑和非光滑优化问题的块逼近线性（BPL）方法。假设块的循环更新，证明了由BPL方法生成的整个序列收敛到临界点（全局收敛）。给出了它的渐近收敛速度。通过对非负矩阵和张量因式分解问题的数值试验，证明了该方法的有效性。
审核人：纳达·朱拉诺维奇-米利奇奇（贝尔格莱德）

引用于49文件

MSC公司：

65千5 数值数学规划方法
90C26型 非凸规划，全局优化

关键词：

非凸优化;非光滑优化;块坐标下降;Kurdyka-Łojasiewicz不等式;近似线性;全序列收敛;全球收敛;渐近收敛性;数值试验

软件：

GradSamp公司
PDF格式BibTeX公司 XML格式引用
\textit{Y.Xu}和\textit{W.Yin}，科学杂志。计算。72，第2号，700--734（2017；Zbl 1378.65126）
全文： DOI程序 arXiv公司

参考文献：

[1] Aharon，M.、Elad，M.和Bruckstein，A.：K-SVD：为稀疏表示设计过完备字典的算法。IEEE传输。信号处理。54(11), 4311-4322 (2006) ·Zbl 1375.94040号 ·doi:10.1109/TSP.2006.881199
[2] Allen，G.：稀疏高阶主成分分析。摘自：国际人工智能和统计会议，第27-36页。(2012) ·Zbl 0990.68123号
[3] Attouch，H.，Bolt，J.：关于涉及分析特征的非光滑函数的近似算法的收敛性。数学。程序。116(1), 5-16 (2009) ·Zbl 1165.90018号 ·文件编号：10.1007/s10107-007-0133-5
[4] Attouch，H.，Bolt，J.，Redont，P.，Soubeyran，A.：非凸问题的近似交替最小化和投影方法：基于Kurdyka-Lojasiewicz不等式的方法。数学。操作。第35（2）号决议，438-457（2010年）·Zbl 1214.65036号 ·doi:10.1287/门.1100.0449
[5] Attouch，H.，Bolt，J.，Svaiter，B.F.：半代数和驯化问题下降方法的收敛性：近似算法，前向-后向分裂和正则高斯-赛德尔方法。数学。程序。137(1-2), 91-129 (2013) ·Zbl 1260.49048号 ·doi:10.1007/s10107-011-0484-9
[6] Bagirov，A.M.，Jin，L.，Karmitsa，N.，Al-Nuaimat，A.，Sultanova，N.：非凸非光滑优化的子梯度法。J.优化。理论应用。157(2), 416-435 (2013) ·Zbl 1282.90133号 ·doi:10.1007/s10957-012-0167-6
[7] Beck，A.，Teboulle，M.：线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学。2(1), 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[8] Beck，A.，Terameshvili，L.：关于块坐标下降型方法的收敛性。SIAM J.Optim公司。23(4), 2037-2060 (2013) ·Zbl 1297.90113号 ·数字对象标识代码：10.1137/120887679
[9] Bertsekas，D.P.：非线性规划。雅典娜科学，贝尔蒙特（1999）·Zbl 1015.90077号
[10] Blumensath，T.，Davies，M.E.：压缩感知的迭代硬阈值。申请。计算。哈蒙。分析。27(3), 265-274 (2009) ·Zbl 1174.94008号 ·doi:10.1016/j.acha.2009.04.002
[11] Bolt，J.，Danilidis，A.，Lewis，A.：非光滑次分析函数的Lojasiewicz不等式及其在次梯度动力系统中的应用。SIAM J.Optim公司。17(4), 1205-1223 (2007) ·Zbl 1129.26012号 ·doi:10.1137/050644641
[12] Bolt，J.，Danilidis，A.，Ley，O.，Mazet，L.：łojasiewicz不等式的特征：次梯度流，talweg，凸性。事务处理。美国数学。Soc.362（6），3319-3363（2010）·Zbl 1202.26026号 ·doi:10.1090/S0002-9947-09-05048-X
[13] Bolt，J.，Sabach，S.，Teboulle，M.：非凸和非光滑问题的近似交替线性化最小化。数学。146(1), 459-494 (2014) ·Zbl 1297.90125号
[14] Breheny，P.，Huang，J.：非凸惩罚回归的坐标下降算法，及其在生物特征选择中的应用。附录申请。统计5（1），232-253（2011）·Zbl 1220.62095号 ·doi:10.1214/10-AOAS388
[15] Burke，J.V.，Lewis，A.S.，Overton，M.L.：用于非光滑、非凸优化的稳健梯度采样算法。SIAM J.Optim公司。15(3), 751-779 (2005) ·兹比尔1078.65048 ·数字对象标识代码：10.1137/030601296
[16] Chang，K.W.，Hsieh，C.J.，Lin，C.J.:大型l2-损失线性支持向量机的坐标下降法。J.马赫。学习。第9号决议，1369-1398（2008）·Zbl 1225.68157号
[17] Chartrand，R.，Yin，W.：压缩传感的迭代重加权算法。摘自：IEEE声学、语音和信号处理国际会议，2008年。ICASSP 2008，第3869-3872页。IEEE（2008）·Zbl 0827.68054号
[18] Chen，X.：非光滑、非凸最小化的平滑方法。数学。程序。134(1), 71-99 (2012) ·Zbl 1266.90145号 ·doi:10.1007/s10107-012-0569-0
[19] Donoho，D.，Stodden，V.：非负矩阵因式分解何时给出正确的分解。摘自：《神经信息处理系统进展》，第16卷。(2003) ·Zbl 0940.65070号
[20] Fan，J.，Li，R.：通过非冲突惩罚似然及其预言属性进行变量选择。《美国统计协会期刊》96（456），1348-1360（2001）·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[21] Fuduli，A.，Gaudioso，M.，Giallonbardo，G.：通过切割平面和邻近控制最小化非凸非光滑函数。SIAM J.Optim公司。14(3), 743-756 (2004) ·Zbl 1079.90105号 ·doi:10.1137/S1052623402411459
[22] Ghadimi，S.，Lan，G.：非凸非线性随机规划的加速梯度法。数学。程序。156(1), 59-99 (2016) ·Zbl 1335.62121号 ·doi:10.1007/s10107-015-0871-8
[23] Grippo，L.，Sciandone，M.：无约束优化的全局收敛块协调技术。最佳方案。方法软件。10(4), 587-637 (1999) ·Zbl 0940.65070号 ·doi:10.1080/10556789908805730
[24] 希尔德雷思：二次规划程序。海军后勤研究。问题4（1），79-85（1957）·doi:10.1002/nav.3800040113
[25] Ho，N.，Van Dooren，P.，Blondel，V.：非负矩阵分解的下降方法。摘自：《信号、系统和控制中的数值线性代数》，第251-293页。施普林格，荷兰（2011）·Zbl 1251.65049号
[26] Hong，M.、Wang，X.、Razaviyayn，M.，Luo，Z.Q.：块坐标下降方法的迭代复杂性分析。arXiv预印arXiv:1310.6957（2013）·Zbl 1367.49010号
[27] Hoyer，P.：稀疏约束下的非负矩阵分解。J.马赫。学习。第51457-1469号决议（2004年）·Zbl 1222.68218号
[28] Kim，J.，He，Y.，Park，H.：非负矩阵和张量分解的算法：基于块坐标下降框架的统一视图。J.全局优化。58(2), 285-319 (2014) ·Zbl 1321.90129号 ·doi:10.1007/s10898-013-0035-4
[29] Kolda，T.，Bader，B.：张量分解和应用。SIAM版本51（3），455（2009）·Zbl 1173.65029号 ·doi:10.1137/07070111X
[30] Kruger，A.Y.：关于fréchet次微分。数学杂志。科学。116(3), 3325-3358 (2003) ·Zbl 1039.49021号 ·doi:10.1023/A:1023673105317
[31] Kurdyka，K.：关于可在o-极小结构中定义的函数的梯度。《傅里叶年鉴》。48(3), 769-783 (1998) ·Zbl 0934.32009
[32] Lai，M.J.，Xu，Y.，Yin，W.：无约束光滑[\ell_q\]Уq最小化的改进迭代加权最小二乘法。SIAM J.数字。分析。51(2), 927-957 (2013) ·Zbl 1268.49038号 ·数字对象标识代码：10.1137/10840364
[33] Lee，D.，Seung，H.：通过非负矩阵分解学习对象的各个部分。《自然》401（6755），788-791（1999）·兹比尔1369.68285 ·doi:10.1038/44565
[34] Li，G.，Pong，T.K.：Kurdyka-Lojasiewicz不等式的指数演算及其在一阶方法线性收敛中的应用。arXiv预印arXiv:1602.02915（2016）·Zbl 1405.90076号
[35] Ling，Q.，Xu，Y.，Yin，W.，Wen，Z.：分散低秩矩阵完成。摘自：IEEE声学、语音和信号处理国际会议（ICASSP），2012年，第2925-2928页。IEEE（2012）·Zbl 1297.90125号
[36] Łojasiewicz，S.：苏拉盖梅特里（Sur la géométrie semiet sous-analizique）。《傅里叶学院年鉴》（Grenoble）43（5），1575-1595（1993）·Zbl 0803.32002号 ·doi:10.5802/aif.1384
[37] Lu，Z.，Xiao，L.：一类非线性规划的随机块坐标非单调梯度方法。arXiv预印arXiv:1306.5918（2013）·Zbl 1039.49021号
[38] Lu，Z.，Xiao，L.：关于随机区组坐标下降法的复杂性分析。数学。程序。152(1-2), 615-642 (2015) ·Zbl 1321.65100号 ·doi:10.1007/s10107-014-0800-2
[39] 罗志强，曾平：关于凸可微极小化的坐标下降法的收敛性。J.优化。理论应用。72(1), 7-35 (1992) ·Zbl 0795.90069号 ·doi:10.1007/BF00939948
[40] Mairal，J.、Bach，F.、Ponce，J.和Sapiro，G.：稀疏编码的在线词典学习。摘自：《第26届机器学习国际年会论文集》，第689-696页。ACM（2009）·Zbl 1242.62087号
[41] Mohan，K.，Fazel，M.：矩阵秩最小化的迭代重加权算法。J.马赫。学习。第13（1）号决议，3441-3473（2012）·兹比尔1436.65055
[42] Natarajan，B.K.：线性系统的稀疏近似解。SIAM J.计算。24(2), 227-234 (1995) ·Zbl 0827.68054号 ·doi:10.1137/S0097539792240406
[43] Nesterov，Y.：坐标下降法在大规模优化问题上的效率。SIAM J.Optim公司。22(2), 341-362 (2012) ·Zbl 1257.90073号 ·数字对象标识代码：10.1137/100802001
[44] Nesterov，Y.：关于凸优化的介绍性讲座：基础课程，第87卷。施普林格科技与商业媒体，柏林（2013）·兹比尔1086.90045
[45] Nocedal，J.，Wright，S.J.：《数值优化》，《运筹学和金融工程斯普林格系列》，第2版。施普林格，纽约（2006）·Zbl 1104.65059号
[46] O'Donoghue，B.，Candes，E.：加速梯度方案的自适应重启。已找到。计算。数学。15(3), 715-732 (2013) ·Zbl 1320.90061号
[47] Paatero，P.，Tapper，U.：正矩阵因式分解：最佳利用数据值误差估计的非负因子模型。环境计量学5（2），111-126（1994）·doi:10.1002/env.3170050203
[48] Peng，Z.，Wu，T.，Xu，Y.，Yan，M.，Yin，W.：协调友好的结构、算法和应用程序。安。数学。科学。申请。1(1), 57-119 (2016) ·Zbl 1432.65076号
[49] Razaviyayn，M.、Hong，M.，Luo，Z.Q.：非光滑优化的块逐次极小化方法的统一收敛性分析。SIAM J.Optim公司。23(2), 1126-1153 (2013) ·Zbl 1273.90123号 ·doi:10.1137/120891009
[50] Recht，B.，Fazel，M.，Parrilo，P.：通过核范数最小化的线性矩阵方程的保证最小秩解。SIAM版本52（3），471-501（2010）·Zbl 1198.90321号 ·数字对象标识代码：10.1137/070697835
[51] Richtárik，P.，Takáć，M.：最小化复合函数的随机块坐标下降方法的迭代复杂性。数学。程序。144(1), 1-38 (2014) ·Zbl 1301.65051号 ·doi:10.1007/s10107-012-0614-z
[52] Rockafellar，R.，Wets，R.：变分分析，第317卷。柏林施普林格出版社（2009）·Zbl 0888.49001号
[53] Saha，A.，Tewari，A.：关于循环坐标下降法的非同调收敛性。SIAM J.Optim公司。23(1), 576-601 (2013) ·Zbl 1270.90032号 ·数字对象标识代码：10.1137/10840054
[54] Shi，H.J.M.，Tu，S.，Xu，Y.，Yin，W.：坐标下降算法入门。arXiv预印本arXiv:11610.00040（2016）·Zbl 1175.94009号
[55] Tseng，P.：不可微极小化的块坐标下降法的收敛性。J.优化。理论应用。109(3), 475-494 (2001) ·Zbl 1006.65062号 ·doi:10.1023/A:1017501703105
[56] Tseng，P.，Yun，S.：非光滑可分离最小化的坐标梯度下降法。数学。程序。117(1), 387-423 (2009) ·Zbl 1166.90016号 ·doi:10.1007/s10107-007-0170-0
[57] Welling，M.，Weber，M.：正张量因式分解。模式识别。莱特。22(12), 1255-1261 (2001) ·Zbl 0990.68123号 ·doi:10.1016/S0167-8655（01）00070-8
[58] Wen，Z.，Yin，W.，Zhang，Y.：用非线性逐次过松弛算法求解矩阵补全的低阶因式分解模型。数学。程序。计算。4(4), 333-361 (2012) ·Zbl 1271.65083号 ·doi:10.1007/s12532-012-0044-1
[59] Xu，Y.：稀疏非负tucker分解的交替近端梯度法。数学。程序。计算。7(1), 39-70 (2015) ·Zbl 1320.49019号 ·doi:10.1007/s12532-014-0074-y
[60] Xu，Y.，Akrotirianakis，I.，Chakraborty，A.：huberized支持向量机的近似梯度法。模式分析。申请。19(4), 989-1005 (2016) ·Zbl 1425.68358号 ·doi:10.1007/s10044-015-0485-z
[61] Xu，Y.，Yin，W.：正则化多凸优化的块坐标下降方法及其在非负张量分解和补全中的应用。SIAM J.成像科学。6(3), 1758-1789 (2013) ·Zbl 1280.49042号 ·数字对象标识代码：10.1137/120887795
[62] Xu，Y.，Yin，W.：一种快速的全图像修补方法。反向探测。成像10（2），563-583（2016）·兹比尔1395.94071 ·doi:10.3934/ipi.2016012
[63] Zhang，C.H.：极小极大凹惩罚下的几乎无偏变量选择。Ann.Stat.38（2），894-942（2010）·兹比尔1183.62120 ·doi:10.1214/09-AOS729
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。