×
元，钟浩;肯尼思·兰格;杰森·徐

凸和非凸球投影问题的统一分析。 （英语） Zbl 1519.90234号

最佳方案。莱特。 17，第5期，1133-1159（2023）.
摘要：投影到\（\ell_p\）范数球上的任务在统计学和机器学习中无处不在，但可操作算法的可用性在很大程度上仅限于\（p\in\｛0，1，2，\infty\｝\）的特殊情况。在本文中，我们介绍了一种新颖的、可伸缩的方法，用于将投影投影到一般（p>0）的（ell_p）-ball上。对于（p\geq 1），我们通过对偶牛顿法求解一元拉格朗日对偶。然后，我们为（p<1）仔细设计了一个二分法，给出了非凸情况下零或小对偶间隙的理论和经验证据。我们的贡献得到了彻底的经验评估，并应用于大规模正则化多任务学习和压缩感知。实现我们方法的代码在Github上是公开的。

MSC公司：

90立方 非线性规划
90C06型 数学规划中的大尺度问题

关键词：

\（\ell_p\）-标准球;大规模优化;邻近算子;多任务学习;压缩感知;投影梯度

软件：

github;SLEP公司
PDF格式BibTeX公司 XML格式引用
\textit{J.-H.Won}等人，Optim。莱特。17，编号5，1133--1159（2023；Zbl 1519.90234）
全文： 内政部 arXiv公司

参考文献：

[1] Argyriou，A。；Evgeniou，T。；Pontil，M.，Convex多任务特征学习，马赫。学习。，73, 3, 243-272 (2008) ·Zbl 1470.68073号 ·doi:10.1007/s10994-007-5040-8
[2] Bahmani，S。；Raj，B.，（ell_p）约束最小二乘法投影梯度下降的统一分析，应用。计算。哈蒙。分析。，34, 3, 366-378 (2013) ·Zbl 1268.65054号 ·doi:10.1016/j.acha.2012.07.004
[3] Barbero，A。；Sra，S.，多维全变量正则化的模块化近似优化，J.Mach。学习。决议，19，1，2232-2313（2018）·Zbl 1411.90314号
[4] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.Imag。科学。，2, 1, 183-202 (2009) ·兹比尔1175.94009 ·doi:10.1137/080716542
[5] Bertsekas，D.，非线性规划（1999），马萨诸塞州，美国：Athena Scientific，Belmont，Mass.，USA·Zbl 1015.90077号
[6] Bertsekas，DP，简单约束优化问题的投影牛顿法，SIAM J.控制优化。，20, 2, 221-246 (1982) ·Zbl 0507.49018号 ·doi:10.1137/0320018
[7] Blumensath，T。；Davies，ME，压缩感知的迭代硬阈值，应用。计算。哈蒙。分析。，27, 3, 265-274 (2009) ·Zbl 1174.94008号 ·doi:10.1016/j.acha.2009.04.002
[8] 博伊德，SP；Vandenberghe，L.，凸优化（2004），英国剑桥：剑桥大学出版社，英国剑桥·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441
[9] 坎迪斯，EJ；Tao，T.，线性规划解码，IEEE Tran。通知。理论，51，12，4203-4215（2005）·Zbl 1264.94121号 ·doi:10.1109/TIT.2005.858979
[10] Chartrand，R。；Staneva，V.，《受限等距特性和非凸压缩传感》，逆概率。，24, 3 (2008) ·Zbl 1143.94004号 ·doi:10.1088/0266-5611/24/3/035020
[11] Chartrand，R.，Yin，W.：非凸稀疏正则化和分裂算法。摘自：《通信、成像、科学和工程中的分裂方法》，第237-249页。斯普林格（2016）·Zbl 1372.65167号
[12] Chen，L。；蒋，X。；刘，X。；Kirubarajan，T。；Zhou，Z.，基于结构化正则化低阶表示的Outlier-robust运动对象和背景分解，IEEE Trans。新兴主题计算。智力。，5, 620-638 (2021) ·doi:10.1109/TETCI.2019.2935747
[13] 陈，X。；牛，L。；Yuan，Y.，非线性优化的最优性条件和光滑信赖域牛顿法，SIAM J.Optim。，23, 3, 1528-1552 (2013) ·Zbl 1291.90238号 ·doi:10.137/120871390
[14] Condat，L.，单纯形和（ell_1）球的快速投影，数学。程序。，158, 1-2, 575-585 (2016) ·Zbl 1347.49050号 ·doi:10.1007/s10107-015-0946-6
[15] Das Gupta，M.，Kumar，S.：鲁棒稀疏性的非凸p范数投影。在：过程。IEEE Int.Conf.Computer Vision，第1593-1600页（2013年）
[16] Donoho，DL，压缩传感，IEEE Tran。通知。理论，52，4，1289-1306（2006）·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582
[17] Duchi，J.，Shalev-Shwartz，S.，Singer，Y.，Chandra，T.：高维学习中对（ell_1）球的有效投影。在：过程。第25届国际会议马赫数。学习。，第272-279页。ACM（2008）
[18] Fu，WJ，《惩罚回归：桥梁与套索》，J.Compute。图表。《统计》，第7、3、397-416页（1998年）
[19] 胡，Y。；李，C。；Meng，K。；秦，J。；Yang，X.，通过（ell_{p，q}）正则化进行群稀疏优化，J.Mach。学习。第18号、第1号、第960-1011号决议（2017年）·Zbl 1433.90202
[20] Lange，K.，MM Optimization Algorithms（2016），宾夕法尼亚州费城，美国：SIAM，宾夕法尼亚州，美国·Zbl 1357.90002号 ·doi:10.1137/1.9781611974409
[21] Liu，H.，Palatucci，M.，Zhang，J.：多任务套索的分块坐标下降程序，及其在神经语义基础发现中的应用。在：过程。第26届国际会议机。学习。，第649-656页。ACM（2009）
[22] Liu，J.，Ji，S.，Ye，J.：SLEP：稀疏学习与有效投射。亚利桑那州立大学技术代表（2011年）。https://github.com/jiayuzhou/SLEP
[23] Liu，J.，Ye，J.：有效范数正则化。arXiv:1009.4766（2010）
[24] Lu，Z.，正则化无约束非线性规划的迭代重加权极小化方法，数学。程序。，1471277-307（2014）·Zbl 1308.90170号 ·doi:10.1007/s10107-013-0722-4
[25] 马亚诺维奇，G。；Solo，V.，《On（\ell_q）optimization and matrix completion》，IEEE Trans。信号处理。，60, 11, 5714-5724 (2012) ·兹比尔1393.94353 ·doi:10.1109/TSP.2012.212015
[26] Meier，L。；Van De Geer，S。；Bühlmann，P.，logistic回归的组套索，J.R.Stat.Soc.Ser。B.统计方法。，70, 1, 53-71 (2008) ·兹比尔1400.62276 ·文件编号：10.1111/j.1467-9868.2007.00627.x
[27] Oymak，S。；Recht，B。；Soltanolkotabi，M.，线性反问题的夏普时间数据权衡，IEEE Tran。通知。理论，64，6，4129-4158（2017）·Zbl 1395.90205号 ·doi:10.1109/TIT.2017.2773497
[28] Quattoni，A.，Carreras，X.，Collins，M.，Darrell，T.：正则化的有效投影。在：过程。第26届国际会议机。学习。，第857-864页。ACM（2009）
[29] 萨塔尔，Y。；Oymak，S.，《通过投影梯度下降快速找到高维最佳线性模型》，IEEE Trans。信号处理，68，818-829（2020）·Zbl 07590792号 ·doi:10.1109/TSP.2020.2964216
[30] Sra，S.，《快速投影到混合形状球上的应用》，Data Min.Knowl。发现。，25, 2, 358-377 (2012) ·Zbl 1260.90162号 ·doi:10.1007/s10618-012-0277-7
[31] Tibshirani，R。；温赖特，M。；Hastie，T.，《稀疏性下的统计学习：拉索和泛化》（2015），《博卡拉顿：查普曼和霍尔/CRC》，博卡拉顿·兹比尔1319.68003
[32] Vogt，J.E.，Roth，V.：（ell_{1，p}）群定律的完整分析。在：过程。第29届国际会议。学习。，第1091-1098页。《Omnipress》（2012）
[33] 王，M。；徐，W。；Tang，A.，关于通过（\ell_p\）-最小化（（0\le p\le 1）实现稀疏恢复的性能，IEEE Tran。通知。理论，57，11，7255-7278（2011）·Zbl 1365.65177号 ·doi:10.1109/TIT.2011.2159959
[34] 徐，Z。；Chang，X。；徐，F。；Zhang，H\({左}_{1/2}正则化：阈值表示理论和快速求解器，IEEE Trans。神经网络。学习。系统。，23, 7, 1013-1027 (2012) ·doi:10.1109/TNNLS.2012.2197412
[35] 杨，X.，王，J.，王，H.：非凸球投影的有效方法：算法和分析。arXiv:2101.01350（2021）
[36] 袁，M。；Lin，Y.，《分组变量回归中的模型选择和估计》，J.R.Stat.Soc.Ser。B.统计方法。，68, 1, 49-67 (2006) ·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x
[37] Yukawa，M.，Amari，S.i.：（\ell_p\）-正则最小二乘法（（0<p<1））和临界路径。IEEE传输。通知。理论62（1），488-502（2016）·Zbl 1359.94207号
[38] Zhang，Y.，Yeung，D.Y.，Xu，Q.：概率多任务特征选择。In：高级神经信息处理。系统。，第2559-2567页（2010年）
[39] Zhou，Z.，Zhang，Q.，So，A.M.C.：（ell_{1，p}）-范数正则化：一阶方法的误差界和收敛速度分析。在：过程。第32届国际会议。学习。，第37卷，第1501-1510页（2015）
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。