×
纪尧姆·佩雷斯;阿门，塞巴斯蒂安;卡拉·戈麦斯;米歇尔·巴劳德

在加权\（\ell_1\）球上的高效投影算法。 （英语） Zbl 07505985号

Artif公司。智力。 306，文章ID 103683，14 p.（2022）.
摘要：投影梯度下降在许多优化和机器学习问题中被证明是有效的。加权球在稀疏系统识别和特征选择中已被证明是有效的。本文提出了三种新的有效算法，用于将任意有限长向量投影到加权球上。前两种算法具有线性最坏情况复杂度。第三种方法在实践中具有很强的竞争力，但最坏的情况是二次复杂度。这些新算法是基于投影梯度下降的机器学习方法的有效工具，例如压缩感知、特征选择。我们通过将有效的压缩感知算法应用于加权投影来说明这种有效性。我们使用非常大的向量证明了我们的新算法在基准测试上的效率。例如，在第三代Intel I（7）（3）上，它只需要8毫秒就可以投影大小为（10^7）的矢量。

MSC公司：

68泰克 人工智能

关键词：

优化;基于梯度的方法;变量选择

软件：

SPGL1型
PDF格式BibTeX公司 XML格式引用
\textit{G.Perez}等人，Artif。智力。306，文章ID 103683，14 p.（2022；Zbl 07505985）
全文： 内政部 arXiv公司

参考文献：

[1] 阿贝尔，T。；Helleputte，T。；Van de Peer，Y。；杜邦，P。；Saeys，Y.，《利用集成特征选择方法进行癌症诊断的稳健生物标记识别》，生物信息学，26，3，392-398（2009）
[2] 何，Z。；Yu，W.，生物标志物发现的稳定特征选择，计算机。生物化学。，34, 4, 215-225 (2010) ·Zbl 1403.92068号
[3] Donoho，D.L.，压缩传感，IEEE Trans。《信息论》，52，4，1289-1306（2006）·Zbl 1288.94016号
[4] 赖特，S.J。；诺瓦克，R.D。；Figueiredo，M.A.，可分离近似稀疏重建，IEEE Trans。信号处理。，57, 7, 2479-2493 (2009) ·Zbl 1391.94442号
[5] Figueiredo，文学硕士。；诺瓦克，R.D。；Wright，S.J.，稀疏重建的梯度投影：在压缩传感和其他反问题中的应用，IEEE J.Sel。顶部。信号处理。，1, 4, 586-597 (2007)
[6] Natarajan，B.K.，线性系统的稀疏近似解，SIAM J.Compute。，24, 2, 227-234 (1995) ·Zbl 0827.68054号
[7] Tibshirani，R.，通过套索进行回归收缩和选择，J.R.Stat.Soc.，Ser。B、 Methodol.方法。，267-288 (1996) ·Zbl 0850.62538号
[8] Donoho，D.L。；Elad，M.，通过l1最小化在一般（非正交）字典中实现最优稀疏表示，Proc。国家。阿卡德。科学。，100, 5, 2197-2202 (2003) ·Zbl 1064.94011号
[9] 斯拉瓦基斯，K。；Kopsinis，Y。；Theodoridis，S.，使用投影到加权球上的稀疏系统识别自适应算法，（声学语音和信号处理（ICASSP），2010年IEEE国际会议（2010年），IEEE），3742-3745
[10] Kopsinis，Y。；斯拉瓦基斯，K。；Theodoridis，S.，使用加权球上的投影进行在线稀疏系统识别和信号重建，IEEE Trans。信号处理。，59, 3, 936-952 (2010) ·Zbl 1392.94280号
[11] 博格丹，M。；范登伯格，E。；萨巴蒂，C。；苏·W。；Candès，E.J.，通过凸优化的斜率自适应变量选择，Ann.Appl。统计，9，3，1103（2015）·Zbl 1454.62212号
[12] Davis，D.，投影到有序加权范数球上的o（n log（n））算法，arXiv预印
[13] W.Wang，带和约束的加权（ell_1）-范数正则化的o（nlogn）投影算子，CoRR。
[14] 坎迪斯，E.J。；Wakin，M.B。；Boyd，S.P.，通过重加权最小化增强稀疏性，J.Fourier Ana。申请。，14, 5-6, 877-905 (2008) ·Zbl 1176.94014号
[15] 杜奇，J。；沙列夫·施瓦茨，S。；辛格，Y。；Chandra，T.，《高维学习中对（ell_1）球的有效投影》（第25届机器学习国际会议论文集（2008），ACM），272-279
[16] Michelot，C.，求点在n的规范单纯形上的投影的有限算法，J.Optim。理论应用。，50, 1, 195-200 (1986) ·Zbl 0571.90074号
[17] 范登伯格，E。；Friedlander，M.P.，《探索基础追踪解决方案的帕累托边界》，SIAM J.Sci。计算。，31, 2, 890-912 (2008) ·Zbl 1193.49033号
[18] Kiwiel，K.C.，连续二次背包问题的断点搜索算法，数学。程序。，112, 2, 473-491 (2008) ·兹比尔1190.90121
[19] Condat，L.，单纯形和（ell_1）球的快速投影，数学。程序。，序列号。A、 158，1575-585（2016）·Zbl 1347.49050号
[20] 佩雷斯，G。；巴洛，M。；菲利特，L。；Régin，J.-C.，一种用于投影到单纯形和（ell_1）球上的过滤bucket-clustering方法，数学。程序。（2020年）·Zbl 1455.90129号
[21] 持有，M。；Wolfe，P。；克劳德，H.P.，次梯度优化的验证，数学。程序。，6, 1, 62-88 (1974) ·Zbl 0284.90057号
[22] Trzasko，J。；Manduca，A.，通过同伦l0-最小化实现高欠采样磁共振图像重建，IEEE Trans。医学成像，28，1，106-121（2008）
[23] 科尔曼，T.H。；Leiserson，C.E。；Rivest，R.L。；Stein，C.，《算法导论》，第6卷（2001），麻省理工学院出版社：麻省理学院出版社剑桥·Zbl 1047.68161号
[24] 查特朗，R。；Yin，W.，压缩传感的迭代加权算法，（2008 IEEE声学、语音和信号处理国际会议（2008），IEEE），3869-3872
[25] X.Chen，W.Zhou，重加权极小化算法的收敛性和截断lp极小化的唯一解，香港理工大学应用数学系。
[26] 陈，X。；Zhou，W.，l2-lp最小化的重加权（ell_1）最小化算法的收敛性，计算。最佳方案。申请。，59, 1-2, 47-61 (2014) ·Zbl 1326.90062号
[27] Hanson，M.A.，《关于Kuhn-Tucker条件的充分性》，J.Math。分析。申请。，80, 2, 545-550 (1981) ·Zbl 0463.90080号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。