×
威廉·W·黑格。;Phan，Dzung T。;朱家杰

非凸极小化投影算法及其在稀疏主成分分析中的应用。 （英语） Zbl 1353.90118号

J.全球。最佳方案。 65，第4期，657-676（2016）.
摘要：我们考虑非凸集上的凹极小化问题。这种结构的优化问题出现在稀疏主成分分析中。我们分析了梯度投影算法和近似牛顿算法，其中海森近似是恒等式的倍数。建立了收敛结果。在稀疏主成分分析的数值实验中，可以看到梯度投影算法的性能与截断幂法和广义幂法的性能非常相似。在某些情况下，具有Barzilai-Borwein-Hessian近似和非单调线搜索的近似牛顿算法可以比其他算法快得多，并且可以收敛到更好的解。

引用于6文件

MSC公司：

90立方厘米26 非凸规划，全局优化
90元53 拟Newton型方法

关键词：

稀疏主成分分析;梯度投影;非凸极小化;近似牛顿;Barzilai-Borwein方法

软件：

SPGL1型;PDCO公司;WebGraph（网络图表）
PDF格式BibTeX公司 XML格式引用
\textit{W.W.Hager}等人，J.Glob。最佳方案。65，第4号，657--676（2016；Zbl 1353.90118）
全文： 内政部 arXiv公司

参考文献：

[1] Alizadeh，A.A.等人：通过基因表达谱确定的不同类型的弥漫性大b细胞淋巴瘤。《自然》403503-511（2000）·doi:10.1038/35000501
[2] Barzilai，J.，Borwein，J.M.：两点步长梯度法。IMA J.数字。分析。8, 141-148 (1988) ·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141
[3] Beck，A.，Teboulle，M.：凸优化的镜像下降和非线性投影次梯度方法。操作。Res.Lett公司。31, 167-175 (2003) ·Zbl 1046.90057号 ·doi:10.1016/S0167-6377（02）00231-6
[4] Bertsekas，D.P.：具有简单约束的优化问题的投影牛顿方法。SIAM J.控制优化。20, 221-246 (1982) ·Zbl 0507.49018号 ·doi:10.1137/0320018
[5] Bhaskara，A.，Charikar，M.，Chlamtac，E.，Feige，U.，Vijayaraghavan，A.：检测高对数密度：最稠密k-子图的一个\[o（n 1/4）\]o（n1/4）近似。摘自：第四十二届ACM计算理论研讨会论文集，ACM，第201-210页（2010）·Zbl 1293.05200号
[6] Boldi，P.、Rosa，M.、Santini，M.和Vigna，S.：分层标签传播：压缩社交网络的多分辨率无坐标排序。摘自：《第20届万维网国际会议论文集》，ACM出版社（2011年）
[7] Boldi，P.，Vigna，S.：WebGraph框架I：压缩技术。摘自：《第十三届国际万维网会议论文集》（WWW 2004），美国曼哈顿，ACM出版社，第595-601页（2004）·Zbl 1165.90570号
[8] Cadima，J.，Jolliffe，I.T.：主要成分解释中的负载和相关性。J.应用。Stat.22，203-214（1995）·数字对象标识代码：10.1080/757584614
[9] Candes，E.，Wakin，M.：压缩取样简介。IEEE信号处理。Mag.25，21-30（2008）·doi:10.10109/MSP.2007.914731
[10] Chen，S.S.，Donoho，D.L.，Saunders，M.A.：通过基追踪进行原子分解。SIAM J.科学。计算。20, 33-61 (1998) ·Zbl 0919.94002号 ·doi:10.1137/S1064827596304010
[11] 克拉克森，K.L.：核心集、稀疏贪婪近似和弗兰克·沃尔夫算法。ACM事务处理。算法（TALG）6，63（2010）·Zbl 1300.90026号
[12] d'Aspremont，A.，Bach，F.，Ghaoui，L.E.：稀疏主成分分析的最佳解决方案。J.马赫。学习。第9号决议，1269-1294（2008）·Zbl 1225.68170号
[13] Donoho，D.L.：压缩传感。IEEE传输。通知。理论52，1289-1306（2006）·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582
[14] Efron，B.，Hastie，T.，Johnstone，I.，Tibshirani，R.：最小角度回归。Ann.Stat.32，407-499（2004）·Zbl 1091.62054号 ·doi:10.1214/009053604000000067
[15] Frank，M.，Wolfe，P.：二次规划的算法。导航。Res.Logist公司。问395-110（1956）·doi:10.1002/nav.3800030109
[16] Grippo，L.，Lampariello，F.，Lucidi，S.：牛顿方法的非单调线搜索技术。SIAM J.数字。分析。23, 707-716 (1986) ·Zbl 0616.65067号 ·doi:10.1137/0723046
[17] Hager，W.W.，Zhang，H.：箱约束优化的一种新的活动集算法。SIAM J.Optim公司。17, 526-557 (2006) ·Zbl 1165.90570号 ·doi:10.1137/050635225
[18] Hazan，E.，Kale，S.：无投影在线学习，In:Langford，J.，Pineau，J.（编辑）《第29届机器学习国际会议论文集》，Omnipress，第521-528页（2012）·兹比尔0507.49018
[19] Jaggi，M.：重温Frank-Wolfe：无投影稀疏凸优化。收录于：Dasgupta，S.，McAllester，D.（编辑）《第三十届机器学习国际会议论文集》，第28卷，第427-435页（2013）·Zbl 1193.49033号
[20] Jeffers，J.：主成分应用的两个案例研究。申请。《法律总汇》第16卷第225-236页（1967年）·doi:10.2307/2985919
[21] Jenatton，R.、Obozinski，G.、Bach，F.：结构化稀疏主成分分析。参加：国际人工智能与统计会议（AISTATS）（2010年）
[22] Jolliffe，I.T.，Trendafilov，N.T.，Uddin，M.：基于LASSO的改进主成分技术。J.计算。图表。《统计》第12卷，第531-547页（2003年）·doi:10.1198/1061860032148
[23] Journée，M.，Nesterov，Y.，Richtárik，P.，Sepulchre，R.：稀疏主成分分析的广义幂法。J.马赫。学习。第11号决议，517-553（2010年）·Zbl 1242.62048号
[24] Khuller，S.，Saha，B.：关于寻找稠密子图，In:Albers，S.、Marchetti-Paccamela，A.、Matias，Y.、Nikoletseas，S..、Thomas，W.（编辑）Automata，Languages and Programming，第597-608页。施普林格，纽约（2009）·Zbl 1248.68560号
[25] Lacoste-Julien，S.、Jaggi，M.、Schmidt，M.和Pletscher，P.：结构SVM的块协调Frank-Wolfe优化。收录于：Dasgupta，S.，McAllester，D.（编辑）《第三十届机器学习国际会议论文集》，第28卷，第53-61页（2013）
[26] Luss，R.，Teboulle，M.：通过拉格朗日对偶对稀疏PCA的凸逼近。操作。Res.Lett公司。39, 57-61 (2011) ·Zbl 1207.90082号 ·doi:10.1016/j.orl.2010.11.005
[27] Luss，R.，Teboulle，M.：具有稀疏约束的秩一矩阵近似的条件梯度算法。SIAM版本55，65-98（2013）·Zbl 1263.90094号 ·数字对象标识代码：10.1137/10839072
[28] Ramaswamy，S.、Tamayo，P.、Rifkin，R.、Mukherjee，S.，Yeang，C.-H.、Angelo，M.、Ladd，C.、Reich，M.，Latulippe，E.、Mesirov，J.P.等人：利用肿瘤基因表达特征进行多类癌症诊断。程序。国家。阿卡德。科学。美国9815149-15154（2001）·doi:10.1073/pnas.211566398
[29] Rockafellar，R.T.：凸分析。普林斯顿大学出版社，普林斯顿（1970）·Zbl 0193.18401号 ·doi:10.1515/9781400873173
[30] Sriperumbudur，B.K.，Torres，D.A.，Lanckriet，G.R.：稀疏广义特征值问题的优化最小化方法。机器。学习。85, 3-39 (2011) ·Zbl 1237.65060号 ·doi:10.1007/s10994-010-5226-3
[31] 武田，A.，尼兰詹，M.，Gotoh，J.-Y.，Kawahara，Y.：同时追求指数跟踪投资组合中的样本外表现和稀疏性。计算。管理。科学。10, 21-49 (2013) ·Zbl 1296.91257号 ·doi:10.1007/s10287-012-0158-y
[32] van den Berg，E.，Friedlander，M.P.：探索帕累托边界的基础追踪解决方案。SIAM J.科学。计算。31, 890-912 (2009) ·兹比尔1193.49033 ·doi:10.1137/080714488
[33] Wright，S.J.、Nowak，R.D.、Figueiredo，M.A.T.：通过可分离近似进行稀疏重建。IEEE传输。信号处理。57, 2479-2493 (2009) ·Zbl 1391.94442号 ·doi:10.1109/TSP.2009.2016892
[34] Ye，Y.，Zhang，J.：稠密n/2子图的逼近与最小剖分的补。J.全球。最佳方案。25, 55-73 (2003) ·Zbl 1047.90041号 ·doi:10.1023/A:1021390231133
[35] Yuan，X.-T.，Zhang，T.：稀疏特征值问题的截断幂方法。J.马赫。学习。第14号决议，899-925（2013年）·Zbl 1320.62141号
[36] Zou，H.，Hastie，T.，Tibshirani，R.：稀疏主成分分析。J.计算。图表。统计15，265-286（2006）·doi:10.1198/106186006X113430
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。