×
马世谦

用于稀疏主成分分析的乘法器的交替方向方法。 （英语） Zbl 1336.62160号

J.运营商。Res.Soc.中国 1，第2期，253-274（2013）.
摘要：我们考虑由A.D'Aspremont公司等[SIAM Rev.49，No.3，434–448（2007；邮编1128.90050)]。该凸松弛是一个非光滑半定规划问题，在该问题中，将期望矩阵的（ell_1）范数施加到目标函数或约束中，以改善结果矩阵的稀疏性。稀疏主成分是通过对结果稀疏矩阵进行秩一分解获得的。我们提出了一种基于可变分裂技术和增广拉格朗日框架的交替方向方法来解决这个非光滑半定规划问题。与[loc.cit.]中提出的近似求解原半定规划问题对偶问题的一阶方法相比，我们的方法直接处理原问题并精确求解，从而保证得到的矩阵是稀疏矩阵。该方法具有全局收敛性。文中给出了文本数据和参议院投票数据分类的合成问题和实际应用的数值结果，证明了该方法的有效性。

引用于11文件

MSC公司：

62H25个 因子分析和主要成分；对应分析
90C25型 凸面编程
90C22型 半定规划
62H30型 分类和区分；聚类分析（统计方面）
65千5 数值数学规划方法

关键词：

稀疏PCA;半定规划;交替方向法;增广拉格朗日方法;通货紧缩;投影到单纯形上

引文：

邮编1128.90050

软件：

RecPF公司;SPGL1型
PDF格式BibTeX公司 XML格式引用
\textit{S.Ma}，J.Oper。中国研究社会1，第2号，253--274（2013；Zbl 1336.62160）
全文： 内政部 arXiv公司

参考文献：

[1] Alizadeh，F.：半定规划中的内点方法及其在组合优化中的应用。SIAM J.Optim公司。5, 13–51 (1993) ·Zbl 0833.90087号 ·数字对象标识代码：10.1137/0805002
[2] Boyd，S.、Parikh，N.、Chu，E.、Peleato，B.、Eckstein，J.：通过交替方向乘数法进行分布式优化和统计学习。已找到。趋势马赫数。学习。3, 1–122 (2011) ·Zbl 1229.90122号 ·doi:10.1561/220000016
[3] Boyd，S.，Vandenberghe，L.：凸优化。剑桥大学出版社，剑桥（2004）·Zbl 1058.90049号
[4] Brucker，P.：二次背包问题的$\（\backslash\）mathcal{O}（n）$算法。操作人员。Res.Lett公司。3163-166（1984年）·Zbl 0544.90086号 ·doi:10.1016/0167-6377（84）90010-5
[5] Candès，E.J.，Romberg，J.，Tao，T.：鲁棒不确定性原理：从高度不完整的频率信息中重建精确的信号。IEEE传输。《信息论》52，489–509（2006）·兹比尔1231.94017 ·doi:10.1109/TIT.2005.862083
[6] Combettes，P.L.，Pesquet，J.-C.：非光滑凸变分信号恢复的Douglas-Rachford分裂方法。IEEE J.选择。顶部。信号处理。1, 564–574 (2007) ·doi:10.1109/JSTSP.2007.910264
[7] Combettes，P.L.，Wajs，V.R.：通过近端正向-反向分裂进行信号恢复。SIAM J.多尺度模型。模拟。4, 1168–1200 (2005) ·Zbl 1179.94031号 ·数字对象标识代码：10.1137/050626090
[8] d'Aspremont，A.，Bach，F.，El Ghaoui，L.：稀疏主成分分析的最佳解决方案。J.马赫。学习。第9号决议，1269–1294（2008年）·Zbl 1225.68170号
[9] d'Aspremont，A.，El Ghaoui，L.，Jordan，M.I.，Lanckriet，G.R.G.：使用半定规划的稀疏主成分分析的直接公式。SIAM Rev.49，434–448（2007）·邮编1128.90050 ·doi:10.1137/050645506
[10] Donoho，D.：压缩传感。IEEE传输。《信息论》52，1289–1306（2006）·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582
[11] Douglas，J.，Rachford，H.H.：关于2和3个空间变量中热传导问题的数值解。事务处理。美国数学。Soc.82421-439（1956年）·Zbl 0070.35401号 ·doi:10.1090/S0002-9947-1956-0084194-4
[12] Duchi，J.，Shalev-Shwartz，S.，Singer，Y.，Chandra，T.：高维学习中l1球的有效投影。In:ICML（2008）
[13] Eckstein，J.：单调算子的分裂方法及其在并行优化中的应用。麻省理工学院博士论文（1989年）
[14] Eckstein，J.，Bertsekas，D.P.：关于最大单调算子的Douglas-Rachford分裂方法和近点算法。数学。程序。55, 293–318 (1992) ·Zbl 0765.90073号 ·doi:10.1007/BF01581204
[15] Gabay，D.：乘数法在变分不等式中的应用。In:Fortin，M.，Glowinski，R.（eds.）增广拉格朗日方法：在边值问题求解中的应用。荷兰北部，阿姆斯特丹（1983年）·Zbl 0561.90029号
[16] Glowinski，R.，Le Tallec，P.：非线性力学中的增广拉格朗日和算子分裂方法。费城SIAM（1989年）·Zbl 0698.73001号
[17] Goldfarb，D.，Ma，S.：凸优化的快速多重分裂算法。SIAM J.优化。22, 533–556 (2012) ·兹比尔1254.65075 ·数字对象标识代码：10.1137/090780705
[18] Goldfarb，D.，Ma，S.，Scheinberg，K.：最小化两个凸函数之和的快速交替线性化方法。数学。程序。(2012). doi:10.1007/s10107-012-0530-2·Zbl 1280.65051号
[19] Goldstein，T.，Osher，S.：L1正则化问题的分裂Bregman方法。SIAM J.成像科学。2, 323–343 (2009) ·Zbl 1177.65088号 ·doi:10.1137/080725891
[20] He，B.S.，Liao，L.-Z.，Han，D.，Yang，H.：单调变分不等式的一种新的非精确交替方向方法。数学。程序。92, 103–118 (2002) ·Zbl 1009.90108号 ·doi:10.1007/s101070100280
[21] Journee，M.，Nesterov，Yu。，Richtarik，P.，Sepulchre，R.：稀疏主成分分析的广义幂法。J.马赫。学习。第11、517–553号决议（2010年）·Zbl 1242.62048号
[22] Lions，P.L.，Mercier，B.：两个非线性算子之和的分裂算法。SIAM J.数字。分析。16, 964–979 (1979) ·Zbl 0426.6500号 ·doi:10.1137/0716071
[23] Lu，Z.，Zhang，Y.：稀疏主成分分析的增广拉格朗日方法。数学。程序。135, 149–193 (2012) ·Zbl 1263.90093号 ·doi:10.1007/s10107-011-0452-4
[24] Luss，R.，Teboulle，M.：具有稀疏约束的秩一矩阵近似的条件梯度算法。SIAM版本·Zbl 1263.90094号
[25] Mackey，L.：稀疏PCA的通缩方法。In:神经信息处理系统（NIPS）进展（2008）
[26] Malick，J.，Povh，J.、Rendl，F.、Wiegele，A.：半定规划的正则化方法。SIAM J.Optim公司。20, 336–356 (2009) ·Zbl 1187.90219号 ·doi:10.1137/070704575
[27] Nesterov，Y.E.：一种收敛速度为$\（\反斜杠\）mathcal｛O｝（1/k\^｛2｝）$的无约束凸最小化问题的方法。多克。阿卡德。诺克SSSR 269、543–547（1983）
[28] Nesterov，Y.E.：非光滑函数的平滑最小化。数学。程序。，序列号。A 103127–152（2005年）·Zbl 1079.90102号 ·doi:10.1007/s10107-004-0552-5
[29] Pardalos，P.M.，Kovoor，N.：受上下限约束的单约束二次规划类的算法。数学。程序。46, 321–328 (1990) ·Zbl 0711.90061号 ·doi:10.1007/BF01585748
[30] Peaceman，D.H.，Rachford，H.H.：抛物型椭圆微分方程的数值解。SIAM J.应用。数学。3, 28–41 (1955) ·Zbl 0067.35801 ·数字对象标识代码：10.1137/0103003
[31] Shalev-Shwartz，S.，Singer，Y.：通过多面体上的软投影有效学习标签排名。J.马赫。学习。第7号决议，1567-1599（2006）·Zbl 1222.68302号
[32] Saad，Y.：线性状态反馈中部分极点配置的投影和收缩方法。IEEE传输。自动。控制33、290–297（1998）·Zbl 0641.93031号 ·数字对象标识代码：10.1109/9.406
[33] Scheinberg，K.，Ma，S.，Goldfarb，D.：通过交替线性化方法选择稀疏逆协方差。In:NIPS（2010）
[34] Todd，M.J.：半定优化。Acta Numer公司。10, 515–560 (2001) ·Zbl 1105.65334号 ·doi:10.1017/S0962492901000071
[35] van den Berg，E.，Friedlander，M.P.：探索基础追踪解决方案的帕累托边界。SIAM J.科学。计算。31, 890–912 (2008) ·Zbl 1193.49033号
[36] Wang，Y.，Yang，J.，Yin，W.，Zhang，Y.：全变分图像重建的一种新的交替最小化算法。SIAM J.成像科学。1, 248–272 (2008) ·Zbl 1187.68665号 ·doi:10.1137/080724265
[37] Wen，Z.，Goldfarb，D.，Yin，W.：半定规划的交替方向增广拉格朗日方法。数学。程序。计算。2, 203–230 (2010) ·兹伯利1206.90088 ·doi:10.1007/s12532-010-0017-1
[38] Yang，J.，Zhang，Y.：压缩传感中1个问题的交替方向算法。SIAM J.科学。计算。33250-278（2011年）·Zbl 1256.65060号 ·数字对象标识码：10.1137/09077761
[39] Yuan，X.：稀疏协方差选择的交替方向方法。科学杂志。计算。51, 261–273 (2012) ·Zbl 1255.65031号 ·doi:10.1007/s10915-011-9507-1
[40] Zhang，Y.，d'Aspremont，A.，El Ghaoui，L.：稀疏主元分析：凸松弛、算法和应用。In:Anjos，M.，Lasserre，J.B.（编辑）《半定、锥和多项式优化手册》（2011年）
[41] Zhang，Y.，El Ghaoui，L.：大尺度稀疏主成分分析及其在文本数据中的应用。In:NIPS（2011）
[42] Zou，H.，Hastie，T.，Tibshirani，R.：稀疏主成分分析。J.计算。图表。《统计》第15卷，第265–286页（2006年）·doi:10.1198/106186006X113430
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不声称其完整性或完全匹配。