×
桑塔努·戴伊。;马可·莫里纳罗;王冠毅

在全局支持下求解稀疏主成分分析。 （英语） Zbl 1518.90103号

数学。程序。 199，编号1-2（A），421-459（2023）.
摘要：具有全局支持的稀疏主成分分析（SPCAgs）是一个寻找顶级领先主成分的问题，以便所有这些主成分都是至多（k）个变量的公共子集的线性组合。SPCAgs是统计学中一种流行的降维工具，与常规主成分分析（PCA）相比，它增强了可解释性。文献中求解SPCAg的方法要么是在限制统计模型下有保证的贪婪启发式算法（在特殊情况下为（r=1）），要么是对于某些正则化SPCAg重新构造具有稳定点收敛性的算法。关键的是，现有的计算方法都不能有效地保证通过与对偶界进行比较而获得的解的质量。在这项工作中，我们首先提出了一种基于算子范数的凸松弛，该算子范数可证明地逼近了某些常数（c1，c2）的（c1+c2\sqrt{\logr}=O（\sqrt{\ logr}）因子内SPCAg的可行区域。为了证明这一结果，我们使用了一种新的随机稀疏过程，该过程使用Pietsch-Grothendieck因式分解定理并且可能具有独立利益。我们还提出了一种更简单的松弛方法，它是二阶锥可表示的，并给出了可行域的（（2）sqrt{r}）-近似。然后，利用这些松弛，我们提出了一个凸整数规划，该规划为SPCAg的最优值提供了一个对偶界。此外，它还具有最坏情况下的保证：它在原始最佳值的乘法/加法因子范围内，乘法因子为\（O（\log r）\）或\（O）（r）\，取决于使用的松弛度。最后，我们进行了计算实验，结果表明，我们的凸整数程序在合理的时间内提供了良好的上界，通常明显优于自然基线。

引用于1文件

MSC公司：

90立方 非线性规划
90立方厘米 混合整数编程
62H25个 因子分析和主成分；对应分析

关键词：

行稀疏PCA;矩阵稀疏化;凸面船体
PDF格式BibTeX公司 XML格式引用
\textit｛S.S.Dey｝等人，数学。程序。199，编号1--2（A），421--459（2023；Zbl 1518.90103）
全文： 内政部 arXiv公司

参考文献：

[1] 阿利扎德，AA；艾森，MB；戴维斯，RE；马，C。；Lossos，IS；罗森瓦尔德，A。；博尔德里克，JC；萨贝特，H。；Tran，T。；Yu，X.，通过基因表达谱确定的弥漫性大b细胞淋巴瘤的不同类型，《自然》，4036769503（2000）·doi:10.1038/35000501
[2] 阿龙，美国。；北巴尔凯。；诺特曼，DA；Gish，K。；伊巴拉，S。；麦克，D。；Levine，AJ，通过寡核苷酸阵列探测肿瘤和正常结肠组织的聚类分析揭示的广泛基因表达模式，Proc。国家科学院。，96, 12, 6745-6750 (1999) ·doi:10.1073/pnas.96.12.6745
[3] Asteris，M.，Papailiopoulos，D.，Kyrillidis，A.，Dimakis，A.G.：通过二元匹配的稀疏PCA。摘自：《神经信息处理系统进展》，第766-774页（2015年）
[4] Asteris，M.，Papailiopoulos，D.S.，Karystinos，G.N.：秩亏矩阵的稀疏主成分。摘自：2011年IEEE信息理论会议论文集国际研讨会，第673-677页。IEEE（2011）·Zbl 1360.94059号
[5] Attouch，H。；博尔特，J。；Redont，P。；Soubeyran，A.，非凸问题的近似交替最小化和投影方法：基于kurdyka-łojasiewicz不等式的方法，数学。操作。研究，35，2，438-457（2010）·Zbl 1214.65036号 ·doi:10.1287/门.1100.0449
[6] Berthet，Q.，Rigollet，P.：稀疏主成分分析的计算下限。arXiv:1304.0828（2013）·Zbl 1277.62155号
[7] 波尔特，J。；萨巴赫，S。；Teboulle，M.，非凸和非光滑问题的近似交替线性化最小化，数学。程序。，146, 1-2, 459-494 (2014) ·Zbl 1297.90125号 ·doi:10.1007/s10107-013-0701-9
[8] Boutsidis，C.，Drineas，P.，Magdon-Ismail，M.：类PCA线性回归的稀疏特征。摘自：《神经信息处理系统进展》，第2285-2293页（2011年）
[9] 汉堡，PR；Paillasseur，J。；Caillaud，D。；蒂利·勒布隆德，I。；Chanez等人。；埃斯卡米拉，R。；佩雷斯，T。；Carré，P。；Roche，N.，《临床COPD表型：使用主成分和聚类分析的新方法》，《欧洲呼吸杂志》，36，3，531-539（2010）·doi:10.1183/09031936.00175109
[10] 蔡，T。；马，Z。；Wu，Y.，稀疏峰值协方差矩阵的最优估计和秩检测，概率论及相关领域，161，3-4，781-815（2015）·Zbl 1314.62130号 ·doi:10.1007/s00440-014-0562-z
[11] 蔡，TT；马，Z。；Wu，Y.，《稀疏主成分分析：最优速率和自适应估计》，《Ann.Stat.》，41，6，3074-3110（2013）·Zbl 1288.62099号 ·doi:10.1214/13-AOS1178
[12] Chan，S.O.，Papailliopoulos，D.，Rubinstein，A.：关于稀疏PCA的近似性。摘自：学习理论会议，第623-646页（2016年）
[13] Chen，S.，Ma，S.、Xue，L.、Zou，H.：稀疏PCA和稀疏CCA的交替流形近端梯度方法。arXiv:1903.11576（2019）
[14] d'Aspremont，A。；巴赫，F。；El Ghaoui，L.，稀疏主成分分析的近似界，数学。程序。，148, 1-2, 89-110 (2014) ·Zbl 1303.90079号 ·doi:10.1007/s10107-014-0751-7
[15] d'Aspremont，A。；巴赫，F。；Ghaoui，LE，稀疏主成分分析的最优解，J.马赫。学习。1269-1294年7月9日决议（2008年）·Zbl 1225.68170号
[16] d'Aspremont，A.，Ghaoui，L.E.，Jordan，M.I.，Lanckriet，G.R.：使用半定规划的稀疏PCA直接公式。摘自：《神经信息处理系统的进展》，第41-48页（2005年）
[17] Del Pia，A.：固定秩矩阵上的稀疏PCA。http://www.optimization-online.org/DB_HTML/2019/07/7307.HTML (2019) ·Zbl 1512.90157号
[18] Deshpande，Y。；Montanari，A.，《通过协方差阈值进行稀疏主成分分析》，J.Mach。学习。决议，17，1，4913-4953（2016）·兹比尔1392.62172
[19] Dey，S.S.，Mazumder，R.，Wang，G.：最优稀疏pca的凸整数规划方法。arXiv:1810.09062（2018）
[20] Erichson，N.B.、Zheng，P.、Manohar，K.、Brunton，S.L.、Kutz，J.N.、Aravkin，A.Y.：通过变量投影进行稀疏主成分分析。arXiv:1804.00341（2018）·Zbl 1440.62231号
[21] Gallivan，K.A.，Absil，P.：关于stiefel流形凸壳的注记。技术说明（2010）
[22] Gu，Q.，Wang，Z.，Liu，H.：具有oracle属性的稀疏PCA。摘自：《神经信息处理系统的进展》，第1529-1537页（2014年）
[23] Hiriart-Urruti，J.B.，Lemaréchal，C.：凸分析基础。施普林格科技与商业媒体（2012）·Zbl 0998.49001号
[24] Johnstone，I.M.，Lu，A.Y.：稀疏主成分分析。arXiv:0901.4392（2009）
[25] IT部Jolliffe；Cadima，J.，《主成分分析：综述和最新发展》，《皇家学会哲学学报a：数学、物理和工程科学》，374206520150202（2016）·Zbl 1353.62067号 ·doi:10.1098/rsta.2015.0202
[26] IT部Jolliffe；Trendafilov，NT；Uddin，M.，基于LASSO，J.Compute的改进主成分技术。图表。《统计》，第12、3、531-547页（2003年）·doi:10.1198/1061860032148
[27] Journée，M。；内斯特罗夫，Y。；里奇塔里克，P。；Sepulchre，R.，稀疏主成分分析的广义功率法，J.Mach。学习。决议，517-553年2月11日（2010年）·Zbl 1242.62048号
[28] Kannan，R。；Vempala，S.，《数值线性代数中的随机算法》，《数值学报》，26，95（2017）·Zbl 1378.65084号 ·doi:10.1017/S0962492917000058
[29] Kim，J.，Tawarmalani，M.，Richard，J.P.P.：置换不变集的对流化及其应用。arXiv:1910.02573（2019）
[30] Krauthgamer，R。；纳德勒，B。；Vilenchik，D.，半定松弛能解决信息极限下的稀疏PCA吗？，Ann.Stat.，43，3，1300-1322（2015）·Zbl 1320.62138号 ·doi:10.1214/15-AOS1310
[31] Lei，J。；Vu，VQ，稀疏主成分分析中的稀疏性和不可知论推理，《Ann.Stat.》，43，1，299-322（2015）·Zbl 1308.62125号 ·doi:10.1214/14-AOS1273
[32] 马，S.，稀疏主成分分析乘数的交替方向法，J.Oper。中国研究社会，1,2,253-274（2013）·Zbl 1336.62160号 ·doi:10.1007/s40305-013-0016-9
[33] Ma，T.，Wigderson，A.：稀疏pca的平方和下限。摘自：《神经信息处理系统进展》，第1612-1620页（2015年）
[34] Mackey，L.W.：稀疏PCA的通缩方法。摘自：《神经信息处理系统的进展》，第1017-1024页（2009年）
[35] Magdon-Ismail，M.，稀疏PCA的NP-hardeness和不可接近性，Inf.过程。莱特。，126, 35-38 (2017) ·Zbl 1407.68406号 ·doi:10.1016/j.ipl.2017.05.008
[36] Mitzenmacher，M.，Upfal，E.：概率和计算：算法和数据分析中的随机化和概率技术。剑桥大学出版社（2017）·Zbl 1368.60002号
[37] Papailiopoulos，D.，Dimakis，A.，Korokithatakis，S.：通过低阶近似的稀疏主成分分析。摘自：机器学习国际会议，第747-755页（2013）
[38] Pietsch，A.：算子理想，第16卷。Deutscher Verlag der Wissenschaften（1978年）·Zbl 0399.47039号
[39] PROBEL，C.J.，TROPP，J.A.：2011年8月2日第2011-02号技术报告（2011年）
[40] Sigg，C.D.，Buhmann，J.M.：稀疏和非负PCA的期望最大化。摘自：第25届机器学习国际会议记录，第960-967页。ACM（2008）
[41] Steinberg，D.：矩阵范数计算及其在稳健优化中的应用。以色列理工大学2（2005）的研究论文
[42] Tropp，J.A.：列子集选择、矩阵分解和特征值优化。载：第二十届ACM-SIAM离散算法年度研讨会论文集，第978-986页。SIAM（2009）·Zbl 1425.65061号
[43] Tropp，JA，随机矩阵和的用户友好尾界，找到。计算。数学。，12, 4, 389-434 (2012) ·Zbl 1259.60008号 ·doi:10.1007/s10208-011-9099-z
[44] Vu，V.，Lei，J.：高维稀疏PCA的最小最大估计率。摘自：《人工智能与统计》，第1278-1286页（2012年）
[45] Vu，V.Q.，Cho，J.，Lei，J.和Rohe，K.：范托普投影和选择：稀疏PCA的近最优凸松弛。摘自：神经信息处理系统的进展，第2670-2678页（2013年）
[46] Wang，G.，Dey，S.：无模型行解析主成分分析的上限。摘自：机器学习国际会议记录（2020年）
[47] Wang，Z.，Lu，H.，Liu，H.：松弛后拧紧：多项式时间内的最小最优稀疏PCA。摘自：《神经信息处理系统的进展》，第3383-3391页（2014年）
[48] 洛杉矶沃尔西；Nemhauser，GL，整数和组合优化（1999），纽约：威利·Zbl 0944.90001号
[49] 肯塔基州杨；Ruzzo，WL，聚类基因表达数据的主成分分析，生物信息学，17，9，763-774（2001）·doi:10.1093/bioinformatics/17.9.763
[50] 李永春，W.X.：稀疏PCA的精确和近似算法。http://www.optimization-online.org/DB_HTML/2020/05/7802.HTML (2020)
[51] 元，XT；Zhang，T.，稀疏特征值问题的截断幂方法，J.Mach。学习。决议，899-925年4月14日（2013年）·Zbl 1320.62141号
[52] Zhang，Y.，d'Aspremont，A.，El Ghaoui，L.：稀疏主元分析：凸松弛、算法和应用。见：《半定、圆锥和多项式优化手册》，第915-940页。施普林格（2012）·Zbl 1334.90120号
[53] 邹，H。；哈斯蒂，T。；Tibshirani，R.，稀疏主成分分析，J.Compute。图表。统计，15，2，265-286（2006）·doi:10.1198/106186006X113430
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。