×
查尔斯·布维伦;皮埃尔·拉图什;Pierre-Alexandre马泰

全局稀疏概率PCA的贝叶斯变量选择。 （英语） Zbl 1412.62077号

电子。J.统计。 12，第2号，3036-3070（2018）.
摘要：稀疏版本的主成分分析（PCA）以一种简单而强大的方式，在无监督的情况下选择高维数据的相关特征。然而，当计算多个稀疏主成分时，解释所选变量可能会比较困难，因为每个轴都有自己的稀疏模式，必须单独解释。为了克服这个缺点，我们提出了一个贝叶斯过程，该过程允许获得具有相同稀疏模式的多个稀疏组件。这允许从业者确定哪些原始变量与描述数据最相关。为此，使用S.T.罗维斯“加载矩阵前PCA和各向同性高斯的概率解释[“PCA和SPCA的EM算法”，摘自：1997年神经信息处理系统进展会议论文集，NIPS’97。加利福尼亚州拉霍亚：索尔克研究所。626–632（1997）]，我们提供了贝叶斯主成分分析模型的边际似然的第一次精确计算。此外，为了避免离散模型选择的缺点，对该框架进行了简单的松弛。它允许使用变分期望最大化算法找到候选模型的路径。依靠Occam剃刀选择相关变量，最终可以在这条路径上最大化精确的边际可能性。由于稀疏模式对所有组件都是通用的，因此我们称这种方法为全局稀疏概率PCA（GSPPCA）。它的有用性在合成数据集和来自信号处理和基因组学的几个真正的无监督特征选择问题上得到了说明。特别是，使用未标记的微阵列数据，GSPPCA可以推断生物相关的基因子集。根据基于路径富集的度量，在这种情况下，它大大超过了传统稀疏PCA算法的性能。GSPPCA算法的R实现可在http://github.com/pamateti/GSPPCA.

引用于4文件

MSC公司：

62H25个 因子分析和主成分；对应分析
62F07型 统计排名和选择程序

关键词：

主要成分;稀疏;无监督学习;变量选择

软件：

对;PRMLT公司;GSPPCA公司;反应omePA;带刺Reg;算法644;PCANet公司;github
PDF格式BibTeX公司 XML格式引用
\textit{C.Bouveyron}等人，《电子》。J.Stat.12，No.2，3036--3070（2018；Zbl 1412.62077）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Abramowitz，M.和Stegun，I.（1965）。，数学函数手册。多佛出版公司·Zbl 0171.38503号
[2] Aminghafari，M.、Cheze，N.和Poggi，J.M.（2006）。基于小波和主成分分析的多变量去噪。，计算统计与数据分析50 2381–2398·Zbl 1445.62065号 ·doi:10.1016/j.csda.2004.12.010
[3] Amos，D.E.（1986年）。算法644：一个用于复参数非负阶贝塞尔函数的便携式软件包。，ACM数学软件交易12 265–273·Zbl 0613.65013号 ·doi:10.1145/7921.214331
[4] Ando，T.（2009年）。具有肥尾因子的贝叶斯因子分析及其精确边际似然。，多元分析杂志100 1717–1726·Zbl 1163.62044号 ·doi:10.1016/j.jmva.2009.02.001
[5] Archambeau，C.和Bach，F.（2009年）。稀疏概率预测。年，《神经信息处理系统进展》73-80。
[6] Benjamini，Y.和Hochberg，Y.（1995年）。控制错误发现率：一种实用而有效的多重测试方法。，英国皇家统计学会杂志。B系列（方法学）57 289–300·Zbl 0809.62014号 ·doi:10.1111/j.2517-6161.1995.tb02031.x
[7] Biernacki，C.、Celeux，G.和Govaert，G.（2003年）。为EM算法选择初始值，以获得多元高斯混合模型中的最大似然。，计算统计与数据分析41 561–575·Zbl 1429.62235号 ·doi:10.1016/S0167-9473（02）00163-9
[8] Bishop，C.M.（1999a）。贝叶斯主成分分析。年，神经信息处理系统进展382–388。
[9] Bishop，C.M.（1999b）。变化主成分。年，第九届国际人工神经网络会议论文集509–514。
[10] Bishop，C.M.（2006）。，模式识别和机器学习。斯普林格·Zbl 1107.68072号
[11] Bouveyron，C.、Celeux，G.和Girard，S.（2011年）。各向同性概率主成分分析中基于最大似然的内禀维数估计。，模式识别信函32 1706–1713。
[12] Bro，R.和Smiled，A.K.（2003）。组件分析中的居中和缩放。，化学计量学杂志17 16–33。
[13] Brusco，M.J.（2014）。主成分分析和判别分析中变量选择的模拟退火算法比较。，计算统计与数据分析77 38–53·Zbl 1506.62029号 ·doi:10.1016/j.csda.2014.03.001
[14] Celeux，G.、El Anbari，M.、Marin，J.M.和Robert，C.P.（2012年）。回归中的正则化：在信息量不足的情况下比较贝叶斯方法和频率分析方法。，贝叶斯分析7 477–502·Zbl 1330.62284号 ·doi:10.1214/12-BA716
[15] Chan，T.H.、Jia，K.、Gao，S.、Lu，J.、Zeng，Z.和Ma，Y.（2015）。PCANet：图像分类的简单深度学习基线？，IEEE图像处理汇刊24 5017–5032·Zbl 1408.94080号 ·doi:10.1109/TIP.2015.2475625
[16] d'Aspremont，A.、Bach，F.和El Ghaoui，L.（2008）。稀疏主成分分析的最优解。，机器学习研究杂志9 1269–1294·Zbl 1225.68170号
[17] Fabregat，A.、Sidiropoulos，K.、Garapati，P.、Gillespie，M.、Hausmann，K.，Haw，R.、Jassal，B.、Jupe，S.、Korninger，F.、McKay，S.，Matthews，L.、May，B.、Milacic，M.，Rothfels，K.和Shamovsky，V.、Webber，M.和Weiser，J.、Williams，M.。Wu，G.、Stein，L.，Hermjakob，H.和D'Eustachio，P.（2016）。反应体途径知识库。，核酸研究44 D481–D487。
[18] Fang，K.T.，Kotz，S.和Ng，K.W.（1990）。，对称多元及相关分布。查普曼和霍尔·Zbl 0699.62048号
[19] Gramfort，A.、Strohmeier，D.、Haueisen，J.、Hämäläinen，m.S.和Kowalski，m.（2013）。时频混合形式估计：稀疏M/EEG成像与非平稳源激活。，神经影像70 410-422。
[20] Gu，Q.，Li，Z.和Han，J.（2011）。联合特征选择和子空间学习。年，《国际人工智能联合会议论文集》22 1294-1299。
[21] Guan，Y.和Dy，J.G.（2009）。稀疏概率主成分分析。年，国际人工智能与统计会议185–192。
[22] Hartman，P.和Watson，G.S.（1974年）。球面上的“正态”分布函数和修正的贝塞尔函数。，概率年鉴593-607·Zbl 0305.60033号 ·doi:10.1214/aop/1176996606
[23] Hastie，T.、Tibshirani，R.和Wainwright，M.（2015）。，稀疏的统计学习：套索和泛化。CRC出版社·Zbl 1319.68003号
[24] 霍特林，H.（1933）。将复杂的统计变量分析为主成分。，教育心理学杂志24 417。
[25] Ilin，A.和Raiko，T.（2010年）。缺失值情况下主成分分析的实用方法。，机器学习研究杂志11 1957-2000·Zbl 1242.62047号
[26] Jenatton，R.、Obozinski，G.和Bach，F.（2009年）。结构化稀疏主成分分析。年，国际人工智能与统计会议。
[27] Johnstone，I.M.和Lu，A.Y.（2009年）。关于高维主成分分析的一致性和稀疏性。，美国统计协会杂志104·Zbl 1388.62175号 ·doi:10.1198/jasa.2009.0158
[28] Jolliffe，I.T.（1972年）。在主成分分析中丢弃变量。一： 人工数据。，英国皇家统计学会杂志。C辑（应用统计学）21 160–173。
[29] Jolliffe，I.T.（1973）。在主成分分析中丢弃变量。二： 真实数据。，英国皇家统计学会杂志。C辑（应用统计学）22 21–31。
[30] Journée，M.、Nesterov，Y.、Richtárik，P.和Sepulchre，R.（2010）。稀疏主成分分析的广义幂法。，机器学习研究杂志11 517–553·Zbl 1242.62048号
[31] Kass，R.E.和Steffey，D.（1989年）。条件独立层次模型中的近似贝叶斯推断（参数经验贝叶斯模型）。，美国统计协会杂志84 717–726。
[32] Khan，Z.、Shafait，F.和Mian，A.（2015）。用于压缩高光谱成像的联合组稀疏PCA。，IEEE图像处理汇刊24 4934–4942·Zbl 1408.94302号
[33] Khanna，R.、Ghosh，J.、Poldrack，R.和Koyejo，O.（2015）。稀疏子模概率PCA。年，《第十八届国际人工智能与统计会议论文集》453-461。
[34] Larochelle，H.、Erhan，D.、Courville，A.、Bergstra，J.和Bengio，Y.（2007年）。对具有许多变化因素的问题的深层架构进行实证评估。年，第24届机器学习国际会议论文集473–480。ACM公司。
[35] Latouche，P.、Mattei，P.A.、Bouveyron，C.和Chiquet，J.（2016）。将松弛EM算法与Occam剃刀相结合用于高维回归中贝叶斯变量选择。，多元分析杂志146 177–190·兹比尔1334.62114 ·doi:10.1016/j.jmva.2015.09.004
[36] 劳利·D.N.（1953）。因子分析中一种改进的估计方法和一些大样本结果。，乌普萨拉心理因素分析研讨会论文集，瑞典乌普萨拉35-42·Zbl 0052.15101号
[37] Lázaro-Gredilla，M.和Titsias，M.K.（2011）。用于多任务和多核学习的尖峰和平板变分推理。年，神经信息处理系统进展2339–2347。
[38] Liu，T.Y.、Trinchera，L.、Tenenhaus，A.、Wei，D.和Hero，A.O.（2013）。全球稀疏PLS回归。年，偏最小二乘和相关方法的新观点117-127。斯普林格。
[39] Lorch，L.（1967）。一些Whittaker函数的不等式。，数学档案馆1–9·Zbl 0205.36102号
[40] 麦凯博士（1994年）。反向传播网络的贝叶斯方法。在中，神经网络模型III 211–254。斯普林格。
[41] 麦凯，D.J.C.（2003）。，信息理论、推理和学习算法。剑桥大学出版社·Zbl 1055.94001号
[42] Madigan，D.和Raftery，A.E.（1994年）。模型选择和使用Occam窗口计算图形模型中的模型不确定性。，美国统计协会杂志89 1535–1546·Zbl 0814.62030号 ·doi:10.1080/01621459.1994.10476894
[43] Masaeli，M.、Yan，Y.、Cui，Y.，Fung，G.和Dy，J.G.（2010年）。凸的主要特征选择。年，在SIAM数据挖掘国际会议619–628。
[44] Mattei，P.A.（2017年）。将高斯矩阵乘以高斯向量。，统计与概率信件128 67–70·Zbl 1380.62050 ·doi:10.1016/j.spl.2017.04.004
[45] Mattei，P.A.、Bouveyron，C.和Latouche，P.（2016）。全球稀疏概率PCA。年，第19届国际人工智能与统计会议论文集976–984·Zbl 1412.62077号 ·doi:10.1214/18-EJS1450
[46] McLachlan，G.和Krishnan，T.（2008）。，EM算法和扩展。第二版。John Wiley&Sons，纽约·Zbl 1165.62019号
[47] Miller，J.A.、Cai，C.、Langfelder，P.、Geschwind，D.H.、Kurian，S.M.、Salomon，D.R.和Horvath，S.（2011年）。聚合基因表达数据的策略：collapseRows R函数。，BMC生物信息学。
[48] Minka，T.P.（2000）。PCA维度的自动选择。年，神经信息处理系统进展598-604。
[49] Minn，A.J.、Gupta，G.P.、Padua，D.、Bos，P.、Nguyen，D.X.、Nuyten，D.、Kreike，B.、Zhang，Y.、Wang，Y.，Ishwaran，H.、Foekens，J.A.、van de Vijver，M.和Massague，J.（2007年）。肺转移基因将乳腺肿瘤大小和转移扩散联系在一起。，国家科学院院刊104 6740–6745。
[50] Mitchell，T.和Beauchamp，J.（1988）。线性回归中的贝叶斯变量选择（含讨论）。，美国统计协会杂志83 1023-1036·Zbl 0673.62051号 ·doi:10.1080/01621459.1988.10478694
[51] Moghaddam，B.、Weiss，Y.和Avidan，S.（2005）。稀疏PCA的谱界：精确和贪婪算法。年，神经信息处理系统进展915-922。
[52] Mohamed，S.、Heller，K.和Ghahramani，Z.（2012年）。稀疏无监督学习的贝叶斯和L1方法。在，第29届国际机器学习大会论文集751–758。
[53] Nakajima，S.、Sugiyama，M.和Babacan，D.（2011年）。贝叶斯主成分分析：自动维度选择和解析解。年，第28届机器学习国际会议论文集497-504。
[54] Nakajima，S.、Tomioka，R.、Sugiyama，M.和Babacan，S.D.（2015）。变分贝叶斯主成分分析实现完全维数恢复的条件。，机器学习研究杂志16 3757-3811·Zbl 1351.68225号
[55] Neal，R.M.（1996）。，神经网络的贝叶斯学习。Springer-Verlag纽约公司，美国新泽西州塞考克斯·Zbl 0888.62021号
[56] Ogata，H.（2005）。基于贝塞尔函数的数值积分公式。，数学科学研究所出版物41 949–970·Zbl 1104.65025号 ·doi:10.2977/prims/1145474602
[57] Passmier，D.、Li，Z.和Yao，J.（2017）。关于高维概率主成分分析中噪声方差的估计。，英国皇家统计学会杂志：B辑（统计方法）79 51–67·Zbl 1414.62218号
[58] Rinnér，M.（2008）。什么是主成分分析？，自然生物技术26 303–304。
[59] Rivals，I.、Personnaz，L.、Taing，L.和Potier，M.C.（2007年）。一类基因中GO类别的富集或缺失：哪种测试？，生物信息学23 401–407。
[60] Robert，P.和Escoufer，Y.（1976年）。线性多元统计方法的统一工具：RV系数。，英国皇家统计学会杂志。C辑（应用统计学）25 257–265。
[61] Roweis，S.（1998）。PCA和SPCA的EM算法。年，《神经信息处理系统进展》626–632。
[62] Schaback，R.和Wu，Z.（1996年）。径向函数操作符。，计算与应用数学杂志73 257–270·Zbl 0857.42004号 ·doi:10.1016/0377-0427（96）00047-7
[63] Schwarz，G.（1978年）。估计模型的维度。，统计年鉴461-464·Zbl 0379.62005年 ·doi:10.1214/aos/1176344136
[64] Shen，H.和Huang，J.Z.（2008）。基于正则化低秩矩阵逼近的稀疏主成分分析。，多元分析杂志99 1015–1034·兹比尔1141.62049 ·doi:10.1016/j.jmva.2007.06.007
[65] Sigg，C.D.和Buhmann，J.M.（2008）。稀疏和非负PCA的期望最大化。年，第25届机器学习国际会议论文集960–967。
[66] Sobczyk，P.、Bogdan，M.和Josse，J.（2017）。基于惩罚半积分似然的PCA贝叶斯降维。，计算与图形统计杂志26 826–839。
[67] Teschendorff，A.E.，JournéE，M.，Absil，P.A.，Sepulchre，R.和Caldas，C.（2007年）。利用独立成分分析阐明乳腺癌中转录程序的改变。，PLoS计算生物学3 e161。
[68] Theobald，C.M.（1975）。一个不等式及其在多元分析中的应用。，生物特征62 461-466·Zbl 0316.62020号 ·doi:10.1093/biomet/62.2.461
[69] Tipping，M.（2001）。稀疏贝叶斯学习与相关向量机。，机器学习研究杂志211-244·Zbl 0997.68109号
[70] Tipping，M.E.和Bishop，C.M.（1999）。概率主成分分析。，英国皇家统计学会杂志：B辑（统计方法）61 611-622·Zbl 0924.62068号 ·doi:10.1111/1467-9868.00196
[71] Ulfarsson，M.O.和Solo，V.（2008）。使用测地最速下降的稀疏变量PCA。，IEEE信号处理学报56 5823–5832·Zbl 1390.94449号 ·doi:10.1109/TSP.2008.2006587
[72] Ulfarsson，M.O.和Solo，V.（2011）。向量l0稀疏变量PCA。，IEEE信号处理汇刊59 1949–1958·兹比尔1392.94498 ·doi:10.1109/TSP.2011.2112653
[73] Van der Vaart，A.W.（2000）。，渐近统计3。剑桥大学出版社·Zbl 0943.6202号
[74] Vu，V.Q.和Lei，J.（2013）。高维极小极大稀疏主子空间估计。，统计年鉴41 2905–2947·Zbl 1288.62103号 ·数字对象标识代码：10.1214/13-AOS1151
[75] Wang，Y.、Klijn，J.G.M.、Zhang，Y.，Sieuwerts，A.M.、Look，M.P.、Yang，F.、Talantov，D.、Timmermans，M.、Meijer-van Gelder，M.E.、Yu，J.、Jatkoe，T.、Berns、E.M.J.、Atkins，D.和Foekens，J.A.（2005）。基因表达谱预测淋巴结阴性原发性乳腺癌远处转移。，《柳叶刀》365 671–679。
[76] Wipf，D.和Nagarajan，S.（2008年）。自动相关性确定的新观点。年，《神经信息处理系统的进展》1625-1632。
[77] Wipf，D.和Nagarajan，S.（2009年）。MEG/EEG源成像的统一贝叶斯框架。，神经影像44 947–966。
[78] Wipf，D.P.、Rao，B.D.和Nagarajan，S.（2011年）。促进稀疏性的潜在变量贝叶斯模型。，IEEE信息理论汇刊57 6236–6255·Zbl 1365.62103号 ·doi:10.1109/TIT.2011.2162174
[79] Wishart，J.和Bartlett，M.S.（1932年）。正态系统中二阶矩统计量的分布。，剑桥哲学学会数学会议录28·doi:10.1017/S0305004100010690
[80] Xiaoshuang，S.、Zhihui，L.、Zhenhua，G.、Minghua，W.、Cairong，Z.和Heng，K.（2013）。基于联合（L_2,1）-范数惩罚的稀疏主成分分析。年，AI 2013：人工智能进展148–159。斯普林格。
[81] Xu，L.和Jordan，M.（1996）。关于高斯混合的EM算法的收敛性。，神经计算8 129–151。
[82] Yu，G.和He，Q.Y.（2016）。ReactomePA：用于Reactome通路分析和可视化的R/生物导体包。，分子生物系统。
[83] Yu，L.、Snapp，R.R.、Ruiz，T.和Radermacher，M.（2010）。带期望最大化的概率主成分分析（PPCA-EM）有助于卷分类和估计缺失数据。，结构生物学杂志171 18–30。
[84] Zhang，Y.、d'Aspremont，A.和El Ghaoui，L.（2012）。稀疏PCA：凸松弛、算法和应用。在，《半定、二次曲线和多项式优化手册》915-940。斯普林格·兹比尔1334.90120
[85] Zhang，Y.和El Ghaoui，L.（2011）。大尺度稀疏主成分分析及其在文本数据中的应用。年，神经信息处理系统进展532-539。
[86] Zou，H.、Hastie，T.和Tibshirani，R.（2006）。稀疏主成分分析。，计算与图形统计杂志15 265–286。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。