Sriperumbudur，Bharath K。;大卫·A·托雷斯。;Gert R.G.兰克里特。 稀疏广义特征值问题的优化最小化方法。 （英语） Zbl 1237.65060号 机器。学习。 85，编号1-2，3-39（2011）. 摘要：广义特征值（GEV）问题在科学和工程的许多领域都有应用。例如，主成分分析（PCA）、典型相关分析（CCA）和Fisher判别分析（FDA）是GEV问题的具体实例，广泛应用于统计数据分析。这项工作的主要贡献是制定了一个通用、高效的算法，以获得GEV问题的稀疏解。稀疏GEV问题的特定实例可以通过该算法的特定实例进行求解。我们通过解决GEV问题来实现这一点，同时限制解决方案的基数。我们考虑一个与Student t分布的负对数似然性相关的更紧近似，而不是使用（ell_{1}）-范数近似来放松基数约束。然后，将问题框定为一个d.c.（凸函数差分）程序，并通过调用优化-最小化方法将其作为凸程序序列来解决。结果算法证明全球收敛行为，即对于任何随机初始化，由算法生成的迭代序列（子序列）收敛到直流程序的驻点。最后，我们通过稀疏GEV问题的三个具体示例：稀疏PCA、稀疏CCA和稀疏FDA来说明这种通用稀疏GEV算法的优点。这些示例的经验证据表明，所提出的稀疏GEV算法为解决任何稀疏GEV问题提供了一个通用框架，在出现GEV问题的特定实例的各种应用中，将产生具有竞争力的算法。 引用于15文件 理学硕士： 65千5 数值数学规划方法 62H25个 因子分析和主成分；对应分析 65英尺50英寸 稀疏矩阵的计算方法 90C22型 半定规划 2015财年65 矩阵特征值和特征向量的数值计算 68T05型 人工智能中的学习和自适应系统 关键词：广义特征值问题;主成分分析;规范相关分析;线性判别分析;稀疏;D.c.程序;多数化最小化;赞维尔的全球收敛理论;音乐注释;跨语言文档检索 软件：DSPCA公司;PLCP公司;广场广场 PDF格式BibTeX公司 XML格式引用 \textit{B.K.Sriperumbudur}等人，马赫。学习。85，编号1--2，3--39（2011；Zbl 1237.65060） 全文： 内政部 参考文献： [1] Alon，U.、Barkai，N.、Notterman，D.A.、Gish，K.、Ybara，S.、Mack，D.和Levine，A.J.（1999）。肿瘤和正常结肠癌组织的聚类分析揭示了广泛的基因表达模式。细胞生物学，96，6745-6750。 [2] Bioucas-Dias，J.、Figueiredo，M.和Oliveira，J.（2006）。全变分图像反褶积：一种优化最小化方法。In：程序。IEEE声学、语音和信号处理国际会议，法国图卢兹·Zbl 1178.94029号 [3] Böhning，D.和Lindsay，B.G.（1988）。二次逼近算法的单调性。《统计数学研究所年鉴》，40（4），641-663·Zbl 0723.65150号 ·doi:10.1007/BF00049423 [4] Bonnans，J.F.、Gilbert，J.C.、Lemaréchal，C.和Sagastizábal，C.A.（2006年）。数值优化：理论和实践方面。柏林：斯普林格·Zbl 1108.65060号 [5] Boyd，S.P.和Vandenberghe，L.（2004）。凸优化。剑桥：剑桥大学出版社·兹比尔1058.90049 [6] 布拉德利，P.S。；Mangasarian，O.L.，通过凹最小化和支持向量机进行特征选择，82-90（1998），旧金山 [7] Cadima，J.和Jolliffe，I.（1995年）。主要成分解释中的载荷和相关性。应用统计学，22203-214·数字对象标识代码：10.1080/757584614 [8] Candes，E.J.、Wakin，M.和Boyd，S.（2007年）。通过重加权增强稀疏性ℓ1最小化。傅里叶分析与应用杂志，14877-905·Zbl 1176.94014号 [9] d’Aspremont，A。；Ghaoui，L。；M.I.乔丹。；柳叶刀，G.R.G。；Saul，L.K.（编辑）；Weiss，Y.（编辑）；Bottou，L.（ed.），使用半定规划的稀疏PCA直接公式，第17期，41-48（2005），剑桥 [10] d’Aspremont，A.、El Ghaoui，L.、Jordan，M.I.和Lanckriet，G.R.G.（2007年）。使用半定规划的稀疏PCA的直接公式。SIAM评论，49（3），434-448·邮编1128.90050 ·doi:10.1137/050645506 [11] d'Aspremont，A.、Bach，F.R.和El Ghaoui，L.（2008）。稀疏主成分分析的最优解。机器学习研究杂志，9，1269-1294·Zbl 1225.68170号 [12] Daubechies，I.、Defrise，M.和Mol，C.D.（2004）。具有稀疏约束的线性反问题的迭代阈值算法。《纯粹数学与应用数学交流》，第57期，第1413-1457页·Zbl 1077.65055号 ·doi:10.1002/cpa.20042 [13] Leeuw，J。；Barra，J.R.（编辑）；Brodeau，F.（编辑）；Romier，G.（编辑）；Cutsem，B.V.（编辑），凸分析在多维标度中的应用，133-146（1977），阿姆斯特丹 [14] Dempster，A.P.、Laird，N.M.和Rubin，D.B.（1977年）。通过EM算法从不完整数据中获得最大似然。英国皇家统计学会杂志，B辑，39，1-38·Zbl 0364.62022号 [15] Efron，B.、Hastie，T.、Johnstone，I.和Tibshirani，R.（2004）。最小角度回归。《统计年鉴》，32（2），407-499·Zbl 1091.62054号 ·doi:10.1214/009053604000000067 [16] Fazel，M.、印地语，H.和Boyd，S.（2003）。矩阵秩最小化的对数集启发式算法及其在Hankel和Euclidean距离矩阵中的应用。In：程序。美国控制会议，科罗拉多州丹佛。 [17] Figueiredo，M.A.T.、Bioucas-Dias，J.M.和Nowak，R.D.（2007年）。基于小波的图像恢复的优化最小化算法。IEEE图像处理汇刊，162980-2991·doi:10.1109/TIP.2007.909318 [18] Germann，U.（2001）与加拿大第36届议会的Hansards结盟。http://www.isi.edu/natural-language/download/hansard/。 [19] Golub，T.R.、Slonim，D.K.、Tamayo，P.、Huard，C.、Gaasenbeek，M.、Mesirov，J.、Coller，H.、Loh，M.K.、Downing，J.R.，Caligiuri，M.A.、Bloomfield，C.D.和Lander，E.（1999）。癌症的分子分类：通过基因表达监测进行分类发现和分类预测。《科学》，286531-537·doi:10.1126/science.286.5439.531 [20] Heiser，W.J.（1987年）。具有最小绝对残差的对应分析。计算统计学和数据分析，5337-356·Zbl 0624.62052号 ·doi:10.1016/0167-9473（87）90057-0 [21] Horst，R.和Thoai，N.V.（1999年）。D.c.编程：概述。优化理论与应用杂志，103，1-43·Zbl 1073.90537号 ·doi:10.1023/A:1021765131316 [22] Hotelling，H.（1933）。将复杂的统计变量分析为主成分。《教育心理学杂志》，24417-441·doi:10.1037/h0071325 [23] Hotelling，H.（1936）。两组变量之间的关系。《生物统计学》，第28期，第321-377页·Zbl 0015.40705号 [24] Huber，P.J.（1981）。稳健的统计数据。纽约：Wiley·Zbl 0536.62025号 ·doi:10.1002/0471725250 [25] Hunter，D.R.和Lange，K.（2004年）。MM算法教程。美国统计学家，58岁，30-37岁·doi:10.1198/0003130042836 [26] Hunter，D.R.和Li，R.（2005）。使用MM算法选择变量。《统计年鉴》，第33期，1617-1642页·Zbl 1078.62028号 ·doi:10.1214/009053605000000200 [27] Jeffers，J.（1967年）。主成分应用的两个案例研究。应用统计学，16225-236·doi:10.2307/2985919 [28] Jolliffe，I.（1986年）。主成分分析。纽约：施普林格·Zbl 1011.62064号 [29] Jolliffe，I.T.、Trendafilov，N.T.和Uddin，M.（2003）。基于LASSO的改进主成分技术。计算与图形统计杂志，12531-547·doi:10.1198/1061860032148 [30] Journée，M.、Nesterov，Y.、Richtárik，P.和Sepulchre，R.（2010年）。稀疏主成分分析的广义幂方法。机器学习研究杂志，11，517-553·Zbl 1242.62048号 [31] Lange，K.、Hunter，D.R.和Yang，I.（2000）。使用代理目标函数进行优化传递并进行讨论。计算与图形统计杂志，9（1），1-59·doi:10.307/1390605 [32] Lee，D.D。；Seung，H.S。；Leen，T.（编辑）；Dietterich，T.（编辑）；Tresp，V.（ed.），非负矩阵分解算法，第13期，556-562（2001），剑桥 [33] Lemaréchal，C.和Oustry，F.（1999）。半定松弛和拉格朗日对偶及其在组合优化中的应用（技术代表RR3710）。印度·Zbl 1160.90639号 [34] 利特曼，M.L。；Dumais，S.T。；Landauer，T.K。；Grefenstette，G.（编辑），使用潜在语义索引的自动跨语言信息检索，51-62（1998），诺威尔 [35] Mackey，L。；Koller，D.（编辑）；Schuurmans，D.（编辑）；Bengio，Y.（编辑）；Bottou，L.（编辑），稀疏PCA的通缩方法，第21期，1017-1024（2009），剑桥 [36] McCabe，G.（1984）。主要变量。技术计量学，26，137-144·Zbl 0548.62037号 ·doi:10.2307/1268108 [37] Mckinney，M.F.，《音频和音乐分类的特征》，151-158（2003） [38] 孟晓乐（2000）。关于“使用替代目标函数优化转移”的讨论。计算与图形统计杂志，9（1），35-43·数字对象标识代码：10.2307/1390609 [39] 米卡，S。；Rätsch，G。；穆勒，K.R。；Leen，T.（编辑）；Dietterich，T.（编辑）；Tresp，V.（ed.），核Fisher算法的数学规划方法，第13期（2001），剑桥 [40] Minoux，M.（1986年）。数学规划：理论和算法。纽约：Wiley·Zbl 0602.90090号 [41] Moghaddam，B.、Weiss，Y.和Avidan，S.（2007a）。稀疏LDA的广义谱界。In：程序。机器学习国际会议。 [42] 莫加达姆，B。；Weiss，Y。；阿维丹，S。；Schölkopf，B.（编辑）；Platt，J.（编辑）；Hoffman，T.（编辑），稀疏PCA的谱界：精确和贪婪算法，第19期（2007年），剑桥 [43] Nesterov，Y.（2005）。非光滑函数的平滑最小化。数学规划，A辑，103，127-152·Zbl 1079.90102号 ·doi:10.1007/s10107-004-0552-5 [44] Ortega，J.M.和Rheinboldt，W.C.（1970年）。多元非线性方程的迭代解法。纽约：学术出版社·Zbl 0241.65046号 [45] Ramaswamy，S.、Tamayo，P.、Rifkin，R.、Mukherjee，S.，Yeang，C.、Angelo，M.、Ladd，C.，Reich，M.，Latulippe，E.、Mesirov，J.、Poggio，T.、Gerald，W.、Loda，M.和Lander，E.及Golub，T.（2001年）。利用肿瘤基因表达特征进行多类癌症诊断。《美国国家科学院院刊》，98，15149-15154·doi:10.1073/pnas.211566398 [46] Rockafellar，R.T.（1970）。凸分析。普林斯顿：普林斯顿大学出版社·Zbl 0193.18401号 [47] Shawe-Taylor，J.和Cristianini，N.（2004）。模式分析的核心方法。剑桥：剑桥大学出版社·Zbl 0994.68074号 ·doi:10.1017/CBO9780511809682 [48] Sriperumbudur，B.K。；柳叶刀，G.R.G。；Bengio，Y.（编辑）；Schuurmans，D.（编辑）；Lafferty，J.（编辑）；Williams，C.K.I.（编辑）；Culotta，A.（编辑），关于凹-凸过程的收敛性，第22期，1759-1767（2009），剑桥·Zbl 1178.70052号 [49] Sriperumbudur，B.K.、Torres，D.A.和Lanckriet，G.R.G.（2007）。直流编程的稀疏特征值方法。In：程序。在第24届机器学习国际年会上。 [50] Sriperumbudur，B.K.、Torres，D.A.和Lanckriet，G.R.G.（2009）。稀疏广义特征值问题的直流规划方法。In:机器学习车间优化，NIPS·Zbl 1237.65060号 [51] Strang，G.（1986年）。应用数学导论。韦尔斯利：剑桥出版社·Zbl 0618.00015号 [52] Suykens，J.A.K.、Gestel，T.V.、Brabanter，J.D.、Moor，B.D.和Vandwalle，J.（2002）。最小二乘支持向量机。新加坡：世界科学·Zbl 1017.93004号 ·doi:10.1142/9789812776655 [53] Tibshirani，R.（1996）。通过LASSO进行回归收缩和选择。英国皇家统计学会杂志，B辑，58（1），267-288·兹比尔0850.62538 [54] Tipping，M.E.（2001）。稀疏贝叶斯学习和相关向量机。机器学习研究杂志，1211-244·Zbl 0997.68109号 [55] Torres，D.、Turnbull，D.、Barrington，L.和Lanckriet，G.R.G.（2007a）。识别有音乐意义的单词。In：程序。音乐信息与检索国际研讨会。 [56] Torres，D.A.、Turnbull，D.、Sriperumbudur，B.K.、Barrington，L.和Lanckriet，G.R.G.（2007b）。使用稀疏的CCA查找有音乐意义的单词。在：NIPS音乐大脑与认知研讨会。 [57] Turnbull，D.、Barrington，L.、Torres，D.和Lanckriet，G.R.G.（2008）。音乐和音效的语义注释和检索。IEEE音频、语音和语言处理汇刊，16，467-476·doi:10.1109/TASL.2007.913750 [58] Vandenberghe，L.和Boyd，S.（1996年）。半定规划。SIAM评论，38，49-95·Zbl 0845.65023号 ·数字对象标识代码：10.1137/1038003 [59] 维诺库洛夫，A。；肖-泰勒，J。；北卡罗来纳州克里斯蒂亚尼尼。；Becker，S.（编辑）；Thrun，S.（编辑）；Obermayer，K.（编辑），《通过跨语言相关性分析推断文本的语义表示》，第15期，1473-1480（2003），剑桥 [60] Weston，J.、Elisseeff，A.、Schölkopf，B.和Tipping，M.（2003）。零形式与线性模型和核方法的结合。机器学习研究杂志，31439-1461·Zbl 1102.68605号 [61] Yuille，A.L.和Rangarajan，A.（2003）。凹-凸过程。神经计算，15915-936·兹比尔1022.68112 ·doi:10.1162/08997660360581958 [62] Zangwill，W.I.（1969年）。非线性规划：统一方法。恩格尔伍德悬崖：普伦蒂斯·霍尔·Zbl 0195.20804号 [63] Zou，H.和Hastie，T.（2005）。通过弹性网进行规则化和变量选择。英国皇家统计学会杂志，B辑，67301-320·Zbl 1069.62054号 ·文件编号：10.1111/j.1467-9868.2005.005.x [64] Zou，H.、Hastie，T.和Tibshirani，R.（2006年）。稀疏主成分分析。计算与图形统计杂志，15，265-286·doi:10.1198/106186006X113430 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。