×
伊丽莎白·斯基法诺。;罗伯特·斯特劳德曼。;Wells，Martin T。

非光滑惩罚目标函数的优化最小化算法。 （英语） Zbl 1267.65009号

电子。J.统计。 4, 1258-1299 (2010).
摘要：惩罚或正规化在高维统计分析中的使用已变得普遍，其中越来越常见的目标是同时选择重要变量并估计其影响。几位作者已经表明，通过最小化一些参数相关的“goodness-of-fit”函数（例如负对数似然），可以实现这些目标，但惩罚会促进稀疏性。惩罚函数在起源时是单数的，因此受到了广泛关注，可以说是从拉索惩罚开始的。目前的文献倾向于关注可微拟合优度函数和在原点奇异的罚函数的特定组合。这种组合特殊性的一个结果是，设计用于解决涉及目标函数（并非处处连续可微）的相当狭窄的优化问题的计算算法数量激增。
本文提出了一类通用算法，用于优化满足一定正则性条件的多种非光滑惩罚目标函数。该框架使用优化最小化（MM）算法作为其核心优化引擎。在惩罚回归模型的情况下，生成的算法采用迭代软阈值，以组件方式实现，允许快速稳定的更新，从而避免了反转高维矩阵的需要。我们在比统计文献中先前考虑的更弱的假设下建立了收敛理论。我们还证明了最初为期望和最大化（EM）算法提出的新加速方法在这类问题中的非凡有效性。仿真结果和微阵列数据示例证明了该算法的能力和通用性。

引用于11文件

MSC公司：

65C60个 统计中的计算问题（MSC2010）
2007年6月62日 岭回归；收缩估计器（拉索）
62J05型 线性回归；混合模型
62J12型 广义线性模型（逻辑模型）

关键词：

凸优化;迭代软阈值;套索惩罚;极小极大凹罚;非凸优化;平滑剪裁绝对偏差惩罚;菲特之美;负对数似然;算法;回归模型;期望和最大化（EM）算法

软件：

弹性网;格尔姆奈特;拉尔斯;姐妹;稀疏的;uniCox公司
PDF格式BibTeX公司 XML格式引用
\textit{E.D.Schifano}等人，《电子》。J.Stat.4，1258--1299（2010；Zbl 1267.65009）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Alizadeh，A.A.，Eisen，M.B.，Davis，R.E.，Ma，C.，Lossos，I.S.，Rosenwald，A.，Boldrick，J.C.，Sabet，H.，Tran，T.，Yu，X.，Powell，J.I.，Yang，L.，Marti，G.E.，Moore，T。，Grever，M.R.、Byrd，J.C.、Botstein，D.、Brown，P.O.和Staudt，L.M.（2000年）。通过基因表达谱确定不同类型的弥漫性大B细胞淋巴瘤。，自然403 503-511。
[2] Andersen，P.K.、Borgan，O.、Gill，R.D.和Keiting，N.（1993）。，基于计数过程的统计模型。纽约施普林格-弗拉格·Zbl 0769.62061号
[3] Ando，T.、Suguro，M.、Kobayashi，T.，Seto，M.和Honda，H.（2003）。基于分子谱的220例淋巴瘤患者预后预测和分类的多重模糊神经网络系统。，癌症科学。94 906-913。
[4] Annest，A.、Bumgarner，R.、Raftery，A.和Yeung，K.Y.（2009年）。迭代贝叶斯模型平均：一种将生存分析应用于高维微阵列数据的方法。，BMC生物信息学10 72。
[5] Antoniadis，A.、Gijbels，I.和Nikolova，M.（2009年）。具有非二次惩罚的广义线性模型的惩罚似然回归。，Ann.Inst.统计。数学。1-31. 10.1007/s10463-009-0242-4·Zbl 1333.62113号 ·doi:10.1007/s10463-009-0242-4
[6] Becker，M.P.、Yang，I.和Lange，K.（1997年）。无缺失数据的EM算法。，统计方法医学研究6 38-54。
[7] Binder，H.和Schumacher，M.（2008）。考虑到强制协变量，以提高稀疏高维生存模型的估计。，BMC生物信息学9 14·Zbl 1276.62060号 ·数字对象标识代码：10.2202/1544-6115.1346
[8] Binder，H.和Schumacher，M.（2009年）。将路径信息纳入高维风险预测模型的增强估计。，BMC生物信息学10 18。
[9] Bohning，D.和Lindsay，B.（1988年）。二次逼近算法的单调性。，Ann.Inst.统计。数学。40 641-663. ·Zbl 0723.65150号 ·doi:10.1007/BF00049423
[10] Boyd，S.和Vandenberghe，L.（2004）。，凸优化。剑桥大学出版社·Zbl 1058.90049号
[11] Chrétien，S.和Hero，A.O.（2008）。关于EM算法及其近似推广。，ESAIM行程。概率统计12 308-326·兹比尔1187.65006 ·doi:10.1051/ps:2007041
[12] Clarke，F.H.（1990）。，优化和非光滑分析。费城SIAM·Zbl 0696.49002号
[13] Combettes，P.L.和Wajs，V.R.（2005）。近距离前后分离信号恢复。，多尺度模型。模拟。4 1168-1200. ·Zbl 1179.94031号 ·数字对象标识代码：10.1137/050626090
[14] Cox，D.R.（1972）。回归模型和生命表（含讨论）。，J.罗伊。统计师。Soc.序列号。B 34 187-220·Zbl 0243.62041号
[15] 考克斯，D.R.（1975）。部分可能性。，生物特征62 269-276·Zbl 0312.62002号 ·doi:10.1093/biomet/62.2.269
[16] Daubechies，I.、Defreise，M.和De Mol，C.（2004）。稀疏约束线性反问题的迭代阈值算法。，Commun公司。纯应用程序。数学。1413-1457. ·Zbl 1077.65055号 ·doi:10.1002/第242页
[17] De Mol，C.、De Vito，E.和Rosasco，L.（2008）。学习理论中的弹性网络正则化。，arXiv公司·Zbl 1319.62087号
[18] Dempster，A.P.、Laird，N.M.和Rubin，D.B.（1977年）。通过EM算法获得不完整数据的最大似然（讨论）。，J.罗伊。统计师。Soc.序列号。B 39 1-38·Zbl 0364.62022号
[19] Efron，B.、Hastie，T.、Johnstone，L.和Tibshirani，R.（2004）。最小角度回归。，Ann.Statist公司。32 407-452. ·Zbl 1091.62054号 ·doi:10.1214/009053604000000067
[20] Engler，D.和Li，Y.（2009年）。高维协变量生存分析：在微阵列研究中的应用。，统计师。申请。一般分子生物学。8第14条·Zbl 1276.62067号 ·数字对象标识代码：10.2202/1544-6115.1423
[21] Fan，J.和Li，R.（2001）。基于非冲突惩罚似然的变量选择及其Oracle属性。，J.Amer。统计师。协会96 1348-1360·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[22] Fan，J.、Feng，Y.、Samworth，R.和Wu，Y.（2009年a）。SIS：Sure Independence Screening R包版本，0.2。
[23] Fan，J.、Samworth，R.和Wu，Y.（2009b）。超高维变量选择：超越线性模型。，机器学习研究杂志10 1829-1853·Zbl 1235.62089号
[24] Friedman，J.、Hastie，T.和Tibshirani，R.（2008）。通过坐标下降技术报告的广义线性模型的正则化路径，斯坦福大学统计系。
[25] Fygenson，M.和Ritov，Y.（1994年）。删失数据的单调估计方程。，Ann.Statist公司。22 732-746. ·兹比尔0807.62032 ·doi:10.1214/aos/1176325493
[26] Geman，D.和Reynolds，G.（1992年）。约束恢复和不连续恢复。，IEEE传输。帕特。分析。机器。智能14 367-383。
[27] Gui，J.和Li，H.（2005a）。在高维和低样本量环境中进行惩罚Cox回归分析，并应用于微阵列基因表达数据。，生物信息学21 3001-3008。
[28] Gui，J.和Li，H.（2005b）。截尾数据回归的阈值梯度下降法及其在药物基因组学中的应用。，太平洋生物计算研讨会10 272-283。
[29] Hale，E.T.、Yin，W.和Zhang，Y.（2008）。l1最小化的定点连续化：方法论和收敛性。，SIAM J.Optim公司。19 1107-1130. ·Zbl 1180.65076号 ·数字对象标识代码：10.1137/070698920
[30] Hastie，T.和Efron，B.（2007年）。lars：最小角度回归，Lasso和Forward Stagewise R包版本，0.9-7。
[31] Hiriart-Urruti，J.B.和Lemaréchal，C.（1996）。，凸分析与最小化算法I：基础。斯普林格。
[32] Hunter，D.R.和Lange，K.（2004年）。MM算法教程。，阿默尔。统计师。58 30-37. ·doi:10.1198/0003130042836
[33] Hunter，D.和Li，R.（2005）。使用MM算法的变量选择。，Ann.Statist公司。33 1617-1643. ·Zbl 1078.62028号 ·doi:10.1214/009053605000000200
[34] Johnson，B.A.、Lin，D.Y.和Zeng，D.（2008）。半参数回归问题中的惩罚估计函数和变量选择。，J.Amer。统计师。协会103 672-680·Zbl 1471.62330号 ·doi:10.1198/0162145000000184
[35] Johnson，L.M.和Strawderman，R.L.（2009）。半参数加速失效时间模型的诱导平滑：渐近性和对聚类数据的扩展。，生物特征96 577-590·Zbl 1170.62069号 ·doi:10.1093/biomet/asp025
[36] Kim，Y.、Choi，H.和Oh，H.-S.（2008）。高尺寸上平滑剪裁的绝对偏差。，J.Amer。统计师。协会103 1665-1673·Zbl 1286.62062号 ·doi:10.1198/01621450080001066
[37] Lange，K.（1995）。局部等价于EM算法的梯度算法。，J.罗伊。统计师。Soc.序列号。乙57 425-437·Zbl 0813.62021号
[38] Lange，K.（2004）。，优化。斯普林格，美国纽约·Zbl 1140.90004号
[39] Lange，K.、Hunter，D.和Yang，I.（2000年）。使用替代目标函数的优化传输。，公司J。图表。统计师。9 1-20.
[40] Li，H.和Gui，J.（2004）。高维微阵列基因表达数据的部分Cox回归分析。，生物信息学20补遗1，i208-215。
[41] Li，H.和Luan，Y.（2005）。使用平滑样条函数增强比例风险模型，并应用于高维微阵列数据。，生物信息学21 2403-2409。
[42] Luenberger，D.G.和Ye，Y.（2008）。，线性和非线性规划，第三版《运筹学与管理科学国际丛书》，116页。纽约州施普林格·兹比尔1207.90003
[43] Ma，S.和Huang，J.（2007）。微阵列数据的加性风险生存模型。，BMC生物信息学8 192。
[44] Martinez-Ciment，J.A.、Alizadeh，A.A.、Segraves，R.、Blesa，D.、Rubio-Moscardo，F.、Albertson，D.G.、Garcia-Conde，J.、Dyer，M.J.、Levy，R.，Pinkel，D.和Lossos，I.S.（2003年）。滤泡性淋巴瘤向弥漫性大细胞淋巴瘤的转化与一组异质的DNA拷贝数和基因表达改变有关。，血液101 3109-3117。
[45] Mazumder，R.、Friedman，J.和Hastie，T.（2009年）。SparseNet:非凸惩罚的坐标下降技术报告，斯坦福大学统计系·Zbl 1229.62091号
[46] McLachlan，G.J.和Krishnan，T.（2008）。，EM算法及其扩展，2 ed.Wiley-国际科学·Zbl 1165.62019号
[47] Meyer，R.R.（1976年）。单调数学规划算法收敛的充分条件。，J.计算。系统。科学。12 108-121. ·兹伯利0337.65037 ·doi:10.1016/S0022-0000（76）80021-9
[48] Meyer，R.R.（1977年）。收敛分析中强制函数和点集映射方法的比较。，SIAM J.控制优化15 699-715·Zbl 0363.90099号 ·doi:10.1137/0315045
[49] Nikolova，M.（2000年）。正则估计的局部强同质性。，SIAM J.应用。数学。61 633-658·兹比尔0991.94015 ·doi:10.1137/S00361399997327794
[50] Ortega和Rheinboldt（1970）。，多元非线性方程的迭代解法。纽约学术出版社·Zbl 0241.65046号
[51] Park，M.Y.和Hastie，T.（2007）。广义线性模型的L1正则化路径算法。，J.罗伊。统计师。Soc.序列号。乙69 659-677·文件编号：10.1111/j.1467-9868.2007.00607.x
[52] Polak，E.（1987）。在工程设计中不可微优化的数学基础上。，SIAM版本29 21-89·数字对象标识代码：10.1137/1029002
[53] Roland，C.和Varadhan，R.（2005）。非线性不动点问题的新迭代格式，及其在分支问题和不完全数据问题中的应用。，申请。数字。数学。55 215-226. ·Zbl 1119.65335号 ·doi:10.1016/j.apnum.2005.02.006
[54] Rosenwald，A.、Wright，G.、Chan，W.C.、Connors，J.M.、Campo，E.、Fisher，R.I.、Gascoyne，R.D.、Muller-Hermelink，H.、Smeland，E.B.、Giltnane，J.M、Hurt，E.M.、Zhao，H.，Averett，L.、Yang，L.，Wilson，W.H.、Jaffe，E.S.、Simon，R.、Klausner，R.D、Powell，J.、Duffey，P.、Longo，D.L.、Greiner，T.C.、Weisenburger，D.、Sanger，W。G.、Dave，B.J.、Lynch，J.C.、Vose，J.、Armitage，J.O.、Montserrat，E.、López-Guillermo，A.、Grogan，T.M.、Miller，T.P.、LeBlanc，M.、Ott，G.、Kvaloy，S.、Delabie，J.，Holte，H.、Krajci，P.、Stokke，T.和Staudt，L.M.（2002）。利用分子分析预测弥漫性大B细胞淋巴瘤化疗后的生存率。，北英格兰。《医学杂志》，第346卷，1937-1947年。
[55] Rosset，S.和Zhu，J.（2007）。分段线性正则解路径。，Ann.Statist公司。35 1012-1030. ·Zbl 1194.62094号 ·电话：10.1214/009053606000001370
[56] Saeki，K.、Miura，Y.、Aki，D.、Kurosaki，T.和Yoshimura，A.（2003）。B细胞特异性的主要raft蛋白Raftlin是脂筏和BCR信号转导完整性所必需的。，EMBO期刊22 3015-3026。
[57] Schifano，E.D.（2010年）。康奈尔大学Penized Estimation博士论文主题。
[58] Sha，N.、Tadesse，M.G.和Vannucci，M.（2006）。用于分析具有截尾结果的微阵列数据的贝叶斯变量选择。，生物信息学22 2262-2268。
[59] She，Y.（2009）。基于阈值的模型选择和收缩迭代选择程序。，电子统计杂志3 384-415·Zbl 1326.62158号 ·doi:10.1214/08-EJS348
[60] Sinisi，S.E.、Neugebauer，R.和van der Laan，M.J.（2006年）。交叉验证袋装生存预测。，统计师。申请。一般分子生物学。5第12条·Zbl 1166.62326号 ·doi:10.2202/1544-6115.1180
[61] Sohn，I.、Kim，J.、Jung，S.H.和Park，C.（2009年）。Cox比例风险模型的梯度套索。，生物信息学25 1775-1781。
[62] Tibshirani，R.（1996）。通过套索进行回归收缩和选择。，J.罗伊。统计师。Soc.序列号。乙58 267-288·Zbl 0850.62538号
[63] Tibshirani，R.J.（2009）。高维数据cox模型中的单变量收缩。，统计师。申请。一般分子生物学。8第21条·Zbl 1276.62096号 ·数字对象标识代码：10.2202/1544-6115.1438
[64] Tseng，P.（2004）。EM算法和类熵近点方法的分析。，运筹学数学29 27-44·Zbl 1082.90092 ·doi:10.1287/门.1030.0073
[65] Tseng，P.和Yun，S.（2009年）。非光滑可分极小化问题的坐标梯度下降法。，数学编程B 117 387-423·兹比尔1166.90016 ·doi:10.1007/s10107-007-0170-0
[66] Vaida，F.（2005年）。EM和MM算法的参数收敛。，统计师。Sinica中国邮政编码：15 831-840·Zbl 1087.62035号
[67] Varadhan，R.和Roland，C.（2008）。加速任何EM算法收敛的简单全局收敛方法。，扫描。J.统计。35 335至353之间·Zbl 1164.65006号 ·文件编号：10.1111/j.1467-9469.2007.00585.x
[68] Wu，C.F.J.（1983）。关于EM算法的收敛性。，Ann.Statist公司。11 95-103. ·Zbl 0517.62035号 ·doi:10.1214/aos/1176346060
[69] Wu，T.T.和Lange，K.（2008）。套索惩罚回归的坐标下降算法。，附录申请。统计数字2 224-244·Zbl 1137.62045号 ·doi:10.1214/07-AOAS174支持
[70] Zangwill，W.I.（1969）。，非线性规划；统一方法。新泽西州恩格尔伍德克利夫斯Prentice-Hall国际管理系列·Zbl 0195.20804号
[71] Zhang，C.-H.（2008）。H.Zou和R.Li，Ann.Statist关于“非洞穴惩罚似然模型中的一步稀疏估计”的讨论。36 1553-1560. ·Zbl 1282.62110号 ·doi:10.1214/07-AOS0316C
[72] Zhang，C.-H.（2010）。最小凹惩罚下的近似无偏变量选择。，Ann.Statist公司。38 894-942. ·Zbl 1183.62120号 ·doi:10.1214/09-AOS729
[73] 张，D.和张，M.（2007）。预测事件时间的分子特征贝叶斯分析。，西奥。生物医学模型。4 3.
[74] 邹华（2006）。自适应套索及其Oracle属性。，J.Amer。统计师。协会101 1418-1429·Zbl 1171.62326号 ·doi:10.1198/016214500000735
[75] Zou，H.和Hastie，T.（2005）。通过弹性网进行正则化和变量选择。，J.罗伊。统计师。Soc.序列号。乙67 301-320·兹比尔1069.62054 ·数字对象标识代码：10.1111/j.1467-9868.2005.0050.x
[76] Zou，H.和Hastie，T.（2008）。弹性网：用于稀疏估计和稀疏PCA R包版本的弹性网，1.0-5。
[77] 邹浩和李若明（2008）。非凹陷惩罚似然模型中的一步稀疏估计。，Ann.Statist公司。36 1509-1533. ·兹比尔1142.62027 ·doi:10.1214/0090536007000000802
[78] 邹浩和张浩浩（2009）。关于参数个数发散的自适应弹性网。，Ann.Statist公司。34 1733-1751. ·Zbl 1168.62064号 ·doi:10.1214/08-AOS625
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。