×

兹马思-数学第一资源

非光滑惩罚目标函数的优化最小化算法。(英语) Zbl公司 1267.65009
摘要:在高维统计分析中,惩罚或正则化的使用已变得很普遍,在高维统计分析中,一个越来越频繁的目标是同时选择重要变量并估计其影响。一些作者已经证明,这些目标可以通过最小化一些参数依赖的“拟合优度”函数(例如负对数似然)来实现,但要受到促进稀疏性的惩罚。在起源处是单数的惩罚函数受到了大量的关注,可以说是从套索惩罚开始的。目前的文献倾向于关注可微拟合优度函数和初始奇异罚函数的具体组合。这种结合的特殊性的一个结果是大量的计算算法被设计用来解决相当狭窄的优化问题,这些优化问题涉及的目标函数并非处处都是连续可微的。
在本文中,我们提出了一类一般的算法来优化满足一定正则条件的各种非光滑惩罚目标函数。该框架以优化最小化(MM)算法为核心优化引擎。在惩罚回归模型的情况下,得到的算法采用迭代软阈值,组件实现,允许快速和稳定的更新,避免了高维矩阵的倒置的需要。我们在比统计文献中先前考虑的更弱的假设下建立了收敛理论。我们还证明了新的加速方法,最初提出的期望和最大化(EM)算法,在这类问题的特殊有效性。仿真结果和微阵列数据实例证明了该算法的性能和通用性。

理学硕士:
65立方英尺 统计计算问题(MSC2010)
6207年 岭回归;收缩估计(套索)
6205年 线性回归;混合模型
62J12 广义线性模型(logistic模型)
PDF格式 BibTeX公司 XML 引用
参考文献:
[1] 艾丽莎黛,A。A、 ,艾森,M。B、 ,戴维斯,R。E、 ,硕士,C.,洛索斯,I。S、 ,罗森瓦尔德,A.,博尔德里克,J。C、 ,萨贝特,H.,特兰,T.,余,X.,鲍威尔,J。一、 ,杨,L.,马蒂,G。E、 ,摩尔,T.,哈德逊,J.,卢,L.,刘易斯,D。B、 ,蒂比拉尼,R.,夏洛克,G.,陈,W。C、 ,格雷纳,T。C、 ,魏森伯格,D。D、 ,阿米蒂奇,J。O、 ,沃克,R.,利维,R.,威尔逊,W.,格雷弗,M。R、 ,伯德,J。C、 ,博茨坦,D.,布朗,P。O.O。还有斯塔特,L。M(2000年)。基因表达谱鉴定的不同类型弥漫性大B细胞淋巴瘤,自然403 503-511。
[2] 安徒生,P。K、 ,博根,O.,吉尔,R。D。还有北卡罗来纳州的基丁(1993年),基于计数过程的统计模型。斯普林格,纽约·Zbl公司 769.62061
[3] 安藤,T.,Suguro,M.,小林,T.,Seto,M。还有本田(2003年)。基于分子谱的220例淋巴瘤患者预后预测与分类的多模糊神经网络系统。94906-913。
[4] 安内斯特,A.,布姆加纳,R.,拉夫特里,A。还有杨,K。是的(2009年)。迭代贝叶斯模型平均:一种应用于高维微阵列数据生存分析的方法,BMC生物信息学10 72。
[5] 安东尼亚迪斯,A.,吉布尔斯,I。尼科洛娃,M(2009年)。非二次惩罚广义线性模型的惩罚似然回归。仪器统计员。数学。1-31页。10.1007/s10463-009-0242-4·Zbl公司 1333.62113·doi:10.1007/s10463-009-0242-4
[六] 贝克,M。P、 ,杨,我。兰格,K(1997年)。无缺失数据的EM算法,统计方法。第6号决议38-54。
[7] 粘合剂,H。舒马赫,M(2008年)。考虑到强制协变量对稀疏高维生存模型的估计,BMC生物信息学9 14·Zbl公司 1276.62060·内政部:10.2202/1544-6115.1346
[8] 粘合剂,H。舒马赫,M(2009年)。生物信息学的高维信息预测模型。
[9] 波宁,D。林赛,B(1988年)。二次逼近算法的单调性。仪器统计员。数学。公元40641-663年·Zbl公司 723.65150·doi:10.1007/BF00049423
[10] 博伊德,S。还有范登伯格,L(2004年),凸优化。剑桥大学出版社·Zbl公司 1058.90049
[11] Chr公司é天,南。英雄,A。O(2008年)。关于EM算法及其近似推广,ESAIM Journ。概率统计12 308-326·Zbl公司 1187.65006·doi:10.1051/秒:2007041号·eudml:245282
[12] 克拉克,F。H(优化与非光滑分析。暹罗,费城·Zbl公司 696.49002
[13] 康贝茨,P。L。还有瓦杰斯,V。R(2005年)。近端前向后分裂信号恢复,多尺度模型。模拟。1168-1200年·Zbl公司 1179.94031·doi:10.1137/050626090
[14] 考克斯,D。R(1972年)。回归模型和寿命表(附讨论)。罗伊。统计学家。Soc。爵士。乙34 187-220·Zbl公司 243.62041·www.jstor.org
[15] 考克斯,D。R(1975年)。部分可能性,Biometrika 62 269-276·Zbl公司 312.62002·doi:10.1093/biomet/62.2.269
[16] 道比奇斯,I.,德雷西,M。德摩尔,C(2004年)。稀疏约束线性反问题的迭代阈值算法。纯应用程序。数学。1413-1457年·Zbl公司 1077.65055·doi:10.1002/cpa.20042
[17] 德莫尔,C.,德维托,E。还有罗萨斯科(2008年)。学习理论中的弹性网络正则化·Zbl公司 1319.62087
[18] 邓普斯特,A。P、 ,莱德,N。M。还有鲁宾。B(1977年)。不完全数据的最大似然法(讨论)。罗伊。统计学家。Soc。爵士。B 39 1-38·Zbl公司 364.62022
[19] 埃夫隆,B.,黑斯蒂,T.,约翰斯顿,L。还有提比拉尼(2004年)。最小回归角。统计学家。32407-452·Zbl公司 1091.62054·doi:10.1214/009053604000000067
[20] 恩格勒,D。还有李,Y(2009年)。高维协变量生存分析:在微阵列研究中的应用。申请。摩尔生物将军。8第14条·Zbl公司 1276.62067·内政部:10.2202/1544-6115.1423
[21] 范,J。李,R(2001年)。基于非CAVE惩罚似然的变量选择及其预言性质。阿默尔。统计学家。协会96 1348-1360·Zbl公司 1073.62547·doi:10.1198/016214501753382273
[22] Fan,J.,Feng,Y.,萨姆沃思,R。还有吴,Y(2009年a)。SIS:Sure Independent Screening R套装版本,0.2。
[23] Fan,J.,Samworth,R.和Wu,Y(2009年b)。超高维变量选择:超越线性模型,机器学习研究杂志10 1829-1853·Zbl公司 1235.62089
[24] 弗里德曼,J.,黑斯蒂,T。还有提比拉尼(2008年)。基于坐标下降的广义线性模型正则化路径技术报告,斯坦福大学统计系。
[25] 费根森,M。还有里托夫(1994年)。删失数据的单调估计方程。统计学家。22732-746·Zbl公司 807.62032·doi:10.1214/aos/1176325493
[26] 杰曼,D。雷诺兹,G(1992年)。约束恢复和不连续性恢复,IEEE Trans。帕特。肛门。机器。国际电话:14367-383。
[27] 桂,J。还有李,H(2005a)。高维低样本条件下的惩罚Cox回归分析,应用于微阵列基因表达数据,生物信息学21 3001-3008。
[28] 桂,J。还有李,H(2005年b)。阈值梯度下降法在药物基因组学中的应用,太平洋生物计算研讨会10272-283。
[29] 黑尔,E。T、 ,尹,W。还有张,Y(2008年)。l1极小化的不动点延拓:方法论和收敛性,SIAM J。擎天柱。1107-1130年·Zbl公司 1180.65076·数字标识:10.1137/070698920
[30] 黑斯,T。还有埃夫隆(2007年)。lars:最小角度回归,套索和前进阶段R包版本,0.9-7。
[31] Hiriart Urruty,J。B。莱玛呢é查尔,C(凸分析与极小化算法I:基础。斯普林格。
[32] 亨特,D。R。兰格,K(2004年)。MM算法教程。统计学家。58 30-37·Zbl公司 05680564·数字标识:10.1198/0003130042836
[33] 亨特,D。李和李(2005年)。使用MM算法进行变量选择,Ann。统计学家。1617-1643年·Zbl公司 1078.62028·doi:10.1214/009053605000000200
[34] 约翰逊,B。A、 ,林,D.-Y。曾,D(2008年)。半参数回归问题中的惩罚估计函数与变量选择。阿默尔。统计学家。协会103 672-680·Zbl公司 05564520·doi:10.1198/01621450800000184
[35] 约翰逊,L。M。还有斯特劳德曼。L(2009年)。半参数加速失效时间模型的诱导平滑:聚类数据的渐近性和扩展,Biometrika 96 577-590·Zbl公司 1170.62069·doi:10.1093/biomet/asp025
[36] Kim,Y.,Choi,H。哦,H.-S(2008年)。在高维上平滑地剪裁绝对偏差。阿默尔。统计学家。协会103 1665-1673·Zbl公司 1286.62062·doi:10.1198/016214508000001066
[37] 兰格,K(1995年)。一种局部等价于EM算法的梯度算法。罗伊。统计学家。Soc。爵士。乙57 425-437·Zbl公司 813.62021
[38] 兰格,K(2004年),优化。斯普林格,纽约,美国·Zbl公司 1140.90004
[39] 兰格,K.,亨特,D。杨,我(2000年)。使用替代目标函数优化转移。比较。图表。统计学家。9 1-20年。
[40] 李,H。还有桂,J(2004年)。高维微阵列基因表达数据的部分Cox回归分析,生物信息学20增刊。1,第208-215页。
[41] 李,H。还有卢安(2005年)。使用平滑样条增强比例风险模型,应用于高维微阵列数据,生物信息学21 2403-2409。
[42] 伦伯格,D。G。你,你(2008年),线性和非线性规划,第三版运筹学与管理科学国际丛书,116。斯普林格,纽约·Zbl公司 1207.90003
[43] 硕士,S。还有黄,J(2007年)。微阵列数据的加性风险生存模型,BMC生物信息学8192。
[44] 马丁内斯克莱门特,J。A、 ,艾莉莎黛,A。A、 ,塞格拉夫斯,R.,布尔萨,D.,鲁比奥·莫斯卡多,F.,艾伯森,D。G、 ,加西亚·康德,J.,戴尔,M。J、 ,利维,R.,平克尔,D。洛索斯,我。美国(2003年)。滤泡性淋巴瘤向弥漫性大细胞淋巴瘤的转化与DNA拷贝数和基因表达改变有关。
[45] 马祖德,R.,弗里德曼,J。还有黑斯,T(2009年)。SparseNet:协调下降与非凸惩罚技术报告,斯坦福大学统计系·Zbl公司 1229.62091
[46] 麦克拉克伦,G。J。克里希南,T(2008年),EM算法和扩展,第二版威利国际科学·Zbl公司 1165.62019
[47] 梅耶,R。R(1976年)。单调数学规划算法收敛的充分条件。计算机。系统。科学。12108-121·Zbl公司 337.65037·doi:10.1016/S0022-0000电话:(76)80021-9
[48] 梅耶,R。R(1977年)。强迫函数法与点对集映射法在收敛性分析中的比较。控制优化15 699-715·Zbl公司 363.90099·数字标识码:10.1137/0315045
[49] 尼科洛娃,M(2000年)。正则估计的局部强齐性,SIAM J。申请。数学。61633-658·Zbl公司 991.94015·doi:10.1137/S0036139997327794
[50] 奥尔特加,和瑞因堡,(1970),多变量非线性方程的迭代解。纽约学术出版社·Zbl公司 241.65046
[51] 帕克,M。是的。还有黑斯,T(2007年)。广义线性模型的L1正则化路径算法。罗伊。统计学家。Soc。爵士。乙69 659-677。·doi:10.1111/j.1467-9868.2007.00607.x
[52] 波兰,E(1987年)。论工程设计中不可微优化的数学基础。29 21-89年。·内政部:10.1137/1029002
[53] 罗兰,C。还有瓦拉丹(2005年)。非线性不动点问题的新迭代格式,及其在分支问题和不完全数据问题中的应用。数字。数学。55215-226·Zbl公司 1119.65335·doi:10.1016/j.apnum.2005.02.006
[54] 罗森瓦尔德,A.,赖特,G.,陈,W。C、 康纳斯,J。M、 ,坎波,E.,费舍尔,R。一、 ,加斯科因,R。D、 ,Muller Hermelink,H。K、 ,斯梅兰,E。B、 ,吉尔特纳,J。M、 ,受伤,E。M、 ,Zhao,H.,Averett,L.,Yang,L.,Wilson,W。H、 ,杰菲,E。S、 ,西蒙,R.,克劳斯纳,R。D、 ,鲍威尔,J.,达菲,P。五十、 ,隆戈,D。五十、 ,格雷纳,T。C、 ,魏森伯格,D。D、 ,桑格,W。G、 戴夫,B。J、 林奇,J。C、 ,沃斯,J.,阿米蒂奇,J。O、 ,蒙特塞拉特,E.,López Guillermo,A.,格罗根,T。M、 ,米勒,T。P、 ,LeBlanc,M.,Ott,G.,Kvaloy,S.,Delabie,J.,Holte,H.,Kraji,P.,Stokke,T。还有斯塔特,L。M(2002年)。应用分子分析预测弥漫性大B细胞淋巴瘤化疗后的生存率。英语。J。医学。346 1937-1947年。
[55] 罗塞特,S。朱,J(2007年)。分段线性正则化解路径。统计学家。公元1012-10335年·Zbl公司 1194.62094·doi:10.1214/009053606000000370
[56] Saeki,K.,Miura,Y.,Aki,D.,Kurosaki,T。吉村,A(2003年)。B细胞特异性的主要raft蛋白Raftlin是脂质筏和BCR信号转导的完整性所必需的。22 3015-3026。
[57] 希法诺,E。D(2010年)。惩罚估计博士论文题目,康奈尔大学。
[58] 新罕布什尔州塔德塞市。G。还有Vannucci M(2006年)。用于微阵列数据分析的贝叶斯变量选择,生物信息学22 2262-2268。
[59] 她,Y(2009年)。模型选择和收缩的基于阈值的迭代选择程序,电子统计杂志3 384-415·Zbl公司 1326.62158·doi:10.1214/08-EJS348
[60] 斯尼西,S。E、 ,纽格鲍尔,R。范德兰,M。J(2006年)。交叉验证的袋装生存预测。申请。摩尔生物将军。5第12条·Zbl公司 1166.62326·doi:10.2202/1544-6115.1180
[61] Sohn,I.,Kim,J.,Jung,S。H。还有帕克(2009年)。Cox比例风险模型梯度套索,生物信息学25 1775-1781。
[62] 蒂比拉尼,R(1996年)。回归收缩和选择通过套索,J。罗伊。统计学家。Soc。爵士。乙58 267-288·Zbl公司 850.62538
[63] 蒂比拉尼,R。J(2009年)。高维数据的cox模型的单变量收缩,statister。申请。摩尔生物将军。8第21条·Zbl公司 1276.62096·内政部:10.2202/1544-6115.1438
[64] 曾,P(2004年)。分析EM算法和类熵近点方法,运筹学数学29 27-44·Zbl公司 1082.90092·doi:10.1287/moor.1030.0073
〔65〕 曾,P。还有云,S(2009年)。非光滑可分极小化的坐标梯度下降法,数学规划B 117 387-423·Zbl公司 1166.90016·doi:10.1007/s10107-007-0170-0
[66] 瓦伊达,F(2005年)。EM和MM算法的参数收敛性,Statist。中国15 831-840·Zbl公司 1087.62035
[67] 瓦拉丹,R。还有罗兰(2008年)。加速任何EM算法收敛的简单和全局收敛方法。J。统计学家。35335-353·Zbl公司 1164.65006·doi:10.1111/j.1467-9469.2007.00585.x
[68] 吴,C。F。J(1983年)。关于EM算法的收敛性。统计学家。11 95-103·Zbl公司 517.62035·doi:10.1214/aos/117634060
〔69〕 吴,T。T。兰格,K(2008年)。套索惩罚回归的坐标下降算法。申请。状态2 224-244·Zbl公司 1137.62045·doi:10.1214/07-AOAS174SUPP
[70] 赞威尔,W。一(1969),非线性规划;统一的方法。普伦蒂斯·霍尔国际管理系列,新泽西州恩格尔伍德悬崖·Zbl公司 195.20804
[71] 张,C.-H(2008年)。讨论了H。邹和R。李,安。统计学家。1553-1560年·Zbl公司 1282.62110·doi:10.1214/07-AOS0316C
[72] 张,C.-H(2010年)。极大极小凹惩罚下的几乎无偏变量选择。统计学家。38894-942·Zbl公司 1183.62120·doi:10.1214/09-AOS729
[73] 张博士。还有张先生(2007年)。分子特征的贝叶斯分析预测事件时间。生物。医学。模型。4 3。
[74] 邹,H(2006年)。自适应套索及其甲骨文性质。阿默尔。统计学家。协会101 1418-1429·Zbl公司 1171.62326·doi:10.1198/0162145060000735
[75] 邹,H。还有黑斯,T(2005年)。正则化与弹性网络变量选择。罗伊。统计学家。Soc。爵士。B 67 301-320·Zbl公司 1069.62054·doi:10.1111/j.1467-9868.2005.00503.x
[76] 邹,H。还有黑斯,T(2008年)。elasticnet:用于稀疏估计的弹性网和稀疏PCA R包版本,1.0-5。
[77] 邹,H。李,R(2008年)。非空穴惩罚似然模型中的一步稀疏估计。统计学家。1509-1533年·Zbl公司 1142.62027·doi:10.1214/00905360700000802
[78] 邹,H。还有张,H。H(2009年)。关于参数发散的自适应弹性网络。统计学家。1733-1751年·Zbl公司 1168.62064·doi:10.1214/08-AOS625
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。