×
黄、健;焦裕玲;李灿·康;刘，金;刘燕燕;吕锡良

GSDAR：具有统计保证的正则化广义线性模型的快速牛顿算法。 （英语） Zbl 1505.62193号

计算。斯达。 37，第1号，507-533（2022）.
摘要：我们提出了一种基于支持检测和寻根的正则化高维广义线性模型的快速牛顿算法。我们将建议的方法称为GSDAR。GSDAR是基于惩罚最大似然估计量的KKT条件开发的，并迭代生成KKT系统的解序列。我们证明了GSDAR可以等价地表示为广义牛顿算法。在似然函数的有限可逆条件和回归系数的稀疏条件下，我们建立了GSDAR在上确界范数下生成的解序列的估计误差的显式上界，并证明了它在有限次迭代中以高概率达到了最优阶数。此外，我们还表明，当目标信号高于可检测水平时，预言估计可以以较高的概率恢复。这些结果直接关系到GSDAR算法生成的解序列，而不是理论上定义的全局解。我们进行了仿真和实际数据分析，以证明该方法的有效性。

引用于1文件

MSC公司：

62-08 统计问题的计算方法
62J12型 广义线性模型（逻辑模型）

关键词：

高维广义线性模型;稀疏学习;\（\ell_0\）-罚款;支持检测;估计误差

软件：

格尔姆奈特;GSDAR公司
PDF格式BibTeX公司 XML格式引用
\textit{J.Huang}等人，计算。《法律总汇》第37卷，第1期，507–533页（2022年；兹bl 1505.62193）
全文： 内政部

参考文献：

[1] 阿布拉莫维奇，F。；Y.本杰米尼。；多诺霍，DL；Johnstone，IM，通过控制错误发现率来适应未知稀疏性，Ann Stat，34，2584-653（2006）·兹比尔1092.62005
[2] Birgé，L。；Massart，P.，高斯模型选择，《欧洲数学学会杂志》，3，3，203-268（2001）·Zbl 1037.62001
[3] 博格丹，M。；Ghosh，JK；Doerge，R.，修改schwarz贝叶斯信息标准以定位多个相互作用的数量性状位点，遗传学，167,2989-999（2004）
[4] 博格丹，M。；Ghosh，JK；Żak-Szatkowska，M.，用贝叶斯信息准则的修改版本选择解释变量，Qual Reliab Eng Int，24，6，627-641（2008）
[5] Breheny，P。；Huang，J.，非凸惩罚回归的坐标下降算法，及其在生物特征选择中的应用，Ann Appl Stat，5，1，232（2011）·Zbl 1220.62095号
[6] Breheny，P。；Huang，J.，带分组预测因子的非凸惩罚线性和logistic回归模型的群下降算法，Stat-Comput，25，2，173-187（2015）·Zbl 1331.62359号
[7] 陈，J。；Chen，Z.，大模型空间模型选择的扩展贝叶斯信息准则，Biometrika，95，3，759-771（2008）·Zbl 1437.62415号
[8] 陈，J。；Chen，Z.，小n大p稀疏glm的扩展bic，Stat Sinica，22，555-574（2012）·Zbl 1238.62080号
[9] 陈，X。；Z.纳希德。；Qi，L.，不可微算子方程的平滑方法和半光滑方法，SIAM J Numer Ana，38，4，1200-1216（2000）·Zbl 0979.65046号
[10] 陈，X。；Ge，D。；王，Z。；Ye，Y.，无约束l2-lp最小化的复杂性，数学程序，143，1-2，371-383（2014）·Zbl 1285.90039号
[11] Dolejsi，E。；Bodenstorfer，B。；Frommlet，F.，《利用fdr控制贝叶斯信息标准修改分析全基因组关联研究》，《公共科学图书馆·综合》，9，7，e103322（2014）
[12] 范，J。；Li，R.，《基于非一致惩罚似然的变量选择及其预言属性》，美国统计协会，96，456，1348-1360（2001）·Zbl 1073.62547号
[13] 范，J。；Lv，J.，超高维特征空间的确定独立筛选，J R Stat Soc:Ser B（Stat Methodol），70，5，849-911（2008）·Zbl 1411.62187号
[14] 弗里德曼，J。；哈斯蒂，T。；Tibshirani，R.，通过坐标下降广义线性模型的正则化路径，J Stat Softw，33，1，1（2010）
[15] Frommlet，F。；Nuel，G.，《用于l0正则化的自适应岭过程》，PloS One，11，2，e0148620（2016）
[16] Frommlet，F。；Ruhaltinger，F。；Twaróg，P。；Bogdan，M.，《全基因组关联研究贝叶斯信息标准的修正版本》，《计算统计数据分析》，56，5，1038-1051（2012）
[17] Frommlet，F。；博格丹，M。；Ramsey，D.，表型和基因型（2016），柏林：施普林格出版社，柏林·Zbl 1342.92004号
[18] Ge，J。；李，X。；姜浩。；刘，H。；张，T。；王，M。；Zhao，T.，Picasso:R和Python中高维数据分析的稀疏学习库，J Mach Learn Res，20，44，1-5（2019）
[19] Huang，J。；焦，Y。；刘，Y。；Lu，X.，《对10惩罚回归的建设性方法》，J Mach Learn Res，19，1，403-439（2018）·Zbl 1444.62091号
[20] Huang J，Jiao Y，Jin B，Liu J，Lu X，Yang C（2021）一种用于非凸稀疏恢复的统一原对偶主动集算法。统计科学（即将出现）。arXiv:1310.1147·Zbl 07368234号
[21] 焦，Y。；Jin，B。；Lu，X.，通过（ell^0（ell^2）惩罚的群稀疏恢复：理论和算法，IEEE Trans Signal Process，65，4，998-1012（2017）·Zbl 1414.94280号
[22] Li X，Yang L，Ge J，Haupt J，Zhang T，Zhao T（2017）关于非凸稀疏学习中DC近似牛顿算法的二次收敛性。作者：Guyon I、Luxburg UV、Bengio S、Wallach H、Fergus R、Vishwanathan S、Garnett R（eds）《神经信息处理系统进展》，第30卷，Curran Associates，Inc
[23] Loh，P-L；Wainwright，MJ，非凸正则m-估计量：局部最优的统计和算法理论，J Mach Learn Res，16，559-616（2015）·Zbl 1360.62276号
[24] Louizos C，Welling M，Kingma DP（2018）通过（L_0）正则化学习稀疏神经网络。摘自：学习表现国际会议，第1-13页。统一资源定位地址https://openreview.net/forum？id=H1Y8hhg0b
[25] 罗，S。；Chen，Z.，超高维特征空间特征选择的顺序套索和ebic，美国统计学会，109，507，1229-1240（2014）·Zbl 1368.62205号
[26] Ma R，Miao J，Niu L，Zhang P（2019）用于学习稀疏深度神经网络的变换正则化。统一资源定位地址https://arxiv.org/abs/1901.01021 ·Zbl 1434.68512号
[27] McCullagh，P.，广义线性模型（2019），牛津郡：罗特利奇，牛津郡·Zbl 0556.62041号
[28] Meier，L。；Van De Geer，S。；Bühlmann，P.，logistic回归的组套索，J R Stat Soc:Ser B（Stat Methodol），70，1，53-71（2008）·Zbl 1400.62276号
[29] Natarajan，BK，线性系统的稀疏近似解，SIAM J Compute，24，2，227-234（1995）·Zbl 0827.68054号
[30] 内尔德，JA；Wedderburn，RW，广义线性模型，J R Stat Soc:Ser A（通用），135，3，370-384（1972）
[31] Nesterov，Y.，最小化复合函数的梯度方法，数学程序，140，1，125-161（2013）·兹比尔1287.90067
[32] 停车，MY；Hastie，T.，广义线性模型的L1正则化路径算法，J R Stat Soc:Ser B（Stat Methodol），69，4，659-677（2007）·Zbl 07555370号
[33] Qi，L.，求解非光滑方程的一些算法的收敛性分析，数学运筹学研究，18，1，227-244（1993）·Zbl 0776.65037号
[34] 齐，L。；Sun，J.，牛顿方法的非光滑版本，《数学程序》，58，1-3，353-367（1993）·Zbl 0780.90090号
[35] Rockafellar，RT公司；Wets，RJ-B，Var Ana（2009），柏林：Springer科学与商业媒体，柏林
[36] 斯卡达潘，S。；Comminiello，D。；侯赛因，A。；Uncini，A.，深度神经网络的群稀疏正则化，神经计算，241，81-89（2017）
[37] Schwarz，G.，估算模型的维数，Ann Stat，6，2，461-464（1978）·Zbl 0379.62005年
[38] 沈J，李鹏（2017）基于硬阈值追求的支持恢复迭代复杂性研究。在：第34届机器学习国际会议论文集第70卷，第3115-3124页
[39] Tibshirani，R.，通过套索进行回归收缩和选择，J R Stat Soc:Ser B（方法学），58，1，267-288（1996）·Zbl 0850.62538号
[40] Van de Geer，SA，高维广义线性模型和套索，Ann Stat，36，2，614-645（2008）·Zbl 1138.62323号
[41] Wang，L。；金，Y。；Li，R.，校准超高维非凸惩罚回归，Ann Stat，41，5，2505（2013）·兹比尔1281.62106
[42] Wang R，Xiu N，Zhou S（2019）稀疏logistic回归的快速牛顿法。arXiv预打印arXiv:1901.02768
[43] 王，Z。；刘，H。；Zhang，T.，稀疏非凸学习问题的最优计算和统计收敛速度，Ann Stat，42，6，2164（2014）·Zbl 1302.62066号
[44] Ye，F。；Zhang，C-H，lr球lq损失的套索和dantzig选择器的最小速率，J Mach Learn Res，12月11日，3519-3540（2010）·Zbl 1242.62074号
[45] 元，X-T；李，P。；Zhang，T.，梯度硬阈值追求，J Mach Learn Res，18，166（2017）·Zbl 1471.90114号
[46] Żak-Szatkowska，M。；Bogdan，M.，《稀疏广义线性模型贝叶斯信息准则的修正版本》，《计算统计数据分析》，55，11，2908-294（2011）·Zbl 1218.62073号
[47] Zhang，C-H，最小最大凹惩罚下的几乎无偏变量选择，Ann Stat，38，2，894-942（2010）·Zbl 1183.62120号
[48] 张，C-H；Zhang，T.，高维稀疏估计问题凹正则化的一般理论，Stat Sci，27，4，576-593（2012）·Zbl 1331.62353号
[49] 邹，H。；Hastie，T.，《通过弹性网进行正则化和变量选择》，J R Stat Soc:Ser B（Stat Methodol），67，2，301-320（2005）·Zbl 1069.62054号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。