×
于立群;林，南

大数据中惩罚分位数回归的ADMM。 （英语） Zbl 07763567号

国际统计版次。 85，第3期，494-518（2017）.
摘要：分位数回归的传统线性规划算法，例如单纯形法和内点法，适用于中小型数据。然而，这些方法很难推广到通常需要处罚的高维大数据。此外，当代大数据的巨大规模要求在分布式计算平台上开发大规模算法。传统的线性规划算法本质上是顺序的，不适合这种框架。本文讨论了如何使用流行的ADMM算法来解决大规模惩罚分位数回归问题。ADMM算法可以很容易地并行化并在现代分布式框架中实现。仿真结果表明，ADMM算法与传统的LP算法一样精确，但即使在非并行情况下也会更快。
{©2017 The Authors.International Statistical Review©2017国际统计研究所}

引用于13文件

MSC公司：

62至XX 统计

关键词：

惩罚分位数回归;ADMM公司;大规模的;分而治之;Hadoop公司;MapReduce

软件：

D-ADMM公司;Hadoop公司;iMapReduce;BADMM公司;MapReduce;QICD公司;稀疏的
PDF格式BibTeX公司 XML格式引用
\textit{L.Yu}和\textit{N.Lin}，国际统计第85版，第3期，494--518（2017；Zbl 07763567）
全文： 内政部

参考文献：

[1] Belloni，A.和Chernozhukov，V.（2011）。高维稀疏模型中的L1惩罚分位数回归。Ann.Stat.，39，82-130·Zbl 1209.62064号
[2] Boyd，S.、Parikh，N.、Chu，E.、Peleato，B.和Eckstein，J.（2011）。通过交替方向乘数法进行分布式优化和统计学习。已找到。趋势马赫数。学习，3（1），1-122·Zbl 1229.90122号
[3] Chen，C.&Wei，Y.（2005）。分位数回归的计算问题。《印度法律总汇》，67（2），399-417·Zbl 1192.62114号
[4] Dean，J.&Ghemawat，S.（2008年）。Mapreduce：简化大型集群上的数据处理。Commun公司。美国医学会，51（1），107-113。
[5] Deng，W.和Yin，W.（2016）。广义交替方向乘子法的全局收敛性和线性收敛性。科学杂志。计算。，66(3), 889-916. ·Zbl 1379.65036号
[6] Eckstein，J.和Bertsekas，D.P.（1992年）。关于最大单调算子的Douglas-Rachford分裂方法和近点算法。数学。程序。，55(1), 293-318. ·Zbl 0765.90073号
[7] Fan，J.&Li，R.（2001）。通过非冲突惩罚似然及其oracle属性进行变量选择。《美国统计协会期刊》，96（456），1348-1360·Zbl 1073.62547号
[8] Gabay，D.（1983年）。乘数法在变分不等式中的应用。《增广拉格朗日方法：在边值问题求解中的应用》，Eds.Fortin M.（ed.）和Glowinski R.（ed..），霍斯·霍兰：阿姆斯特丹。
[9] Gabay，D.&Mercier，B.（1976年）。通过有限元近似求解非线性变分问题的对偶算法。计算。数学。申请。，2(1), 17-40. ·Zbl 0352.65034号
[10] Glowinski，R.和Marroco，A.（1975年）。在近似条件下，部分完成了“秩序”，以及“解决方案”，部分实现了非利奈类问题的双重化。Revue Française d’automatique、Informatique、Recherche Opérationnelle。《Numérique分析》，9（2），41-76·兹比尔0368.65053
[11] Hallin，M.、Paindaveine，D.、Šiman，M..、Wei，Y.、Serfling，R.、Zuo，Y.，Kong，L.和Mizera，I.（2010年）。多变量分位数和多输出回归分位数：从Ş_1优化到半空间深度。《美国年鉴》，38（2），635-703·Zbl 1183.62088号
[12] He，B.&Yuan，X.（2012）。关于Douglas-Rachford交替方向法的o（1/n）收敛速度。SIAM J.数字。分析。，50(2), 700-709. ·Zbl 1245.90084号
[13] Hong，M.和Luo，Z.-Q。(2012). 关于交替方向乘数法的线性收敛性。arXiv预打印arXiv:1208.3922。
[14] Hong，M.、Luo，Z.-Q.和Razaviyayn，M.（2014年）。一类非凸问题交替方向乘子法的收敛性分析。arXiv预打印arXiv:1410.1390。
[15] Ignizio，J.P.（1976年）。目标规划和扩展。Lanham，MD:Lexington Books公司。
[16] Jiang，B.、Ma，S.和Zhang，S.（2014）。实多项式和复多项式优化模型的交替方向乘数法。最佳。，63(6), 883-898. ·Zbl 1291.90242号
[17] Karmarkar，N.（1984）。线性规划的一种新的多项式时间算法。第十六届ACM计算机理论年会论文集。第302-311页。华盛顿特区：ACM·Zbl 0557.90065号
[18] Koenker，R.（2005）。分位数回归，计量经济学社会专著。剑桥大学出版社：英国剑桥·Zbl 1111.62037号
[19] Koenker，R.和Bassett Jr，G.（1978年）。回归分位数。计量经济学，46（1），33-50·Zbl 0373.62038号
[20] Li，G.&Pong，T.K.（2014）。非凸组合优化的分裂方法。arXiv预打印arXiv:1407.0753。
[21] Mazumder，R.、Friedman，J.H.和Hastie，T.（2011年）。Sparsenet：协调下降与非凸惩罚。J.艾默。统计师。协会，106（495），1125-1138·Zbl 1229.62091号
[22] Mota，J.F.、Xavier，J.M.、Aguiar，P.M.和Püschel，M.（2011年）。应用于多面体约束函数的交替方向乘数法的收敛性证明。arXiv预打印arXiv:1112.2295。
[23] Mota，J.F.、Xavier，J.M.、Aguiar，P.M.和Puschel，M.（2013）。D‐admm：一种用于可分离优化的高效通信分布式算法。信号处理。，IEEE传输。，61(10), 2718-2723. ·兹比尔1393.94059
[24] Parikh，N.&Boyd，S.（2014年）。用于分布式优化的块拆分。货币政策委员会，6（1），77-102·Zbl 1305.90291号
[25] Peng，B.和Wang，L.（2015）。高维非凸惩罚分位数回归的迭代坐标下降算法。J.公司。图表。统计，24（3），676-694。
[26] Schifano，E.D.、Wu，J.、Wang，C.、Yan，J.和Chen，M.‐H。(2016). 大数据环境中统计推断的在线更新。技术计量学，58（3），393-403。
[27] Shen，Y.、Wen，Z.和Zhang，Y.（2014）。基于低秩分解的矩阵分离的增广拉格朗日交替方向法。最佳方案。方法。软质。，29(2), 239-263. ·Zbl 1285.90068号
[28] Tibshirani，R.（1996）。通过套索进行回归收缩和选择。J.R.Stat.Soc.系列B（方法学），58（1），267-288·Zbl 0850.62538号
[29] Wang，H.和Banerjee，A.（2014）。Bregman交替方向乘数法。第27届神经信息处理系统国际会议论文集。加拿大蒙特利尔，第2816-2824页。
[30] Wang，L.，Wu，Y.和Li，R.（2012）。分位数回归用于分析超高维异质性。《美国统计协会杂志》，107214-222·Zbl 1328.62468号
[31] Wei，E.&Ozdaglar，A.（2012年）。分布式交替方向乘法器法。2012年第51届IEEE决策与控制会议（CDC）。夏威夷毛伊岛，第5445-5450页。
[32] Wei，E.&Ozdaglar，A.（2013）。异步分布式交替方向乘法器方法的o（1/k）收敛性。IEEE信号和信息处理全球会议（GLOBALSIP），第551-554页：德克萨斯州奥斯汀。
[33] Wei，Y.（2008）。一种多元协变量相关分位数轮廓的方法，并应用于二元条件增长图。《美国统计协会期刊》，103（481），397-409·Zbl 1469.62241号
[34] White，T.（2012）。Hadoop：最终指南。加利福尼亚州塞巴斯托波尔：O'Reilly Media，Inc。
[35] Xu，Y.、Yin，W.、Wen，Z.和Zhang，Y.（2012）。非负因子矩阵补全的交替方向算法。前面。数学。中国，7（2），365-384·Zbl 1323.65044号
[36] Yang，J.、Meng，X.和Mahoney，M.W.（2014）。大规模应用的分位数回归。SIAM J.科学。计算。，36（5），S78-S110·Zbl 1314.68391号
[37] Yang，J.和Zhang，Y.（2011）。压缩传感中l1问题的交替方向算法。SIAM J.科学。计算。，33(1), 250-278. ·Zbl 1256.65060号
[38] Zhang，C.‐H。等，2010年）。极小极大凹惩罚下的几乎无偏变量选择。《美国年鉴》，38（2），894-942·Zbl 1183.62120号
[39] Zhang，R.和Kwok，J.（2014）。用于一致优化的异步分布式ADMM。《第31届国际机器学习会议记录》（ICML-14），第1701-1709页。
[40] Zhang，Y.、Gao，Q.、Gau，L.和Wang，C.（2012）。Imapreduce：用于迭代计算的分布式计算框架。网格计算。，10(1), 47-68.
[41] Zhong，L.W.和Kwok，J.T.（2014）。非凸和复合正则化的梯度下降与近似平均。《全国人工智能会议记录》，第2206页：魁北克省魁北克市。
[42] Zou，H.和Hastie，T.（2005年）。通过弹性网进行规则化和变量选择。J R Stat Soc系列B（统计方法），67（2），301-320·Zbl 1069.62054号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。