×
岳汉瑞；杨庆志；王祥峰；袁晓明

实现大数据集乘数的交替方向方法：最小绝对收缩和选择算子的案例研究。 （英语） Zbl 1398.65147号

SIAM J.科学。计算。 40，编号5，A3121-A3156（2018）.
摘要：交替方向乘法器方法（ADMM）已广泛应用于各种不同的应用中。当考虑具有高维变量的大型数据集时，由ADMM产生的子问题必须得到不精确的解决，即使它们在理论上可能有封闭的解决方案。这样的场景会立即产生数学上的模糊性，例如如何准确地解决这些子问题，以及是否仍能保证收敛性。虽然ADMM是众所周知的，但似乎应该深入研究这些主题。在本文中，我们研究了如何在大型数据集场景中实现ADMM的数学方法。更具体地说，我们试图关注凸规划的情况，其中在模型的目标函数中存在一个具有极高维变量的二次函数；因此，在ADMM的每次迭代中都需要求解线性方程组的超大规模系统。结果表明，不需要精确求解该线性系统，实际上这是不可能的，我们尝试提出一个可调的不精确性准则，以自动、不精确地求解此线性系统。我们进一步尝试确定内部嵌套迭代的安全数，如果线性系统将由标准的数值线性代数解算器求解，则可以充分确保此不精确性标准。对于具有未精确求解子问题的ADMM，严格地建立了收敛性以及由迭代复杂性度量的最坏情况收敛速度。对包含数百万变量的最小绝对收缩和选择算子的大型数据集进行了一些数值实验，以证明上述ADMM的不精确实现的效率。

引用于三文件

MSC公司：

65K10码 数值优化和变分技术
90C06型 数学规划中的大尺度问题
90C25型 凸面编程
47时05分 单调算子和推广

关键词：

凸规划；交替方向乘法器法；高尺寸；大数据；拉索；分布式LASSO；收敛

软件：

LSQR（LSQR）；RCV1型；ElemStatLearn（电子状态学习）；CRAIG公司
PDF格式BibTeX公司 XML格式引用
\textit{H.Yue}等人，SIAM J.Sci。计算。40，第5号，A3121--A3156（2018；Zbl 1398.65147）
全文： 内政部

参考文献：

[1] G.安德鲁斯，多线程、并行和分布式编程基础，Addison-Wesley，马萨诸塞州波士顿，2000年。
[2] F.Bach、R.Jenatton、J.Mairal和G.Obozinski，稀疏诱导惩罚优化，找到。趋势马赫数。学习。，4（2012），第1-106页·Zbl 06064248号
[3] R.Baraniuk和P.Steeghs，压缩雷达成像，《2007年IEEE雷达会议论文集》，IEEE，2007年。
[4] R.Bekkerman、M.Bilenko和J.Langford，扩大机器学习：并行和分布式方法，剑桥大学出版社，英国剑桥，2011年。
[5] S.Boyd、N.Parikh、E.Chu、B.Peleato和J.Eckstein，基于交替方向乘数法的分布式优化和统计学习，找到。趋势马赫数。学习。，3（2011），第1-122页·Zbl 1229.90122号
[6] K.Bredies和H.Sun，凹凸鞍点问题的预处理Douglas\textendashRachford分裂方法，SIAM J.数字。分析。，53（2015），第421-444页·Zbl 1314.65084号
[7] K.Bredies和H.Sun，预处理交替方向乘子法的近点分析，J.Optim。理论应用。，173（2017），第878–907页·兹比尔1380.65101
[8] T.Chan和R.Glowinski，一类轻度非线性椭圆型方程的有限元逼近与迭代解，报告STAN-CS-78-674，斯坦福大学计算机科学系，斯坦福大学，1978年。
[9] T.-H.Chang、M.Hong和X.Wang，基于不精确一致ADMM的多智能体分布式优化，IEEE传输。信号处理。，63（2015），第482-497页·Zbl 1393.90124号
[10] J.Chen和A.说，网络分布式优化和学习的扩散适应策略，IEEE传输。信号处理。，60（2012年），第4289-4305页·Zbl 1391.90601号
[11] 邓文华和尹文华，广义交替方向乘子法的全局收敛性和线性收敛性，《科学杂志》。计算。，66（2015），第889–916页·Zbl 1379.65036号
[12] J.Eckstein和D.Bertsekas，关于最大单调算子的Douglas\textendashRachford分裂方法和近点算法，数学。程序。，55（1992），第293–318页·Zbl 0765.90073号
[13] J.Eckstein和W.Yao，理解乘数交替方向方法的收敛性：理论和计算视角，太平洋。J.Optim。，11（2015），第619-644页·Zbl 1330.90074号
[14] J.Eckstein和W.Yao，Douglas\textendashRachford分裂的相对误差近似版本和ADMM的特殊情况，数学。程序。，（2017年）·Zbl 1401.90151号
[15] F.Facchinei和J.-S.Pang，有限维变分不等式与互补问题，施普林格，纽约，2003年·Zbl 1062.90001号
[16] M.Fortin和R.Glowinski，第1章二次规划中的增广拉格朗日方法，载于《增广拉格朗日方法：边值问题数值解的应用》，Elsevier，纽约，1983年，第1-46页·Zbl 0525.65045号
[17] S.Foucart和H.Rauhut，压缩传感的数学导论《应用和数值谐波分析》，Springer，纽约，2013年·Zbl 1315.94002号
[18] D.加贝，第九章乘数法在变分不等式中的应用，载于《增广拉格朗日方法：边值问题数值解的应用》，Elsevier，纽约，1983年，第299-331页·Zbl 0525.65045号
[19] D.Gabay和B.Mercier，有限元逼近求解非线性变分问题的对偶算法，计算。数学。申请。，2（1976年），第17–40页·Zbl 0352.65034号
[20] R.Glowinski，乘数交替方向法的历史考察，摘自《应用科学中的计算方法》，施普林格，多德雷赫特，荷兰，2014年，第59-82页·兹比尔132065098
[21] R.Glowinski和A.Marrocco，Sur l’a近似，par eéleéments finis d’ordre un，et la reísolution，par peénalisation-dualeéd’une classe de problèmes de dirichlet non-lineñairesRAIRA分析。编号。，9（1975年），第41-76页·Zbl 0368.65053号
[22] R.Glowinski和P.Tallec，非线性力学中的增广拉格朗日方法和算子分裂方法，螺柱应用。数学。，SIAM，费城，1989年·Zbl 0698.73001号
[23] T.Hastie、R.Tibshirani和J.Friedman，统计学习的要素：数据挖掘、推理和预测《施普林格统计系列》，施普林格，纽约，2013年·Zbl 0973.62007号
[24] 何斌、廖立中、韩德仁、杨海波，单调变分不等式的一种新的非精确交替方向法，数学。程序。，92（2002），第103–118页·Zbl 1009.90108号
[25] B.He、F.Ma和X.Yuan，凸规划乘数的最优线性化交替方向法，电子打印。
[26] B.He、H.K.Xu和X.Yuan，多块可分凸极小化问题ALM的近似雅可比分解及其与ADMM的关系，SIAM J.科学。计算。，66（2015），第1204-1217页·Zbl 1371.65052号
[27] B.He和H.Yang，线性约束单调变分不等式乘数法的收敛性，操作。Res.Lett.公司。，23（1998），第151-161页·Zbl 0963.49006号
[28] B.他和X.Yuan，关于Douglas交替方向法的（O（1/n））收敛速度，SIAM J.数字。分析。，50（2012），第700–709页·Zbl 1245.90084号
[29] B.他和X.Yuan，Douglas\textendashRachford交替方向乘子法的非遍历收敛速度，数字。数学。，130（2015），第567–577页·Zbl 1320.90060
[30] Y.Juan、Y.Zhung、W.S.Chin和C.J.Lin，用于CTR预测的现场软件分解机，《第十届ACM推荐系统会议记录》，ACM出版社，普罗维登斯，RI，2016年。
[31] S.Keerthi和D.DeCoster，大规模线性支持向量机快速求解的改进有限牛顿法，J.马赫。学习。第6号决议（2005年），第341-361页·Zbl 1222.68231号
[32] D.Lewis、Y.Yang、T.G.Rose和F.Li，RCV1：文本分类研究的新基准集合，J.马赫。学习。Res.，5（2004），第361-397页。
[33] M.Lustig、D.Donoho和J.Pauly，稀疏MRI：压缩传感在快速MR成像中的应用《磁共振医学》，58（2007），第1182-1195页。
[34] J.Ma、L.Saul、S.Savage和G.Voelker，识别可疑URL：大规模在线学习的应用，《第26届机器学习国际年会论文集》，ACM，2009年，第681-688页。
[35] R.Mises和H.Pollaczek-Geiringer，Praktische verfahren der gleichungsauflâ¶sung祈祷，ZAMM Z.Angew。数学。机械。，9（1929），第58–77页·JFM 55.0305.01号文件
[36] R.D.C.Monteiro和B.F.Svaiter，块分解算法的迭代复杂性和交替方向乘法器方法、SIAM J.Optim.、。，23（2013），第475-507页·Zbl 1267.90181号
[37] A.Nedic、A.Ozdaglar和P.Parrilo，多智能体网络中的约束一致性与优化，IEEE传输。自动化。控制，55（2010），第922-938页·Zbl 1368.90143号
[38] J.Neumann、C.Schn¶rr和G.Steidl，基于SVM的组合特征选择和分类，马赫。学习。，61（2005），第129-150页·Zbl 1137.90643号
[39] M.K.Ng、F.Wang和X.Yuan，图像恢复的非精确交替方向方法，SIAM J.科学。计算。，33（2011），第1643–1668页·Zbl 1234.94013号
[40] C.Paige和M.Saunders，LSQR：稀疏线性方程组和稀疏最小二乘的算法，ACM变速器。数学。《软件》，8（1982年），第43-71页·Zbl 0478.65016号
[41] B.Recht、M.Fazel和P.A.Parrilo，基于核范数极小化的线性矩阵方程保最小秩解SIAM Rev.，52（2010），第471-501页·Zbl 1198.90321号
[42] R.Rockafellar、M.Wets和R.Wets，变分分析，施普林格，柏林，2009年·Zbl 0888.49001号
[43] R.Tibshirani，通过套索回归收缩和选择，J.R.Stat.Soc.Ser.，《美国国家统计年鉴》。B.统计方法。（1996），第267-288页·Zbl 0850.62538号
[44] L.Trefethen和D.Bau，数值线性代数，SIAM，费城，1997年·Zbl 0874.65013号
[45] R.Varga，矩阵迭代分析，施普林格，柏林，2009年·Zbl 1216.65042号
[46] X.Wang和X.Yuan，Dantzig选择器乘法器的线性化交替方向法，SIAM J.科学。计算。，34（2012年），第A2792–A2811页·兹比尔1263.90061
[47] M.Woodbury，反转修改矩阵《备忘录报告42》，统计研究小组，普林斯顿大学，新泽西州普林斯顿，1950年。
[48] J.Yang和X.Yuan，核范数最小化的线性增广拉格朗日和交替方向方法，数学。公司。，82（2013），第301-329页·Zbl 1263.90062号
[49] M.Yuan和Y.Lin，分组变量回归中的模型选择与估计，J.R.Stat.Soc.Ser.，《美国国家统计年鉴》。B.统计方法。，68（2006），第49-67页·Zbl 1141.62030号
[50] X.袁，He等非精确交替方向法求解单调变分不等式的相对误差改进，数学。计算。型号。，42（2005），第1225-1236页·Zbl 1081.49010号
[51] 朱先生和马丁内斯先生，不等式和等式约束下的分布式凸优化，IEEE传输。自动化。控制，57（2012），第151-164页·Zbl 1369.90129号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。