×
王东霞;雷永美;周建辉

MPI/OpenMP并行异步分布式交替方向混合乘法器方法。 （英语） Zbl 1483.68325号

计算 103，第12号，2737-2762（2021）.
摘要：分布式交替方向乘数法（ADMM）是解决大规模优化问题最广泛使用的算法之一。由于分布式ADMM的内存消耗、通信成本和收敛性受到工作人员数量的影响，因此如何提高分布式ADMM的可扩展性是其面临的主要挑战之一。为了应对这一挑战，本文提出了一种基于混合并行模型的异步分布式ADMM（HPAD-ADMM），该模型使用OpenMP在节点内部进行并行化，使用MPI在分布式系统中的节点之间进行消息传递。每个工作者通过多线程并行解决子问题，这在不影响系统收敛或增加通信成本和内存消耗的情况下，减少了每次迭代的系统时间。此外，本文设计了高效的并行算法来解决不同应用的子问题。对于L1正则化logistic回归问题，子问题采用并行信赖域牛顿法求解，通过调整子问题的精度来减少系统时间。对于套索问题，根据数据集的大小动态选择并行矩阵求逆算法以减少系统时间。最后，使用大规模数据集测试HPAD-ADMM的性能。实验结果表明，与目前最先进的分布式ADMM相比，HPAD-ADMM具有更高的可扩展性，并且不会丢失准确性。

MSC公司：

68T05年 人工智能中的学习和自适应系统
62J12型 广义线性模型（逻辑模型）
68宽10 计算机科学中的并行算法
68宽15 分布式算法

关键词：

分布式ADMM;混合并行模型;拉索;逻辑回归;磁粉探伤;开放式MP
PDF格式BibTeX公司 XML格式引用
\textit{D.Wang}等人，Computing 103，No.12，2737--2762（2021；Zbl 1483.68325）
全文： 内政部

参考文献：

[1] Balamurugan P、Posinasetty A、Shevade S（2016）ADMM，用于训练带有增强L1正则化子的稀疏结构SVM。参加：SIAM数据挖掘国际会议。doi:10.1137/1.9781611974348.77
[2] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，Found Trends®Mach Learn，3，1，1-122（2011）·Zbl 1229.90122号 ·doi:10.1561/220000016
[3] Chang，TH；洪，M。；Liao，WC；Wang，X.，《用于大规模优化的异步分布式ADMM第i部分：算法和收敛性分析》，IEEE Trans Signal Process，64，12，3118-3130（2016）·兹比尔1414.94106 ·doi:10.1109/TSP.2016.2537271
[4] Chang，TH；Liao，WC；洪，M。；Wang，X.，《用于大规模优化的异步分布式ADMM第二部分：线性收敛分析和数值性能》，IEEE Trans-Signal Process，64，12，3131-3144（2016）·Zbl 1414.94107号 ·doi:10.1109/TSP.2016.2537261
[5] 乔利，MJ；Walker，DW，多核集群上混合MPI/OpenMP应用程序的性能分析，《计算科学杂志》，1，3，168-174（2010）·doi:10.1016/j.jocs.2010.05.001
[6] Dhar S，Yi C，Ramakrishnan N，Shah M（2015）基于ADMM的可扩展机器学习火花。2015年IEEE大数据国际会议，IEEE
[7] 冯，S。；华，X。；Wang，Y。；兰，Q。；Zhu，X.，通过混合MPI/OpenMP进行信号检测的矩阵信息几何，熵（2019）·doi:10.3390/e21121184
[8] 夏CY，朱毅，林CJ（2017）大规模线性分类牛顿法信赖域更新规则研究。摘自：机器学习研究论文集，PMLR，第77卷，第33-48页
[9] Ibrahim DS，Hamdy S（2017）PCA的MPI/OpenMP混合实现。参加：2017年第八届智能计算和信息系统国际会议（ICICIS），IEEE
[10] Jin，H。；Jespersen，D。；梅赫罗特拉，P。；比斯瓦斯，R。；黄，L。；Chapman，B.，在多核并行系统上使用MPI和OpenMP进行高性能计算，并行计算，37，9，562-575（2011）·doi:10.1016/j.parco.2011.02.002
[11] Kwedlo，W。；Czochanski，PJ，使用三角形不等式加速k均值算法的混合MPI/OpenMP并行化，IEEE Access，742280-42297（2019）·doi:10.1109/ACCESS.2019.2907885
[12] 李毅。；王，X。；方，W。；薛凤。；Li，X.，边缘计算中协作回归学习的分布式ADMM方法，Compute Mater Contin，58，2，493-508（2019）·doi:10.32604/cmc.2019.05178
[13] Lubell-Doughtie P，Sondag J（2013）使用交替方向乘数算法的实用分布式分类。收录：IEEE大数据国际会议，IEEE，第1卷，第773-776页
[14] 史密斯，L。；Bull，M.，混合模式MPI/OpenMP的开发，科学程序，9，2，83-98（2001）
[15] Song C，Yoon S，Pavlovic V（2016）带自适应惩罚的分布式优化快速ADMM算法。In:第30届AAAI人工智能会议，第753-759页
[16] 王，D。；雷，Y。；谢军。；Wang，G.，HSAC-ALADMM：基于分层稀疏allreduce通信的异步延迟ADMM算法，J Supercomput（2021）·doi:10.1007/s11227-020-03590-7
[17] Wang H，Gao Y，Shi Y，Wang H（2016）针对大规模不平衡数据的快速分布式分类算法。In:第16届IEEE数据挖掘国际会议（ICDM），IEEE，pp 1251-1256
[18] Wang，H。；高，Y。；Shi，Y。；Wang，R.，分布式线性分类的基于组的交替方向乘法器方法，IEEE Trans Cybern，47，11，3568-3582（2017）·doi:10.1109/TCYB.2016.2570808
[19] Wang S，Lei Y（2018）非平衡进程到达模式下异步分布式ADMM的快速通信结构。参加：第27届国际人工神经网络会议，斯普林格
[20] Woodsend，K。；Gondzio，J.，混合MPI/OpenMP并行线性支持向量机训练，J Mach Learn Res，1937-1953（2009）·Zbl 1235.68205号
[21] 谢杰，雷毅（2019）ADMMLIB：一个用于分布式机器学习的高效通信AD-ADMM库。参加：FIP网络与并行计算国际会议
[22] Xu Z，Taylor G，Li H，Figueiredo M，Goldstein T（2017）分布式优化的自适应共识ADMM
[23] Yan，B。；Regueiro，RA，椭球体和多椭球体粒子离散元法（DEM）的纯MPI和混合MPI-OpenMP并行性比较，计算粒子力学，6，2，271-295（2018）·doi:10.1007/s40571-018-0213-8
[24] 袁，GX；Chang，千瓦；谢长杰；Lin，CJ，大型L1规则线性分类的优化方法和软件比较，J Mach Learn Res，11，2，3183-3234（2010）·Zbl 1242.62065号
[25] Zhang R，Kwok J（2014）用于共识优化的异步分布式ADMM。摘自：第31届机器学习国际会议记录，JMLR，第1701-1709页
[26] Zhang，Y。；Xiao，L.，《通信——自相关经验损失的高效分布式优化》，数学，2227289-341（2015）·Zbl 1412.90118号
[27] 庄Y，Chin WS，Juan YC，Lin CJ（2015）正则化logistic回归的分布式牛顿方法。摘自：第19届亚太知识发现和数据挖掘会议（PAKDD），第9078卷，第690-703页
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。