×
托马索·科伦坡;西蒙·萨格拉特拉

线性耦合约束凸问题的分布式算法。 （英语） Zbl 1441.90155号

J.全球。最佳方案。 77，第1号，53-73（2020）.
摘要：近年来，分布式和并行算法被频繁研究，特别是在机器学习等应用中。尽管如此，由于存在耦合约束，使得所有变量相对于可行集相互依赖，因此只有文献中优化算法的一小个子类可以很容易地分布。增广拉格朗日方法是消除耦合约束问题最常用的技术之一，即以结构化、经过充分研究的方式将此类约束移动到目标函数。不幸的是，标准增广拉格朗日方法需要通过在每次迭代时（至少不精确地）求解子问题来解决嵌套问题，因此导致算法的潜在效率低下。为了填补这一空白，我们提出了一种增广拉格朗日方法来解决具有线性耦合约束的凸问题，这些约束可以分布，并且每次迭代都需要一个梯度投影步骤。我们给出了问题的至少（varepsilon）-近似解的形式收敛性证明，并详细分析了算法参数如何影响近似参数（varepsilon）的值。此外，我们引入了该算法的分布式版本，允许对数据进行分区，并以并行方式执行计算分布。

MSC公司：

90立方 非线性规划

关键词：

非线性优化;并行算法;分布式算法;拉格朗日方法

软件：

伦敦银行支持向量机;阿尔根坎
PDF格式BibTeX公司 XML格式引用
\textit{T.Colombo}和\textit{S.Sagratella}，J.Glob。最佳方案。77，编号1，53--73（2020；Zbl 1441.90155）
全文： DOI程序 链接

参考文献：

[1] 奥塞尔，D。；Sagratella，S.，通过变分不等式计算拟变分不等式任何解的充分条件，数学。操作方法。决议，85，1，3-18（2017）·Zbl 1365.49010号
[2] Bertsekas，DP，非线性规划（1999），Belmont:Athena Scientific，Belmon·Zbl 1015.90077号
[3] Bertsekas，DP，凸优化算法（2015），美国新罕布什尔州纳舒亚市：Athena Scientific，纳舒亚州，美国·Zbl 1347.90001号
[4] Bertsekas，DP；Tsitsiklis，JN，《并行和分布式计算：数值方法》（1989），恩格尔伍德悬崖：普伦蒂斯·霍尔，恩格尔伍德悬崖·兹比尔074365107
[5] 伯金，EG；Martinez，JM，约束优化的实用增广拉格朗日方法（2014），费城：SIAM，费城·兹比尔1339.90312
[6] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，Found。Trends®马赫数。学习。，3, 1, 1-122 (2011) ·Zbl 1229.90122号
[7] Cannelli，L.，Facchinei，F.，Scutari，G.：多代理异步非凸大规模优化。2017年IEEE第七届多传感器自适应处理（CAMSAP）计算进展国际研讨会，第1-5页。IEEE（2017）
[8] Cassioli，A。；迪·洛伦佐，D。；Sciandone，M.，《关于约束优化的非精确块坐标下降方法的收敛性》，Eur.J.Oper。研究，231，2，274-281（2013）·Zbl 1317.90275号
[9] Chang，CC；Lin，CJ，Libsvm：支持向量机库，ACM Trans。智力。系统。Technol公司。（TIST），第2、3、27页（2011年）
[10] Clarke，FH，《优化与非光滑分析》（1990），费城：SIAM，费城·Zbl 0696.49002号
[11] Daneshmand，A.，Sun，Y.，Scutari，G.，Facchinei，F.，Sadler，B.M.：时变有向图的分散字典学习（2018）。arXiv预打印arXiv:1808.05933·Zbl 1434.68403号
[12] Di Pillo，G。；卢西迪，S。；Di Pillo，G。；Giannessi，F.，《非线性规划中的精确增广拉格朗日函数》，非线性优化与应用，85-100（1996），波士顿：斯普林格出版社，波士顿·Zbl 0986.90053号
[13] Di Pillo，G。；Lucidi，S.，具有改进精确性的增广拉格朗日函数，SIAM J.Optim。，12, 2, 376-406 (2002) ·Zbl 0996.65064号
[14] 法奇尼，F。；Kanzow，C.，广义Nash均衡问题，4OR，5，3，173-210（2007）·Zbl 1211.91162号
[15] 法奇尼，F。；坎佐，C。；卡尔·S。；Sagratella，S.，解拟变量不等式的半光滑牛顿法，计算。最佳方案。申请。，62, 1, 85-109 (2015) ·Zbl 1331.90083号
[16] 法奇尼，F。；Pang，JS，《有限维变分不等式与互补问题》（2007），柏林：施普林格出版社，柏林
[17] 法奇尼，F。；Sagratella，S.，关于联合凸广义Nash均衡问题所有解的计算，Optim。莱特。，5, 3, 531-547 (2011) ·Zbl 1259.91009号
[18] 法奇尼，F。；Scutari，G。；Sagratella，S.，非凸大数据优化的并行选择算法，IEEE Trans。信号处理。，1874-1889年7月63日（2015年）·兹比尔1394.94174
[19] 加西亚，R。；A.玛丽恩。；Patriksson，M.，非线性优化的列生成算法，I：收敛分析，优化，52，2，171-200（2003）·兹比尔1033.65040
[20] J.Gondzio。；Grothe，A.，《利用并行实现内点方法的结构进行优化》，计算。管理。科学。，6, 2, 135-160 (2009) ·Zbl 1170.90518号
[21] Harchaoui，Z.，Juditsky，A.，Nemirovski，A.：机器学习的条件梯度算法。In:NIPS ML优化研讨会，第3卷，第3-2页（2012年）
[22] 洪，M。；罗，ZQ，关于交替方向乘数法的线性收敛性，数学。程序。，162, 1-2, 165-199 (2017) ·Zbl 1362.90313号
[23] Jaggi，M.，《重新审视Frank-Wolfe:无投影稀疏凸优化》，ICML，1427-435（2013）
[24] Lacoste-Julien，S.，Jaggi，M.：关于Frank-Wolfe优化变量的全局线性收敛。摘自：《神经信息处理系统进展》，第496-504页（2015年）
[25] 拉托雷，V。；Sagratella，S.，解仿射拟变量不等式的正则对偶方法，J.Global Optim。，64, 3, 433-449 (2016) ·Zbl 1354.90148号
[26] CJ林；卢西迪，S。；Palagi，L。；A.里西。；Sciandone，M.，受上下限约束的单线性约束问题的分解算法模型，J.Optim。理论应用。，141, 1, 107-126 (2009) ·Zbl 1168.90556号
[27] Lucidi，S.，关于一类精确增广拉格朗日算子的新结果，J.Optim。理论应用。，58, 2, 259-282 (1988) ·Zbl 0628.90060号
[28] 卢西迪，S。；Palagi，L。；A.里西。；Sciandone，M.，支持向量机的收敛分解算法，计算。最佳方案。申请。，38, 2, 217-234 (2007) ·Zbl 1172.90443号
[29] Mangasarian，O。；菲舍尔，H。；里德米勒，B。；Schäffler，S.，《通过多面体凹面最小化进行机器学习》，应用数学与并行计算，175-188（1996），柏林：施普林格出版社，柏林·Zbl 0906.68127号
[30] Manno，A。；Palagi，L。；Sagratella，S.，线性约束问题的并行分解方法，适用于SVM训练，计算。最佳方案。申请。，71, 1, 115-145 (2018) ·Zbl 1405.90095号
[31] Manno，A.，Sagratella，S.，Livi，L.：一种收敛且完全可分发的SVM训练算法。在：2016年国际神经网络联合会议（IJCNN），第3076-3080页。IEEE（2016）
[32] Ouyang，H.，Gray，A.：非线性SVM的快速随机Frank-Wolfe算法。摘自：2010年SIAM国际数据挖掘会议记录，第245-256页。暹罗（2010）
[33] Piccialli，V。；Sciandone，M.，非线性优化和支持向量机，4OR，16，2，111-149（2018）·Zbl 1398.65126号
[34] Rockafellar，RT，非凸规划中的增广拉格朗日乘子函数和对偶性，SIAM J.Control，12，2，268-285（1974）·Zbl 0257.90046号
[35] Rockafellar，RT；Wets，RJB，变分分析（2009），柏林：施普林格出版社，柏林
[36] Sagratella，S.，《混合整数变量广义势对策的算法》，计算。最佳方案。申请。，68, 3, 689-717 (2017) ·Zbl 1390.91023号
[37] Scutari，G。；法奇尼，F。；Lampariello，L.，约束非凸优化的并行和分布式方法，第一部分：理论，IEEE Trans。信号处理。，65, 8, 1929-1944 (2016) ·Zbl 1414.90290号
[38] Scutari，G。；法奇尼，F。；Lampariello，L。；Sardellitti，S。；Song，P.，约束非凸优化的并行和分布式方法第二部分：通信和机器学习应用，IEEE Trans。信号处理。，65, 8, 1945-1960 (2016) ·Zbl 1414.90291号
[39] Scutari，G.，Facchinei，F.，Lampariello，L.，Song，P.：非凸优化的并行和分布式方法。2014年IEEE声学、语音和信号处理国际会议（ICASSP），第840-844页。IEEE（2014）
[40] Woodsend，K。；Gondzio，J.，混合MPI/OpenMP并行线性支持向量机训练，J.Mach。学习。研究，1937-1953年8月10日（2009年）·Zbl 1235.68205号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。