×
周、强；陈瑜；潘，Sinno Jialin

通信效率高的分布式多任务学习与矩阵稀疏正则化。 （英语） Zbl 1494.68238号

机器。学习。 109，第3号，569-601（2020）.
小结：本文主要研究基于矩阵稀疏正则化的多任务学习分布式优化。我们提出了一种快速通信效率的分布式优化方法来解决这个问题。该方法可以将不同任务的训练数据分布在不同的本地机器上，并且可以通过矩阵稀疏正则化联合学习任务，而无需集中数据。我们从理论上证明了我们提出的方法在分布式环境中对不同类型的损失函数具有快速的收敛速度。为了进一步降低分布式优化过程中的通信成本，我们提出了一种数据筛选方法来安全过滤非活动特征或变量。最后，我们在合成数据集和真实数据集上进行了大量实验，以证明我们提出的方法的有效性。

MSC公司：

68T05型 人工智能中的学习和自适应系统
68宽15 分布式算法

关键词：

分布式学习；多任务学习；加快
PDF格式BibTeX公司 XML格式引用
\textit{Q.Zhou}等人，马赫。学习。109，第3号，569--601（2020；Zbl 1494.68238）
全文： 内政部

参考文献：

[1] Arjevani，Y.和Shamir，O.（2015）。分布式凸学习和优化的通信复杂性。在NIPS会议记录中。
[2] Baytas，I.M.、Yan，M.、Jain，A.K.和Zhou，J.（2016）。异步多任务学习。ICDM会议记录。
[3] Bellet，A.、Guerraoui，R.、Taziki，M.和Tommasi，M.（2018）。个性化和私有对等机器学习。摘自：AISTATS会议记录。
[4] Blitzer，J.、Crammer，K.、Kulesza，A.、Pereira，F.和Wortman，J.（2007年）。领域适应的学习边界。在NIPS会议记录中·Zbl 1470.68081号
[5] Bonnefoy，A。；埃米亚，V。；Ralaivola，L。；Gribonval，R.，《动态筛选：加速套索和群拉索的一阶算法》，IEEE信号处理汇刊，63，19，5121-5132（2015）·Zbl 1394.94087号 ·doi:10.1109/TSP.2015.2447503
[6] O.布斯克。；Elisseeff，A.，稳定性和泛化，《机器学习研究杂志》，2499-526（2002）·Zbl 1007.68083号
[7] 博伊德，SP；北卡罗来纳州帕里赫。；朱，E。；Peleato，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，《机器学习的基础和趋势》，3，1，1-122（2011）·Zbl 1229.90122号 ·doi:10.1561/220000016
[8] Caruana，R.，多任务学习，机器学习，28，1，41-75（1997）·doi:10.1023/A:1007379606734
[9] Dünner，C.、Forte，S.、TakáC，M.和Jaggi，M.（2016）。主要双重费率和证书。ICML会议记录（第783-792页）。
[10] Fercoq，O.、Gramfort，A.和Salmon，J.（2015）。注意二元性差距：套索的安全规则。ICML会议记录。
[11] Gay，D.，计算最优局部约束步长，SIAM科学与统计计算杂志，2，2，186-197（1981）·Zbl 0467.65027号 ·doi:10.1137/0902016
[12] 希里亚特·乌鲁蒂，JB；Lemaréchal，C.，《凸分析和最小化算法II：高级理论和束方法》（1993），柏林：施普林格出版社，柏林·Zbl 0795.49002号
[13] Jaggi，M.、Smith，V.、Takác，M.，Terhorst，J.、Krishnan，S.、Hofmann，T.等人（2014年）。通信效率高的分布式双坐标上升。在NIPS会议记录中。
[14] Lang，Ken，NewsWeeder:Learning to Filter Netnews，《机器学习学报》1995，331-339（1995）
[15] Lee，S.、Zhu，J.和Xing，E.P.（2010年）。自适应多任务套索：应用于eQTL检测。在NIPS会议记录中。
[16] Li，M.、Andersen，D.G.、Smola，A.J.和Yu，K.（2014）。使用参数服务器进行高效通信的分布式机器学习。在NIPS会议记录中。
[17] Liu，S.、Pan，S.J.和Ho，Q.（2017）。分布式多任务关系学习。SIGKDD程序中
[18] Ma，C.、Jaggi，M.、Curtis，F.E.、Srebro，N.和Takáč，M.（2017）。一种用于结构化机器学习的加速通信高效的原始-对偶优化框架。arXiv预打印arXiv:1711.05305·兹比尔1464.90059
[19] Ma，C.、Smith，V.、Jaggi，M.、Jordan，M.I.、Richtárik，P.和TakáC，M.（2015）。分布式原对偶优化中的添加与平均。ICML会议记录。
[20] Ndiaye，E.、Fercoq，O.、Gramfort，A.和Salmon，J.（2015）。稀疏多任务和多类模型的间隙安全筛选规则。在NIPS会议记录中·Zbl 1442.62161号
[21] 恩迪亚耶，E。；费尔科克，O。；Gramfort，A。；Salmon，J.，《稀疏执行处罚的间隙安全筛选规则》，《机器学习研究杂志》，18，128:1-128:33（2017）·Zbl 1442.62161号
[22] Nesterov，Y.，《凸优化导论：基础课程》（2013），柏林：施普林格出版社，柏林
[23] Obozinski，G。；Taskar，B。；Jordan，M.，多分类问题的联合协变量选择和联合子空间选择，统计与计算，20，2，231-252（2010）·数字对象标识代码：10.1007/s11222-008-9111-x
[24] Obozinski，G。；温赖特，MJ；Jordan，MI，支持高维多元回归中的联合恢复，《统计年鉴》，39，1，1-47（2011）·Zbl 1373.62372号 ·doi:10.1214/09-AOS776
[25] 沙列夫·施瓦茨，S。；Zhang，T.，正则损失的随机双坐标上升法，机器学习研究杂志，14，1，567-599（2013）·Zbl 1307.68073号
[26] Smith，V.、Chiang，C.、Sanjabi，M.和Talwalkar，A.S.（2017a）。联合多任务学习。在NIPS会议记录中。
[27] Smith，V.、Forte，S.、Jordan，M.I.和Jaggi，M.（2015）。L1规范化分布式优化：一个高效通信的原始-对偶框架。CoRR arXiv:1512.04011。
[28] V·史密斯。；福特，S。；马，C。；塔卡奇，M。；密歇根州约旦；Jaggi，M.，Cocoa:通信效率分布式优化的一般框架，《机器学习研究杂志》，18，230:1-230:49（2017）·Zbl 1473.68167号
[29] Vanhaesebrouck，P.、Bellet，A.和Tommasi，M.（2017）。网络上个性化模型的分散协作学习。AISTATS会议记录。
[30] Wang，J.、Kolar，M.和Srebro，N.（2016）。分布式多任务学习。AISTATS会议记录。
[31] Wang，J.和Ye，J.（2015）。使用多个数据矩阵进行多任务特征学习的安全筛选。ICML会议记录。
[32] Wang，W.、Wang，J.、Kolar，M.和Srebro，N.（2018年）。基于图正则化的分布式随机多任务学习。arXiv预打印arXiv:1802.03830。
[33] Xie，L.、Baytas，I.M.、Lin，K.和Zhou，J.（2017）。具有异步更新的隐私保护分布式多任务学习。SIGKDD会议记录。
[34] 邢，EP；何，Q。；Dai，W。；金，JK；魏杰。；Lee，S。；郑，X。；谢鹏。；库马尔，A。；Yu，Y.，Petuum：大数据分布式机器学习的新平台，IEEE大数据事务，1，2，49-67（2015）·doi:10.1109/TBDATA.2015.2472014
[35] 袁，M。；埃基奇，A。；卢，Z。；Monteiro，R.，分组变量回归中的模型选择和估计，英国皇家统计学会期刊：B系列，68，1，49-67（2006）·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x
[36] 张，C。；赵，P。；郝S。；Soh，YC公司；Lee，B。；苗，C。；Hoi，SCH，《分布式多任务分类：分散在线学习方法》，机器学习，107，4，727-747（2018）·Zbl 1458.68191号 ·doi:10.1007/s10994-017-5676-y
[37] Zhang，Y。；Xiao，L.，正则化经验风险最小化的随机原始-对偶坐标方法，机器学习研究杂志，18，18:1-18:42（2017）·Zbl 1440.62314号
[38] Zhang，Y.，&Yang，Q.（2017）。关于多任务学习的调查。CoRR arXiv:1707.08114。
[39] Zhang，Y.和Yeung，D.Y.（2010）。多任务学习中学习任务关系的凸公式。UAI会议记录。
[40] 郑S。；Wang，J。；夏，F。；徐伟（Xu，W.）。；Zhang，T.，正则化损失最小化的通用分布式双坐标优化框架，机器学习研究杂志，18，115:1-115:52（2017）·Zbl 1435.68290号
[41] 邹，H。；Hastie，T.，《通过弹性网进行正则化和变量选择》，《皇家统计学会杂志：B辑》，67，2，301-320（2005）·Zbl 1069.62054号 ·文件编号：10.1111/j.1467-9868.2005.005.x
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。