×
丹麦人，阿米尔;孙莹;格苏尔多·斯库塔里;弗朗西斯科·法奇尼;布莱恩·萨德勒。

时变有向图上的分散字典学习。 （英语） Zbl 1434.68403号

J.马赫。学习。物件。 20，第139号论文，62页（2019年）.
摘要：本文研究了字典学习问题，其中学习任务分布在多智能体网络上，建模为时变有向图。例如，在大数据场景中，由于资源限制、通信开销或隐私问题，在不同位置（例如传感器、云）收集/存储大量数据，并且在融合中心聚合和/或处理所有数据可能效率低下或不可行，这一公式是相关的。我们为这类非凸问题建立了一个统一的分散算法框架，证明了该框架以次线性速度收敛到平稳解。新方法基于逐次凸逼近技术，结合分散跟踪机制，旨在局部估计和效用平滑部分的梯度。据我们所知，这是第一个可证明收敛的去中心化字典学习算法，更广泛地说，是（时变）（di）图上的双凸问题。

引用于1文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
62甲12 多元分析中的估计
68吨10 模式识别、语音识别
90C26型 非凸规划，全局优化
90立方厘米 涉及图形或网络的编程

关键词：

分散算法;字典学习;有向图;非凸优化;时变网络

软件：

皮格尔姆;PASCAL挥发性有机化合物;低等级模型
PDF格式BibTeX公司 XML格式引用
\textit{A.Daneshmand}等人，J.Mach。学习。第20号决议，第139号论文，62页（2019年；Zbl 1434.68403）
全文： arXiv公司 链接

参考文献：

[1] 南加州大学信号与图像处理研究所。第3卷：杂项图像数据库，1997年。在线可用：http://sipi.usc.edu/数据库/数据库.php？体积=杂项。
[2] M.Aharon、M.Elad和A.Bruckstein。K-SVD：一种为稀疏表示设计过完备字典的算法。IEEE信号处理汇刊，54（11）：4311-43222006年11月·Zbl 1375.94040号
[3] A.Aravkin、S.Becker、V.Cevher和P.Olsen。稳定主成分追踪的变分方法。《第三十届人工智能不确定性会议论文集》，UAI’14，第32-41页，美国弗吉尼亚州阿灵顿，2014年。AUAI出版社。国际标准图书编号978-0-9749039-1-0。
[4] D.P.Bertsekas和J.N.Tsitsiklis。并行和分布式计算：数值方法。雅典娜科学，1997年·兹比尔1325.65001
[5] P.Bianchi和J.Jakubowicz。用于非凸优化的多智能体投影随机梯度算法的收敛性。IEEE自动控制汇刊，58（2）：391-4052013年2月·Zbl 1369.90131号
[6] T.Bouwmans、A.Sobral、S.Javed、S.K.Jung和E.Zahzah。分解为低秩加性矩阵用于背景/前景分离：与大规模数据集进行比较评估的综述。《计算机科学评论》，2017年2月23:1-71·Zbl 1398.68572号
[7] E.J.Cand’es、X.Li、Y.Ma和J.Wright。稳健的主成分分析？ACM杂志，58（3）：1-372011年6月·兹比尔1327.62369
[8] P.Chainais和C.Richard。通过传感器网络学习通用词典。《2013年第五届IEEE多传感器自适应处理（CAMSAP）计算进步国际研讨会论文集》，第133-136页，法国西印度群岛圣马丁，2013年12月。
[9] J.Chen、Z.J.Towfic和A.H.Sayed。分布式模型上的字典学习。IEEE信号处理学报，63（4）：1001-10162015年2月·兹比尔1395.68229
[10] S.Chouvardas、Y.Kopsinis和S.Theodoridis。分布式词典学习的在线算法。2015年IEEE声学、语音和信号处理国际会议（ICASSP）论文集，第3292-3296页，澳大利亚昆士兰布里斯班，2015年4月。
[11] A.Daneshmand、F.Facchinei、V.Kungurtsev和G.Scutari。凸和非凸大数据优化的混合随机/确定性并行算法。IEEE信号处理学报，63（13）：3914-39292015年8月·Zbl 1394.94146号
[12] A.Daneshmand、G.Scutari和F.Facchinei。分布式字典学习。第50届信号、系统和计算机Asilomar会议记录，第1001-1005页，2016年11月。
[13] P.Di Lorenzo和G.Scutari。下一篇：网络内非凸优化。IEEE网络信号和信息处理汇刊，2（2）：120-1362016年6月。
[14] M.Elad和M.Aharon。通过学习字典上的稀疏和冗余表示进行图像去噪。IEEE图像处理汇刊，15（12）：3736-37452006年12月。
[15] M.Everingham、L.Van Gool、C.K.I.Williams、J.Winn和A.Zisserman。pascal可视对象类（voc）挑战。国际计算机视觉杂志，88（2）：303-3382010年6月。
[16] F.Facchinei、G.Scutari和Simone Sagratella。非凸大数据优化的并行选择算法。IEEE信号处理汇刊，63（7）：1874-18892015年4月·Zbl 1394.94174号
[17] T.Hastie、R.Tibshirani和M.Wainwright。稀疏的统计学习。CRC出版社，Taylor&Francis集团，2015年·Zbl 1319.68003号
[18] M.Hong、D.Hajinezhad和M.M.Zhao。Prox-PDA：用于网络上快速分布式非凸优化和学习的近似原对偶算法。第34届国际机器学习会议（ICML）论文集，第70卷，第1529-1538页，澳大利亚悉尼，2017年8月。
[19] P.O.霍耶。稀疏约束下的非负矩阵分解。机器学习研究杂志，5:1457-14692004年12月·Zbl 1222.68218号
[20] Z.Jiang、Z.Lin和L.S.Davis。通过标签一致的k-svd学习稀疏编码的判别字典。《2011年IEEE计算机视觉和模式识别会议论文集》，CVPR’11，第1697-1704页，科罗拉多州斯普林斯，美国，2011年6月。
[21] D.Kempe、A.Dobra和J.Gehrke。基于流言的聚合信息计算。2003年10月，美国马萨诸塞州剑桥市，第四十四届IEEE计算机科学基础年会，第482-491页。
[22] J.Kim。高半径互连网络。博士论文，斯坦福，加利福尼亚州，美国，2008年。
[23] D.D.Lee和H.S.Seung。通过非负矩阵分解来学习对象的各个部分。《自然》，401（6755）：788-7911999年10月·Zbl 1369.68285号
[24] M.Lee、H.Shen、J.Z.Huang和J.S.Marron。通过稀疏奇异值分解进行双聚类。生物统计学，66（4）：1087-10952010年12月·Zbl 1233.62182号
[25] J.Liang、M.Zhang、X.Zeng和G.Yu。传感器网络稀疏表示的分布式字典学习。IEEE图像处理汇刊，23（6）：2528-25412014年6月·Zbl 1374.94540号
[26] S.C.马德拉和A.L.奥利维拉。生物数据分析的双聚类算法：综述。IEEE/ACM计算生物学和生物信息学汇刊，1（1）：24-452004年1月。
[27] J.Mairal、F.Bach、J.Ponce、G.Sapiro和A.Zisserman。监督字典学习。《神经信息处理系统进展论文集》，第1033-1040页，内华达州塔霍湖，2008年12月。
[28] J.Mairal、F.Bach、J.Ponce和G.Sapiro。矩阵分解和稀疏编码的在线学习。机器学习研究杂志，11:19-602010年1月·Zbl 1242.62087号
[29] A.Nedi´c、A.Ozdaglar和P.A.Parrilo。多智能体网络中的约束一致性与优化。IEEE自动控制汇刊，55（4）：922-9382010年4月·Zbl 1368.90143号
[30] H.Raja和W.U.Bajwa。云K-SVD：计算云中的数据自适应表示。2013年10月，美国伊利诺斯州伊利诺伊州UIUC Allerton House，第51届Allerton年会论文集，第1474-1481页。
[31] M.Razaviyayn、M.Hong、Z.Luo和J.Pang。非光滑非凸优化的并行逐次凸逼近。InNIPS，2014年a。
[32] M.Razaviyayn、H.W.Tseng和Z.Q.Luo。稀疏表示的字典学习：复杂性和算法。2014年IEEE声学、语音和信号处理国际会议（ICASSP）论文集，第5247-5251页，意大利佛罗伦萨，2014年5月b。
[33] B.Recht、M.Fazel和P.A.Parrilo。通过核范数最小化保证线性矩阵方程的最小秩解。SIAM评论，52（3）：471-5012010年8月·Zbl 1198.90321号
[34] R.T.Rockafellar和J.B.Wets。变分分析。斯普林格，1998年·Zbl 0888.49001号
[35] G.Scutari和Y.Sun。用于大数据优化的并行和分布式逐次凸近似方法。在F.Facchinei和J.-S.Pang，编辑，Multi-agent Optimization，第3章，第141-308页。数学2224课堂讲稿，施普林格出版社，2018年·Zbl 1461.90101号
[36] G.Scutari和Y.Sun。时变有向图上的分布式非凸约束优化。数学编程，将于2019年推出·Zbl 1415.90130号
[37] G.Scutari、F.Facchinei、P.Song、D.P.Palomar和J.-S.Pang。部分线性化分解：多用户系统的并行优化。IEEE信号处理事务，62:641-6562014年2月·Zbl 1394.94507号
[38] 沈浩（H.Shen）和黄建中（J.Z.Huang）。基于正则化低秩矩阵逼近的稀疏主成分分析。多元分析杂志，6（99）：1015-10342008年7月·Zbl 1141.62049号
[39] N.Srebro和A.Shraibman。等级、跟踪形式和最大形式。《学习理论论文集：第18届学习理论年会（COLT）》，545-560页，意大利贝蒂诺罗，2005年6月·Zbl 1137.68563号
[40] Y.Sun、G.Scutari和D.Palomar。时变网络上的分布式非凸多智能体优化。2016年11月，《2016年第50届信号、系统和计算机Asilomar会议记录》，第788-794页。
[41] K.K.Sung。对象和模式识别的学习和示例选择。麻省理工学院人工智能实验室和生物与计算学习中心博士论文，马萨诸塞州剑桥，1996年。
[42] T.Tatarenko和B.Touri。非凸分布优化。IEEE传输。关于自动控制，62:3744-37572017年8月·兹比尔1373.90123
[43] I.托西奇和P.弗罗萨德。字典学习。IEEE信号处理杂志，28（2）：27-382011年3月·Zbl 1372.94246号
[44] M.Udell、C.Horn、R.Zadeh和S.Boyd。广义低秩模型。机器学习的基础和趋势，9（1）：1-1182016年6月。
[45] H.T.Wai、T.H.Chang和A.Scaglione。一种基于一致性的非凸优化分散算法及其在字典学习中的应用。2015年IEEE声学、语音和信号处理国际会议（ICASSP）论文集，第3546-3550页，澳大利亚昆士兰布里斯班，2015年4月。
[46] H.T.Wai、J.Lafond、A.Scaglione和E.Moulines。凸和非凸问题的分散frankwolfe算法。IEEE自动控制交易，62:5522-55372017年11月·Zbl 1390.90525号
[47] L.Xiao、S.Boyd和S.Lall。一种基于平均一致性的鲁棒分布式传感器融合方案。第四届传感器网络信息处理国际研讨会论文集，第63-70页，加利福尼亚州洛杉矶，2005年4月。
[48] L.Xiao、S.Boyd和S.J.Kim。具有最小均方偏差的分布式平均一致性。并行与分布式计算杂志，67（1）：33-462007年1月·Zbl 1109.68019号
[49] M.Zhao、Q.Shi和M.Hong。网络上字典学习的分布式算法。2016年IEEE信号和信息处理全球会议（GlobalSIP）论文集，第505-509页，2016年12月。
[50] H。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。