×

数学ZBZ-数学第一资源

时变有向图上的分散字典学习。(英语) Zbl 1434.68403
摘要:本文研究字典学习问题,其中学习任务分布在一个多智能体网络上,模型为时变有向图。例如,在大数据场景中,由于资源限制、通信开销或隐私问题,大量数据被收集/存储在不同的位置(例如传感器、云),在融合中心聚合和/或处理所有数据可能效率低下或不可行。我们为这类非凸问题建立了一个统一的分散算法框架,证明了它以次线性速度收敛到平稳解。新方法依赖于逐次凸逼近技术,结合分散跟踪机制,旨在局部估计和效用平滑部分的梯度。据我们所知,这是第一个可证明收敛的分散化字典学习算法,更广泛地说,是(时变)(di)图上的双凸问题。

理学硕士:
68T05型 人工智能中的学习与自适应系统
62小时12分 多元分析中的估计
68吨10 模式识别,语音识别
90C26型 非凸规划,全局优化
90立方厘米 涉及图形或网络的程序设计
PDF格式 BibTeX公司 XML 引用
全文: 链接
参考文献:
[1] 南加州大学信号与图像处理研究所。第3卷:杂项图像数据库,1997年。在线提供:http://sipi.usc.edu/database/数据库。菲律宾比索?体积=杂项。
[2] M、 艾哈龙,艾拉德先生和A。布鲁克斯坦。K-SVD:一种设计稀疏表示的过完备字典的算法。IEEE信号处理汇刊,54(11):4311-4322,2006年11月。
[三] A、 Aravkin,S.Becker,V.Cevher和P.Olsen。稳定主成分追踪的变分方法。《第三十届人工智能不确定性会议进展》,UAI'14,第32-41页,美国弗吉尼亚州阿灵顿,2014年。奥艾出版社。ISBN 978-0-9749039-1-0。
[4] D、 P.Bertsekas和J.N.Tsitiklis。并行和分布式计算:数值方法。雅典娜科学出版社,1997年。
[5] P、 比安奇和杰库博维奇。非凸优化的多智能体投影随机梯度算法的收敛性。IEEE自动控制事务,58(2):391-405,2013年2月。
[6] T、 布曼,A.索布拉尔,S.贾维德,S.K.荣格和E.扎哈。用于背景/前景分离的低秩加性矩阵分解:大规模数据集比较评估综述。《计算机科学评论》,23:1-712017年2月。
[7] E、 J.Cand'es、X.Li、Y.Ma和J.Wright。稳健主成分分析?ACM杂志,58(3):1-372011年6月。
[8] P、 Chaineis和C.Richard。一个普通的网络词典学习传感器。2013年第5届IEEE国际多传感器自适应处理(CAMSAP)计算进展国际研讨会论文集,第133-136页,法国西印度群岛圣马丁,2013年12月。
[9] J、 陈,Z.J.Towfic和A.H.Sayed。分布式模型上的字典学习。IEEE信号处理汇刊,63(4):1001-10162015年2月。
[10] S、 乔瓦尔达斯、Y.科普西尼斯和S.西奥多里迪斯。分布式词典学习的在线算法。2015年IEEE声学、语音和信号处理国际会议(ICASSP)的进展,3292-3296页,澳大利亚昆士兰布里斯班,2015年4月。
[11] A、 Daneshmand,F.Facchinei,V.Kungurtsev和G.Scutari。凸和非凸大数据优化的随机/确定性混合并行算法。IEEE信号处理汇刊,63(13):3914-39292015年8月。
[12] A、 Daneshmand,G.Scutari和F.Facchinii。分布式词典学习。第50届亚洲信号、系统和计算机会议进展,第1001-1005页,2016年11月。
[13] P、 迪洛伦佐和G。斯库塔里。下一步:网络非凸优化。IEEE网络信号与信息处理汇刊,2(2):120-1362016年6月。
[14] M、 埃拉德和亚哈伦先生。基于学习字典的稀疏冗余表示图像去噪。IEEE图像处理汇刊,15(12):3736-37452006年12月。
[15] M、 Everingham,L.Van Gool,C.K.I.Williams,J.Winn和A.Zisserman。pascal可视化对象类(voc)挑战。国际计算机视觉杂志,88(2):303-3382010年6月。
[16] F、 Facchinei,G.Scutari和Simone Sagratella。非凸大数据优化的并行选择算法。IEEE信号处理汇刊,63(7):1874-18892015年4月。
[17] T、 黑斯蒂、R.蒂比拉尼和M.温赖特。稀疏统计学习。CRC出版社,Taylor&Francis Group,2015年。
[18] M、 Hong,D.Hajinezad和M.Zhao。Prox-PDA:网络上快速分布式非凸优化和学习的近似原对偶算法。第34届机器学习国际会议(ICML)第70卷第1529-1538页,澳大利亚悉尼,2017年8月。
[19] P、 奥霍耶。具有稀疏约束的非负矩阵分解。机器学习研究杂志,5:1457-14692004年12月。
[20] Z、 江,林,戴维斯。利用标签一致性k-svd学习稀疏编码的判别字典。2011年IEEE计算机视觉与模式识别会议,CVPR’11,1697-1704页,美国科罗拉多州斯普林斯市,2011年6月。
[21] D、 肯普,A.多布拉和J.盖尔克。基于八卦的聚合信息计算。第44届IEEE计算机科学基础年会论文集,482-491页,美国马萨诸塞州剑桥市,2003年10月。
[22] J、 金。高基互连网络。博士论文,斯坦福,加州,美国,2008年。
[23] D、 李先生和承先生。利用非负矩阵分解学习对象的部分。《自然》,401(6755):788-7911999年10月。
[24] M、 李,沈浩,黄俊中,马龙。稀疏奇异值分解的双聚类。生物识别,66(4):1087-10952010年12月。
[25] J、 梁,张先生,曾X,余国庆。传感器网络稀疏表示的分布式字典学习。IEEE图像处理学报,23(6):2528-25412014年6月。
[26] S、 C.马德拉和A.L.奥利维拉。生物数据分析的双聚类算法综述。IEEE/ACM计算生物学和生物信息学汇刊,1(1):24-452004年1月。
[27] J、 Mairal、F.Bach、J.Ponce、G.Sapiro和A.Zisserman。指导字典学习。神经信息处理系统(NIPS)进展研究,第1033-1040页,内华达州塔霍湖,2008年12月。
[28] J、 迈拉尔、巴赫、庞斯和萨皮罗。矩阵分解和稀疏编码的在线学习。机器学习研究杂志,11:19-60,2010年1月。
[29] A、 Nedi'c,A.Ozdaglar和P.A.Parrilo。多智能体网络中的约束一致性与优化。IEEE自动控制事务,55(4):922-9382010年4月。
[30] H、 拉贾和W.U.Bajwa。云K-SVD:在云中计算数据自适应表示。美国伊利诺伊州UIUC阿勒顿第51届年会第1474-1481页,2013年10月。
[31] M、 Razaviyayn、M.Hong、Z.Luo和J.Pang。非光滑非凸优化问题的并行逐次凸逼近。英尼普斯,2014a。
[32] M、 拉扎维耶恩,曾志伟,罗志强。稀疏表示的字典学习:复杂性和算法。2014年5月,国际电工电子工程师学会(IEEE)第52-52页,意大利国际声学学会会议。
[33] B、 雷希特,M.法泽尔和P.A.帕里洛。基于核范数最小化的线性矩阵方程的保最小秩解。暹罗评论,52(3):471-501,2010年8月。
[34] R、 T.Rockafellar和J.B.Wets。变分分析。斯普林格,1998年。
[35] G、 斯库塔里和Y·孙。大数据优化的并行和分布式逐次凸逼近方法。在F.Facchinei和J.-S.Pang,编辑,多智能体优化,第3章,141-308页。数学2224课堂讲稿,斯普林格,2018年。
[36] G、 斯库塔里和Y·孙。时变有向图上的分布式非凸约束优化。数学规划,2019年出版。
[37] G、 斯库塔里,F.法奇尼,P.宋,D.P.帕洛玛和J.-S.庞。部分线性化分解:多用户系统的并行优化。IEEE信号处理事务,62:641-6561014年2月。
[38] H、 沈和黄建中。基于正则低秩矩阵逼近的稀疏主成分分析。多元分析杂志,6(99):1015-10342008年7月。
[39] N、 Srebro和A.Shraibman。秩、迹范数和最大范数。学习理论进展:第18届学习理论年会(COLT),第545-560页,意大利贝蒂诺罗,2005年6月。
[40] Y、 孙,G。斯库塔里和D。帕洛玛。时变网络上的分布式非凸多智能体优化。《2016年第50届亚洲信号、系统和计算机会议记录》,第788-794页,2016年11月。
[41] K、 K.宋。对象和模式识别的学习和范例选择。博士论文,人工智能实验室和生物和计算学习中心,麻省理工学院,剑桥,马萨诸塞州,1996年。
[42] T、 Tatarenko和B.Touri。非凸分布优化。IEEE传输。自动控制,62:3744-3757,2017年8月。
[43] 一、 托西奇和P.弗罗萨德。字典学习。IEEE信号处理杂志,28(2):27-382011年3月。
[44] M、 乌代尔、C·霍恩、R·扎德和S·博伊德。广义低阶模型。机器学习的基础和趋势,9(1):1-1182016年6月。
[45] H、 T.Wai,T.H.Chang和A.Scaglione。基于一致性的非凸优化分散算法及其在字典学习中的应用。2015年IEEE声学、语音和信号处理国际会议(ICASSP)的进展,第3546-3550页,澳大利亚昆士兰布里斯班,2015年4月。
[46] H、 一行,一行,一行。凸和非凸问题的分散frankwolfe算法。IEEE自动控制事务,62:5522-5537,2017年11月。
[47] 五十、 肖,S.博伊德和S.拉尔。一种基于平均一致性的鲁棒分布式传感器融合方案。第四届传感器网络信息处理国际研讨会论文集,第63-70页,加利福尼亚州洛杉矶,2005年4月。
[48] 五十、 肖、S.博伊德和S.J.金。最小均方差分布平均一致性。并行与分布式计算杂志,67(1):33-462007年1月。
[49] M、 赵,石,洪先生。网络词典学习的分布式算法。2016年IEEE全球信号与信息处理会议(GlobalSIP)的文件,第505-509页,2016年12月。
[50] H。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。