Kybernetika 57 1号, 60-77, 2021

基于优化的非负矩阵分解多智能体求解器

涂志鹏和李伟建内政部：10.14736/kyb-2021-1-0060

摘要：

本文研究了多智能体网络上非负矩阵分解（NMF）的分布式求解器。将问题重新转化为标准的分布式优化形式后，我们设计了基于原对偶方法和乘法更新规则形式的分布式算法（DisNMF）。借助辅助函数，我们提供了单调收敛性分析。此外，我们通过计算复杂性分析和数值例子表明，与集中式NMF算法相比，我们的分布式NMF算法性能良好。

关键词：

分布式优化、多智能体网络、非负矩阵分解、乘法更新规则

分类：

15A23、68W15

纸张.pdf

参考文献：

  1. D.P.Bertsekas和J.W.Tsitsiklis:并行和分布式计算：数值方法。 新泽西州普伦蒂斯霍尔恩格伍德悬崖，1989年。 内政部：10.1109/TPAMI.2010.231
  2. D.Cai、X.He、J.Han和T.S.Huang:用于数据表示的图正则化非负矩阵分解。 IEEE传输。模式分析机智能。33 (2010), 1548-1560. 内政部：10.1109/TPAMI.2010.231
  3. W.Deng、X.Zeng和Y.Hong:基于优化求解sylvester方程的分布式计算。 IEEE控制系统说明书。4 (2019), 414-419. 内政部：10.1109/LCSYS.2019.2942711
  4. Ch.Godsil和G.F.Royle:代数图论。 Springer Science Business Media 207（2013）。 交叉参考
  5. X.He、M.-Y.Kan、P.Xie和X.Chen:基于评论的web 2.0项目多视图聚类。 In：程序。第23届万维网国际会议，2014年，第771-782页。 内政部：10.1145/2566486.2567975
  6. R.Horst和H.Tuy:全局优化。 Springer-Verlag，柏林，1996年。 内政部：10.1007/978-3-662-03199-5
  7. K.Huang、N.D.Sidiropoulos和A.Swami:重温非负矩阵分解：对称分解的唯一性和算法。 IEEE传输。信号处理。62 (2013), 211-224. 内政部：10.1109/TSP.2013.2285514
  8. P.Jain和P.Kar:机器学习的非凸优化。 arXiv预印arXiv:1712.078972017。 内政部：10.1561/9781680833690
  9. H.Kim和H.Park:基于交替非负约束最小二乘和活动集方法的非负矩阵分解。 SIAM J.矩阵分析应用。30 (2008), 713-730. 数字对象标识码：10.1137/07069239X
  10. D.L.Lee和H.S.Seung:通过非负矩阵分解学习对象的各个部分。 《自然》401（1999），788-791。 内政部：10.1038/44565
  11. D.S.Lee和H.S.Seung:非负矩阵分解算法。 高级神经信息。过程。系统xx（2001），556-562。 交叉参考
  12. 李伟、曾晓红、洪毅、季海平:带约束线性矩阵方程核范数极小化的分布式设计。 IEEE传输。自动化。控制（2020年）。 内政部：10.1109/TAC.2020.2981930
  13. Ch.-J.林:非负矩阵分解的投影梯度法。 神经计算。19 (2007), 2756-2779. 内政部：10.1162/neco.2007.19.10.2756
  14. 刘总、杨总、范总、何立伟和王永民:基于mapreduce的网络尺度二元数据分析的分布式非负矩阵分解。 In：程序。第19届国际互联网会议（2010年），第681-690页。 DOI:10.145/1772690.17772760
  15. J.Liu、Ch.Wang、J.Gao和J.Han:基于联合非负矩阵分解的多视图聚类。 In：程序。2013 SIAM数据挖掘国际会议，SIAM 2013，第252-260页。 内政部：10.1137/1.9781611972832.28
  16. A.Nedic、A、Ozdaglar和P.A.Parrilo:多智能体网络中的约束一致性与优化。 IEEE传输。自动化。控制55（2010），922-938。 内政部：10.1109/TAC.2010.2041686
  17. V.Peterka（彼得卡）:贝叶斯系统识别。 《系统识别的趋势和进展》（P.Eykhoff编辑），佩加蒙出版社，牛津，1981年，第239-304页。 DOI:10.1016/B978-0-08-025683-2.50013-2
  18. Z.Qiu、S.Liu和L.Xie:多智能体系统的分布式约束最优一致性。 Automatica 68（2016），209-215。 DOI:10.1016/j.automatica.2016.01.055
  19. S.S.Ram、A.Nedić和V.V.Veeravalli:凸优化的分布式随机次梯度投影算法。 J.优化。理论应用。147 (2010), 516-545. 内政部：10.1007/s10957-010-9737-7
  20. G.Shi、B.D.O.Anderson和U.Helmke:求解线性方程组的网络流。 IEEE传输。自动化。控制62（2017），2659-2674。 内政部：10.1109/TAC.2016.2612819
  21. Z.Wen、W.Yin和Y.Zhang:用非线性逐次过松弛算法求解矩阵补全的低秩分解模型。 数学。程序。计算。4 (2012), 333-361. 数字对象标识码：10.1007/s12532-012-0044-1
  22. F.Xu和G.He:非负矩阵补全的新算法。 Pacific J.Optim公司。11 (2015), 459-469. 交叉参考
  23. S.Yang、Q.Liu和J.Wang:具有比例积分协议的多智能体系统用于分布式约束优化。 IEEE传输。自动化。控制62（2016），3461-3467。 内政部：10.1109/TAC.2016.2610945
  24. P.Yi、Y.Hong和F.Liu:用于约束优化的分布式梯度算法及其在电力系统负载共享中的应用。 系统控制通知。83 (2015), 45-52. DOI:10.1016/j.sysconle.2015.06.006
  25. J.Yin、L.Gao和Z.M Zhang:具有分块更新的可扩展非负矩阵分解。 摘自：《关于数据库中机器学习和知识发现的欧洲联合会议》，Springer-Heidelberg，柏林，2014年，第337-352页。 内政部：10.1007/978-3-662-44845-8\_22
  26. D.Yuan、D.W.C.Ho和S.Xu:分布式约束优化的正则化原对偶次梯度方法。 IEEE传输。网络。46 (2015), 2109-2118. DOI:10.10109/TCYB.2015.2464255
  27. X.Zeng和K.Cao:多智能体网络上线性代数方程的计算及可解性验证。 Kybernetika 53（2017），803-819。 内政部：10.14736/kyb-2017-5-0803
  28. X.Zeng、P.Yi和Y.Hong:基于非光滑分析方法的分布式连续时间约束凸优化算法。 IEEE传输。自动化。控制62（2016），5227-5233。 内政部：10.1109/TAC.2016.2628807
  29. X.Zeng、S.Liang、Y.Hong和J.Chen:线性矩阵方程的分布式计算：最优化的观点。 IEEE传输。自动化。控制64（2019），1858-1873。 内政部：10.1109/TAC.2018.2847603