徐丽君；于波；张茵 用于结构强制矩阵分解的交替方向和投影算法。 （英语） Zbl 1387.90244号 计算。最佳方案。申请。 68，第2期，333-362（2017）. 摘要：结构强制矩阵分解（SeMF）代表了一大类数学模型，以各种形式出现，包括主成分分析、稀疏编码、字典学习和其他在许多应用中有用的机器学习技术，包括神经科学和信号处理。本文基于经典的交替方向乘法器方法（ADMM），提出了一个统一的算法框架，用于解决约束集允许低复杂度投影的广泛SeMF问题。我们提出了一种自适应调整惩罚参数的策略，这是ADMM获得良好性能的关键。我们进行了大量的数值实验，将所提出的算法与许多最先进的专用算法在测试问题上进行了比较，包括稀疏表示的字典学习和稀疏非负矩阵分解。结果表明，我们的统一SeMF算法可以像专用算法一样可靠、高效地解决不同类型的因式分解问题。特别是，我们的SeMF算法提供了明确实施各种组合稀疏模式的能力，据我们所知，这些模式在现有方法中没有考虑。 引用于三文件 MSC公司： 90立方 非线性规划 关键词：矩阵分解；交替方向法；投影；自适应惩罚参数；稀疏优化；字典学习 软件：Yall1号机组；PDCO公司 PDF格式BibTeX公司 XML格式引用 \textit{L.Xu}等人，计算。最佳方案。申请。68，第2号，333--362（2017；Zbl 1387.90244） 全文： 内政部 链接 参考文献： [1] Paatero，P.，Tapper，U.：正矩阵因式分解：最佳利用数据值误差估计的非负因子模型。环境计量学5（2），111-126（1994）·doi:10.1002/env.3170005003 [2] Lee，D.D.，Seung，H.S.：非负矩阵分解算法。摘自：神经信息处理系统会议（NIPS），第556-562页。麻省理工学院出版社（2001） [3] Gonzalez，E.，Zhang，Y.：加速非负矩阵分解的lee-sung算法。技术报告TR05-02，CAAM，莱斯大学（2005） [4] Lin，C.J.：关于非负矩阵分解的乘法更新算法的收敛性。IEEE传输。神经网络。18(6), 1589-1596 (2007) ·doi:10.1109/TNN.2007.895831 [5] Albright，R.，Cox，J.，Duling，D.，Langville，A.N.，Meyer，C.D.：非负矩阵因式分解的算法、初始化和收敛。NCSU技术报告，数学81706（2006）·Zbl 0984.94010号 [6] Lin，C.J.：非负矩阵分解的投影梯度法。神经计算。19（10），2756-2779（2007）·Zbl 1173.90583号 ·doi:10.1162/neco.2007.19.10.2756 [7] Lee，D.D.，Seung，H.S.：通过非负矩阵分解学习对象的各个部分。《自然》401，788-791（1999）·Zbl 1369.68285号 ·doi:10.1038/44565 [8] Hoyer，P.O.：非负稀疏编码。信号处理的神经网络XII（IEEE信号处理神经网络研讨会），第557-565页。瑞士马蒂尼（2002） [9] Feng，T.，Li，S.Z.，Shum，H.Y.，Zhang，H.J.：作为视觉表示的局部非负矩阵分解。摘自：《第二届发展与学习国际会议记录》，第178-183页（2002年）·Zbl 0254.90045号 [10] Hoyer，P.O.，Dayan，P.：稀疏约束下的非负矩阵分解。J.马赫。学习。第5号决议，1457-1469（2004年）·Zbl 1222.68218号 [11] Montano，A.P.，Carazo，J.M.，Kochi，K.，Lehmann，D.，Pascual-Marqui，R.D.：非光滑非负矩阵因式分解（nsnmf）。IEEE传输。模式分析。28(3), 403-415 (2006) ·doi:10.1109/TPAMI.2006.60 [12] Jenatton，R.，Obozinski，G.，Bach，F.：结构化稀疏主成分分析。国际人工智能与统计会议（AISTATS）（2010年）·Zbl 1177.65088号 [13] Peharz，R.，Pernkopf，F.：稀疏非负矩阵因式分解ℓ0约束。神经计算80，38-46（2012）·doi:10.1016/j.neucom.2011.09.024 [14] Zheng，W.S.，Lai，J.H.，Liao，S.C.，He，R.：使用像素色散惩罚提取非负基图像。模式识别。45(8), 2912-2926 (2012) ·doi:10.1016/j.patcog.2012.01.022 [15] Aharon，M.、Elad，M.和Bruckstein，A.：K-svd：为稀疏表示设计过完备字典的算法。IEEE传输。信号处理。54(11), 4311-4322 (2006) ·兹比尔1375.94040 ·doi:10.1109/TSP.2006.881199 [16] Mairal，J.、Bach，F.、Ponce，J.和Sapiro，G.：稀疏编码的在线词典学习。摘自：第26届国际机器学习年会论文集8，第689-696页（2009）·Zbl 1242.62087号 [17] Jenatton，R.、Audibert，J.Y.、Bach，F.：具有稀疏诱导规范的结构化变量选择。J.马赫。学习。第127777-2824号决议（2011年）·Zbl 1280.68170号 [18] Szabo，Z.，Poczos，B.，Lorincz，A.：在线群组结构词典学习。摘自：第24届IEEE计算机视觉和模式识别会议（CVPR）11，第2865-2872页，华盛顿特区（2011）·Zbl 1173.90583号 [19] Glowinski，R.，Marroco，A.：超近似，par elements finis dordreun，et la resolution，par penalisation-dirichlet非线性问题的二元沙丘类。Revue francaise dautomatique、informatique、recherche operationlle。分析数字9（2），41-76（1975）·Zbl 0368.65053号 ·doi:10.1051/m2安/197509R200411 [20] Gabay，D.，Mercier，B.：通过有限元近似求解非线性变分问题的对偶算法。计算。数学。申请。2(1), 17-40 (1976) ·Zbl 0352.65034号 ·doi:10.1016/0898-1221（76）90003-1 [21] Yang，J.，Zhang，Y.：压缩传感中L1问题的交替方向算法。SIAM J.科学。计算。33(1), 250-278 (2011) ·Zbl 1256.65060号 ·数字对象标识代码：10.1137/09077761 [22] Goldstein，T.，Osher，S.：L1正则化问题的分裂Bregman方法。SIAM J.成像科学。2(2), 323-343 (2009) ·Zbl 1177.65088号 ·doi:10.1137/080725891 [23] Glowinski，R.，Le Tallec，P.：非线性力学中的增广拉格朗日和算子分裂方法。SIAM，费城（1989）·Zbl 0698.73001号 ·doi:10.1137/1.9781611970838 [24] He，B.，Liao，L.，Han，D.，Yang，H.：单调变分不等式的一种新的不精确交替方向方法。数学。程序。A（92），103-118（2002）·Zbl 1009.90108号 ·doi:10.1007/s101070100280 [25] 邓伟，尹伟：关于乘数的广义交替方向法的全局收敛性和线性收敛性。技术报告TR12-14，CAAM，莱斯大学（2012）·Zbl 1379.65036号 [26] Powell，M.J.D.：最小化问题中非线性约束的方法。优化。伦敦学术出版社（1969）·Zbl 0194.47701号 [27] Hestenes，M.R.：乘数法和梯度法。J.Optimiz。理论应用。4, 303-320 (1969) ·Zbl 0174.20705号 ·doi:10.1007/BF00927673 [28] Rockafellar，R.T.：应用于凸规划的hestenes和powell乘数法。J.Optimiz。理论应用。12, 555-562 (1973) ·Zbl 0254.90045号 ·doi:10.1007/BF00934777 [29] Fortin，M.，Glowinski，R.：增广拉格朗日方法。北荷兰，阿姆斯特丹（1983年）·Zbl 0525.65045号 [30] Zhang，Y.：非负矩阵分解的交替方向算法。技术报告TR10-03，CAAM，莱斯大学（2010） [31] He，B.S.，Yang，H.，Wang，S.L.：单调变分不等式的自适应惩罚参数交替方向方法。J.Optimiz。理论应用。106(2), 337-356 (2000) ·Zbl 0997.49008号 ·doi:10.1023/A:1004603514434 [32] Wen，Z.，Goldfarb，D.，Yin，W.：半定规划的交替方向增广拉格朗日方法。数学。项目。计算。2, 203-230 (2010) ·兹伯利1206.90088 ·doi:10.1007/s12532-010-0017-1 [33] Lin，Z.，Liu，R.，Su，Z:低秩表示的自适应惩罚线性化交替方向方法。神经信息处理系统进展（NIPS）24（2011）·Zbl 1280.68170号 [34] Samaria，F.S.，Harter，A.C.：人脸识别随机模型的参数化。摘自：第二届IEEE计算机视觉应用研讨会论文集，第138-142页（1994） [35] Donoho，D.，Stodden，V.：非负矩阵分解什么时候能正确地分解为部分？In:第17届神经信息处理系统年会论文集NIPS（2003）·Zbl 1009.90108号 [36] Mallat，S.，Zhang，Z.F.：用时频词典匹配追踪。IEEE传输。信号处理。41, 3397-3415 (1993) ·Zbl 0842.94004号 ·数字对象标识代码：10.1109/78.258082 [37] Chen，S.，Billings，S.A.，Luo，W.：正交最小二乘法及其在非线性系统辨识中的应用。《国际期刊控制》第50期，1873-1896（1989）·Zbl 0686.93093号 ·网址：10.1080/00207178908953472 [38] Davis，G.M.、Mallat，S.G.、Zhang，Z.F.：自适应时频分解。选择。工程33（7），2183-2191（1994）·数字对象标识代码：10.1117/12.173207 [39] Pati，Y.C.，Rezaiifar，R.，Krishnaprasad，P.S.：正交匹配追踪：递归函数逼近及其在小波分解中的应用。收录于：1993年第二十七届信号、系统和计算机Asilomar会议记录1，第40-44页（1993年） [40] Tropp，J.A.：贪婪是好的：稀疏近似的算法结果。IEEE传输。Inf.理论50（10），2231-2242（2004）·Zbl 1288.94019号 ·doi:10.1109/TIT.2004.834793 [41] Chen，S.，Donoho，D.，Saunders，M.：通过基追踪进行原子分解。SIAM J.科学。计算。20, 33-61 (1998) ·Zbl 0919.94002号 ·doi:10.1137/S1064827596304010 [42] Gorodnitsky，I.F.，Rao，B.D.：使用焦点从有限数据重建稀疏信号：一种重新加权的范数最小化算法。IEEE传输。信号处理。45, 600-616 (1997) ·doi:10.1109/78.558475 [43] Rao，B.D.，Kreutz-Delgado，K.：最佳基选择的仿射缩放方法。IEEE传输。信号处理。47(1), 187-200 (1999) ·Zbl 0984.94010号 ·数字对象标识代码：10.1109/78.738251 [44] Rao，B.D.，Kreutz-Delgado，K.：推导计算线性反问题稀疏解的算法。收录于：IEEE会议记录第三十届信号、系统和计算机Asilomar会议1，pp.955-959（1998）·兹比尔1375.94040 [45] Rao，B.D.，Engan，K.，Cotter，S.F.，Palmer，J.，Kreutz-Delgado，K.:基于多样性度量最小化的噪声子集选择。IEEE传输。信号处理。51(3), 760-770 (2003) ·doi:10.1109/TSP.2002.808076 [46] Gersho，A.，Gray，R.M.：矢量量化和信号压缩。诺威尔Kluwer学术出版社（1991）·Zbl 0782.94001号 [47] Lewicki，M.S.，Olshausen，B.A.：图像代码自适应和比较的概率框架。J.选项。Soc.Am.A选项。图像科学。视觉。16(7), 1587-1601 (1999) ·Zbl 1099.93511号 ·doi:10.1364/JOSAA.16.001587 [48] Olshausen，B.A.，Field，D.J.：自然图像统计和高效编码。Netw公司。计算。神经7（2），333-339（1996）·doi:10.1088/0954-898X_7_2_014 [49] Olshausen，B.A.，Field，B.J.：基集过完备的稀疏编码：v1所采用的策略？视觉。第37号决议，3311-3325（1997）·doi:10.1016/S0042-6989（97）00169-7 [50] Lewicki，M.S.，Sejnowski，T.J.：学习过度完整表示。神经计算。12, 337-365 (2000) ·doi:10.1162/089976600300015826 [51] Engan，K.、Aase，S.O.、Husöy，J.H.：多帧压缩：理论与设计。EURASIP信号处理。80(10), 2121-2140 (2000) ·Zbl 1098.94538号 ·doi:10.1016/S0165-1684（00）00072-4 [52] Engan，K.，Aase，S.O.，Hakon-Husoy，J.H.：框架设计的最佳方向方法。收录于：IEEE国际声学、语音和信号处理会议5，第2443-2446页（1999） [53] Engan，K.，Rao，B.D.，Kreutz-Delgado，K.:使用聚焦和最佳方向方法（MOD）进行框架设计。挪威信号处理研讨会，第65-69页（1999年） [54] Kreutz-Delgado，K.，Murray，J.F.，Rao，B.D.，Engan，K.Lee，T.，Sejnowski，T.J.：稀疏表示的字典学习算法。神经计算。15(2), 349-396 (2003) ·Zbl 1047.68101号 ·doi:10.1162/089976603762552951 [55] Murray，J.F.，Kreutz-Delgado，K.：一种改进的基于焦点的学习算法，用于解决稀疏线性逆问题。在：IEEE国际信号、系统和计算机会议1，第347-351页（2001） [56] Kreutz-Delgado，K.，Rao，B.D.：基于焦点的字典学习算法。韦维尔。申请。信号图像处理。VIII 4119，1-53（2000） [57] Li，S.Z.，Hou，X.W.，Zhang，H.J.，Cheng，Q.S.：学习空间本地化、基于部件的表示。收录于：IEEE计算机学会计算机视觉和模式识别会议记录（CVPR2001）1，第207-212页（2001） [58] Zheng，W.S.，Li，S.Z.，Lai，J.H.，Liao，S.C.：关于约束稀疏矩阵分解。摘自：IEEE第11届计算机视觉国际会议（ICCV2007），第1-8页（2007）·Zbl 0919.94002号 [59] Bittorf，V.，Recht，B.，Ré，E.，Tropp，J.A.：用线性程序分解非负矩阵。《神经信息处理系统进展》（NIPS’12），第1223-1231页（2012） [60] Araújo，U.M.C.，Saldanha，B.T.C.，Galvao，R.K.H.，Yoneyama，T.，Chame，H.C.，Visani，V.：光谱多成分分析中变量选择的连续投影算法。化学。智力。实验室系统。57(2), 65-73 (2001) ·doi:10.1016/S0169-7439（01）00119-8 [61] Kumar，A.，Sindhwani，V.，Kambadur，P.：用于近可分离非负矩阵分解的快速圆锥壳算法。《机器学习国际会议》（ICML’13）28，第231-239页（2013）·Zbl 1369.68285号 [62] Gillis，N.，Luce，R.：使用线性优化的稳健近可分非负矩阵分解。J.马赫。学习。第15号决议，1249-1280（2014年）·Zbl 1319.90044号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。