劳伦斯·K·索尔。 用于挖掘稀疏数据零点的非线性矩阵分解。 （英语） Zbl 1490.62024号 SIAM J.数学。数据科学。 4，编号2，431-463（2022）. 摘要：我们描述了多元数据分析中一个广泛出现的问题的简单迭代解法：给定一个稀疏非负矩阵（mathbf{X}），如何估计一个低秩矩阵（Theta\），使得（mathbf{X}\近似f（Theta）\），其中\（f\）是一个元素非线性？我们为这个问题开发了一个潜在变量模型，并考虑了神经网络中流行的稀疏非线性，这些非线性将所有负值映射为零。该模型试图用较小的自由度来解释稀疏高维数据的可变性。我们证明了该模型中的精确推理是可处理的，并导出了估计低秩矩阵（Theta）的期望最大化（EM）算法。值得注意的是，我们没有将（Theta）参数化为要交替优化的较小矩阵的乘积；相反，我们通过矩阵的奇异值分解直接估计（Theta），这些矩阵是根据模型的后验分布（在EM算法的每次迭代中）反复推断的。我们使用该模型分析由二进制、灰度和彩色图像的数据集产生的大型稀疏矩阵。在所有这些情况下，我们发现该模型发现了比纯线性方法低得多的秩分解。 MSC公司： 62-08 统计问题的计算方法 15A23型 矩阵的因式分解 15个B48 正矩阵及其推广；矩阵的锥 62兰特 大数据和数据科学的统计方面 65层50 稀疏矩阵的计算方法 65层55 低阶矩阵逼近的数值方法；矩阵压缩 68T07型 人工神经网络与深度学习 关键词：矩阵分解;潜在变量建模;无监督学习 软件：低等级模型;STL-10数据集;d精灵;皮格尔姆;最大功率放大器;github;达奇;LBFGS-B型 PDF格式BibTeX公司 XML格式引用 \textit{L.K.Saul}，SIAM J.数学。数据科学。4，编号2，431--463（2022；Zbl 1490.62024） 全文： 内政部 参考文献： [1] C.Anderson-Bergman、T.G.Kolda和K.Kincher-Winoto，XPCA：扩展离散变量和连续变量组合的PCA，预印本，arXiv:1808.075102018。 [2] A.M.S.Ang和N.Gillis，使用外推加速非负矩阵分解算法，神经计算。，31（2019年），第417-439页·Zbl 1470.65083号 [3] D.J.Bartholomew、M.Knott和I.Moustaki，《潜在变量模型和因子分析：统一方法》，英国奇切斯特威利出版社，2011年·Zbl 1266.62040号 [4] S.Bengio、K.Dembczynski、T.Joachims、M.Kloft和M.Varma，《极限分类》，Dagstuhl Rep.，8（2019），第62-80页。 [5] S.A.Bhaskar，量化测量的概率低秩矩阵完成，J.Mach。学习。研究（JMLR），17（2016），第1-34页·Zbl 1395.62120号 [6] S.A.Bhaskar和A.Javanmard，精确低秩约束下的1位矩阵补全，《第49届信息科学与系统年会论文集》（CISS-15），IEEE，新泽西州皮斯卡拉韦，2015年，第1-6页。 [7] Y.Bi和J.Lavaei，关于非线性低秩矩阵恢复问题中不存在伪局部极小值，Proc。马赫。学习。研究（PMLR），130（2021），第379-387页。 [8] E.Bingham、A.Kaban和M.Fortelius，《方面-伯努利模型：存在和缺席的多重原因》，《PAA模式分析》。申请。，12（2009年），第55-78页·Zbl 1422.68204号 [9] D.Blei，构建，计算，评论，重复：潜在变量模型的数据分析，年度。修订状态申请。，1（2014），第203-232页。 [10] D.M.Blei、A.Y.Ng和M.I.Jordan，《潜在迪里克莱分配》，J.Mach。学习。研究（JMLR），3（2003），第993-1022页·兹比尔1112.68379 [11] J.-P.Brunet、P.Tamayo、T.R.Golub和J.P.Mesirov，《利用矩阵分解发现转基因和分子模式》，Proc。美国国家科学院。科学。美国，101（2004），第4164-4169页。 [12] R.H.Byrd、P.Lu、J.Nocedal和C.Zhu，边界约束优化的有限内存算法，SIAM J.Sci。计算。，16（1995年），第1190-1208页·Zbl 0836.65080号 [13] 蔡先生和周文新，一位矩阵补全的最大形式约束最小化方法，J.Mach。学习。研究（JMLR），14（2013），第3619-3647页·Zbl 1318.62172号 [14] E.Candeís和B.Recht，通过凸优化实现精确矩阵补全，Found。计算。数学。，9（2009），第717-772页·Zbl 1219.90124号 [15] J.Canny，边缘检测的计算方法，IEEE Trans。模式分析。马赫。智力。，8（1986年），第679-698页。 [16] Y.Cao和Y.Xie，分类矩阵完成，《第六届IEEE多传感器自适应处理计算进展国际研讨会论文集》（CAMSAP-15），IEEE，新泽西州皮斯卡塔韦，2013年，第369-372页。 [17] A.Cemgil，非负矩阵分解模型的贝叶斯推理，Comput。智力。神经科学。2009年（2009年），785152。 [18] S.Chatterjee，基于广义奇异值阈值的矩阵估计，Ann.Statist。，43（2015），第177-214页·Zbl 1308.62038号 [19] Chi Y.M.Lu和Y.Chen，非凸优化满足低秩矩阵分解：概述，IEEE Trans。信号处理。，67（2019年），第5239-5269页·Zbl 07123429号 [20] A.Cichocki、R.Zdunk和S.Amari，非负矩阵和三维张量因式分解的层次ALS算法，独立分量分析和信号分离，M.E.Davies、C.J.James、S.A.Abdallah和M.D.Plumbley编辑，《计算讲义》。科学。4666，柏林施普林格出版社，2007年，第169-176页·Zbl 1172.94390号 [21] A.Cichocki、R.Zdunk、A.H.Phan和S.Amari，《非负矩阵和张量因子分解：探索性多路数据分析和盲源分离的应用》，新泽西州威利市，2009年。 [22] A.K.Cline和I.S.Dhillon，奇异值分解的计算，《线性代数手册》，CRC出版社，佛罗里达州博卡拉顿，2006年，第45页。 [23] A.Coates、A.Ng和H.Lee，《无监督特征学习中单层网络的分析》，Proc。马赫。学习。Res，（PMLR），15（2011），第215-223页。 [24] M.Collins、S.Dasgupta和R.E.Schapire，《主成分分析对指数族的概括》，载于《神经信息处理系统的进展》14，T.G.Dietterich、S.Becker和Z.Ghahramani，eds.，麻省理工学院出版社，马萨诸塞州剑桥，2002年，第617-624页。 [25] M.A.Davenport，Y.Plan，E.van den Berg和M.Wooters，1位矩阵完成，Inf.Infence，3（2014），第189-223页·Zbl 1309.62124号 [26] S.Deerwester、S.T.Dumais、G.W.Furnas、T.K.Landauer和R.Harshman，通过潜在语义分析进行索引，J.Assoc.Inform。科学。《技术》，41（1990），第391-407页。 [27] A.P.Dempster、N.M.Laird和D.B.Rubin，通过EM算法从不完整数据中获得最大似然，J.R.Stat.Soc.B，Stat.Methodol。，39（1977年），第1-38页·Zbl 0364.62022号 [28] E.M.Dodds和M.R.M.Robert，《自然声音和自然图像的稀疏结构：神经编码的相似性、差异性和含义》，Front。计算。神经科学。，13（2019年），第1-19页。 [29] D.Donoho，《高维数据分析：维度的诅咒与祝福》，AMS数学挑战讲座，AMS，普罗维登斯，RI，2000年，第1-32页。 [30] C.Eckart和G.Young，《一个矩阵与另一个低阶矩阵的近似》，《心理测量学》，1（1936），第211-218页·JFM 62.1075.02标准 [31] N.B.Erichson、A.Mendible、S.Wihlborn和J.N.Kutz，随机非负矩阵分解，模式识别。莱特。，104（2018），第1-7页。 [32] 范建华，程建华，深度矩阵因式分解的矩阵完备化，神经网络。，98（2018），第34-41页。 [33] P.Foldiak和M.Young，灵长类皮层中的稀疏编码，收录于《大脑理论和神经网络手册》，麻省理工学院出版社，马萨诸塞州剑桥，1995年，第895-898页。 [34] A.Frieze、R.Kannan和S.Vempala，《寻找低阶近似的快速蒙特卡罗算法》，J.ACM，51（1998），第1025-1041页·Zbl 1125.65005号 [35] X.Fu，K.Huang，N.D.Sidiropoulos和W.-K.Ma，《信号和数据分析的非负矩阵分解：可识别性、算法和应用》，IEEE信号处理。Mag.，36（2019），第59-80页。 [36] R.S.Ganti、L.Balzano和R.Willett，单调单指标模型下的矩阵完成，摘自《神经信息处理系统进展》28，C.Cortes、N.Lawrence、D.Lee、M.Sugiyama和R.Garnett编辑，Curran Associates，Red Hook，NY，2015年，第1864-1872页。 [37] N.Gillis，非负矩阵分解，SIAM，费城，2021年·兹比尔1470.68009 [38] G.Golub和W.Kahan，计算矩阵的奇异值和伪逆，J.Ser。B、 数字。分析。，2（1965年），第205-224页·Zbl 0194.18201号 [39] P.Gopalan、L.Charlin和D.Blei，《基于内容的泊松因子分解建议》，摘自《神经信息处理系统进展》27，Z.Ghahramani、M.Welling、C.Cortes、N.Lawrence和K.Q.Weinberger编辑，Curran Associates，Red Hook，NY，2014年，第3176-3184页。 [40] P.Gopalan、J.M.Hofman和D.M.Blei，《具有层次泊松因子分解的可扩展建议》，载于《第31届人工智能不确定性会议论文集》（UAI-15），Curran Associates，Red Hook，NY，2015年，第326-335页。 [41] G.J.Gordon，广义（{^2}）线性（{^2}）模型，摘自《神经信息处理系统进展》15，S.Becker、S.Thrun和K.Obermayer编辑，麻省理工学院出版社，马萨诸塞州剑桥，2003年，第593-600页。 [42] S.Gunasekar、P.Ravikumar和J.Ghosh，结构约束下的指数族矩阵完成，《第31届机器学习国际会议论文集》（ICML-14），IEEE，新泽西州皮斯卡塔韦，2014年，第1917-1925页。 [43] J.Guo、E.Levina、G.Michailidis和J.Zhu，有序数据的图形模型，J.Compute。图表。统计人员。，24（2015），第183-204页。 [44] N.Halko、P.G.Martinsson和J.A.Tropp，《发现随机结构：构造近似矩阵分解的概率算法》，SIAM Rev.，53（2011），第217-288页·Zbl 1269.65043号 [45] P.D.Handschutter、N.Gillis和X.Siebert，深度矩阵分解调查，计算。科学。修订版，42，（2021），100423·Zbl 1486.68147号 [46] T.Hastie、R.Mazumder、J.D.Lee和R.Zadeh，矩阵完备和通过快速交替最小二乘的低秩奇异值分解，J.Mach。学习。研究（AMLR），16（2015），第3367-3402页·Zbl 1352.65117号 [47] N.C.Henderson和R.Varadhan，Damped Anderson加速，带重启和单调控制，用于加速EM和类EM算法，J.Compute。图表。统计人员。，28（2019年），第834-846页·Zbl 07499030号 [48] J.M.Hernandez-Lobato、N.Houlsby和Z.Ghahramani，二元矩阵可扩展概率建模的随机推理，第31届机器学习国际会议论文集（ICML-14），IEEE，新泽西州皮斯卡塔韦，2014年，第379-387页。 [49] G.E.Hinton和Z.Ghahramani，发现稀疏分布表示的生成模型，Philos。事务处理。罗伊。Soc.B，352（1997），第1177-1190页。 [50] G.E.Hinton和R.R.Salakhutdinov，《利用神经网络降低数据维数》，《科学》，313（2006），第504-507页·Zbl 1226.68083号 [51] P.D.Hoff，二元数据的双线性混合效应模型，J.Amer。统计师。Assoc.，100（2005），第286-295页·Zbl 1117.62353号 [52] P.D.Hoff，《对称关系数据中的同质性和随机等价建模》，摘自《神经信息处理系统进展》20，J.Platt、D.Koller、Y.Singer和S.Roweis，eds.，Curran Associates，Red Hook，NY，2008年，第657-665页。 [53] M.Hoffman、D.Blei、J.Paisley和C.Wang，《随机变分推理》，J.Mach。学习。研究（JMLR），14（2013），第1303-1347页·Zbl 1317.68163号 [54] T.Hofmann，《概率潜在语义分析》，载于《第十五届人工智能不确定性会议论文集》（UAI-99），摩根·考夫曼，旧金山，1999年，第289-296页。 [55] C.-J.Hsieh和I.S.Dhillon，非负矩阵因式分解的变量选择快速坐标下降法，第17届ACM SIGKDD国际知识发现和数据挖掘会议论文集，ACH，纽约，2011年，ACM，第1064-1072页。 [56] D.J.Hsu、S.M.Kakade、J.Langford和T.Zhang，通过压缩感知进行多标签预测，摘自《神经信息处理系统进展》22，Y.Bengio、D.Schurmans、J.Lafferty、C.Williams和A.Culotta，eds.，Curran Associates，Red Hook，NY，2009年，第772-780页。 [57] P.Jain和P.Kar，机器学习的非凸优化，发现。趋势马赫数。学习。，10（2017年），第142-336页·兹比尔1388.68251 [58] M.Jamshidian和R.I.Jennrich，EM算法的共轭梯度加速度，J.Amer。统计师。协会，88（1993），第221-228页·Zbl 0775.65025号 [59] M.Jamshidian和R.I.Jennrich，使用准Newton方法加速EM算法，J.R.Stat.Soc.，Ser。B.，59（1997），第569-587页·Zbl 0889.62042号 [60] C.C.Johnson，隐式反馈数据的Logistic矩阵分解，神经信息处理系统（NIPS-14）分布式矩阵计算研讨会，Curran Associates，Red Hook，NY，2014年。 [61] M.I.Jordan、Z.Ghahramani、T.S.Jaakkola和L.K.Saul，《图形模型变分方法简介》，马赫。学习。，37（1999），第183-233页·Zbl 0945.68164号 [62] R.H.Keshavan、A.Montanari和S.Oh，《几个条目的矩阵补全》，IEEE Trans。通知。《理论》，56（2010），第2980-2998页·Zbl 1366.62111号 [63] J.Kim、Y.He和H.Park，非负矩阵和张量分解算法：基于块坐标下降框架的统一视图，J.Global Optim。，58（2014），第285-319页·兹比尔1321.90129 [64] T.G.Kolda和D.P.O'Leary，信息检索中潜在语义索引的半离散矩阵分解，ACM Trans。通知。《系统》，16（1998），第322-346页。 [65] T.G.Kolda和D.P.O'Leary，《805算法：半离散矩阵分解的计算和使用》，ACM Trans。数学。《软件》，26（2000），第415-435页。 [66] Y.Koren、R.Bell和C.Volinsky，《推荐系统的矩阵分解技术》，《计算机》，42（2009），第30-37页。 [67] J.Lafond，指数族噪声下的低秩矩阵完备性，《第28届学习理论会议论文集》（COLT-15），ACH，纽约，2015年，第1224-1243页。 [68] J.Lafond、O.Klopp、E.Moulines和J.Salmon，有限字母的概率低秩矩阵补全，收录于《神经信息处理系统进展》27，Z.Ghahramani、M.Welling、C.Cortes、N.Lawrence和K.Q.Weinberger编辑，Curran Associates，Red Hook，NY，2014年，第1727-1735页。 [69] A.S.Lan、C.Studer和R.Baraniuk，从量化和损坏的测量中恢复矩阵，《IEEE声学、语音和信号处理国际会议论文集》（ICASSP-14），IEEE，新泽西州皮斯卡塔韦，2014年，第4973-4977页。 [70] J.S.Larsen和L.K.H.Clemmensen，二进制数据的非负矩阵分解，《第七届知识发现、知识工程和知识管理国际联合会议论文集》（IC3K-15），查姆施普林格，2015年，第555-563页。 [71] Y.LeCun、L.Bottou、Y.Bengio和P.Haffner，基于梯度的学习应用于文档识别，Proc。IEEE，86（1998），第2278-2324页。 [72] D.D.Lee和H.S.Seung，通过非负矩阵分解学习对象的各个部分，《自然》，401（1999），第788-791页·Zbl 1369.68285号 [73] D.D.Lee和H.S.Seung，非负矩阵因式分解算法，《神经信息处理系统进展》13，T.Leen、T.Dietterich和V.Tresp编辑，麻省理工学院出版社，马萨诸塞州剑桥，2001年，第535-541页。 [74] D.D.Lee和H.Sompolinsky，学习二进制数据的连续隐变量模型，摘自《神经信息处理系统的进展》11，M.J.Kearns、S.a.Solla和D.a.Cohn编辑，麻省理工学院出版社，马萨诸塞州剑桥，1999年，第515-521页。 [75] T.Lesieur、F.Krzakala和L.Zdeborová，概率低秩矩阵估计的MMSE：关于输出信道的普遍性，载于《第53届Allerton通信、控制和计算年会论文集》（Allerton-15），IEEE，新泽西州皮斯卡塔韦，2015年，第680-687页。 [76] C.Liu、D.B.Rubin和Y.N.Wu，《加速EM的参数扩展：PX-EM算法》，《生物统计学》，85（1998），第755-770页·Zbl 0921.62071号 [77] A.Lumberas、L.Filstroff和C.Feívotte，贝叶斯平均参数非负二元矩阵因式分解，Data Min.Knowl。发现。，34（2020），第1898-1935页·Zbl 1460.62037号 [78] Z.Ma、Z.Ma和H.Yuan，适用于具有边缘协变量的大型网络的泛潜在空间模型，J.Mach。学习。《研究》（JMLR），21（2020），第1-67页·Zbl 1497.68432号 [79] J.B.MacQueen，《多元观测分类和分析的一些方法》，载于《第五届伯克利数理统计与概率研讨会论文集》，加利福尼亚大学出版社，伯克利，加利福尼亚州，1967年，第281-297页·Zbl 0214.46201号 [80] M.W.Mahoney，矩阵和数据的随机算法，Found。趋势马赫数。学习。，3（2010年），第123-224页·Zbl 1232.68173号 [81] I.Markovsky，低秩近似：算法，实现，应用，通信控制。工程服务。，施普林格，伦敦，2012年·兹比尔1245.93005 [82] L.Matthey、I.Higgins、D.Hassabis和A.Lerchner，dSprites:解纠缠测试精灵数据集，https://github.com/deepmind/dsprites-dataset/, 2017. [83] A.Mazumdar和A.S.Rawat，《ReLU模型中的学习和恢复》，摘自《第57届Allerton通信、控制和计算年会论文集》，IEEE，新泽西州皮斯卡塔韦，2019年，第108-115页。 [84] P.McCullagh和J.A.Nelder，广义线性模型，查普曼和霍尔/CRC，佛罗里达州博卡拉顿，1989年·Zbl 0744.62098号 [85] G.J.McLachlan和K.E.Basford，《混合模型：推断和聚类应用》，CRC出版社，佛罗里达州博卡拉顿，1987年·Zbl 0697.62050号 [86] E.Meeds、Z.Ghahramani、R.M.Neal和S.T.Roweis，《用二进制潜在因素建模二元数据》，摘自《神经信息处理系统进展》第19卷，B.Scho¨lkopf、J.Platt和T.Hofmann主编，麻省理工学院出版社，马萨诸塞州剑桥，2007年，第977-984页。 [87] J.J.Meulman、A.J.V.der Kooij和W.J.Heiser，序数和标称数据的非线性最优标度变换的主成分分析，载于《社会科学定量方法学Sage手册》，Sage，千橡园，加利福尼亚州，2004年，第49-72页。 [88] A.Mnih和R.R.Salakhutdinov，概率矩阵分解，《神经信息处理系统进展》20，J.C.Platt、D.Koller、Y.Singer和S.T.Roweis，eds.，Curran Associates，Red Hook，NY，2008年，第1257-1264页。 [89] R.M.Neal，使用马尔可夫链蒙特卡罗方法的概率推理，技术报告CRG-TR-93-1，多伦多大学计算机科学系，1993年。 [90] D.P.O'Leary和S.Peleg，《通过外部产品扩展实现数字图像压缩》，IEEE Trans。社区。，31（1983年），第441-444页。 [91] B.A.Olshausen和D.J.Field，《通过学习自然图像的稀疏代码产生简单细胞感受野属性》，《自然》，381（1996），第607-609页。 [92] P.Paatero和U.Tapper，《正矩阵因式分解：最优利用数据值误差估计的非负因子模型》，《环境计量学》，5（1994），第111-126页。 [93] J.Paisley，D.Blei，and M.Jordan，Bayesian non-negative matrix factorization with随机变分推理，收录于《混合成员模型及其应用手册》，E.Airoldi，D.Bley，E.Erosheva，and S.Fienberg，eds.，Chapman and Hall/CRC Handb。国防部。《统计方法》，查普曼和霍尔/CRC，佛罗里达州博卡拉顿，2014年。 [94] B.Ren、L.Pueyo、G.Zhu和B.Duchêne，非负矩阵因式分解：扩展结构的稳健提取，天体物理学。J.，852（2018），第104页。 [95] L.Rencker、F.Bach、W.Wang和M.D.Plumbley，非线性压缩测量中的稀疏恢复和字典学习，IEEE Trans。信号处理。，67（2019年），第5659-5670页·Zbl 07123505号 [96] J.D.M.Rennie和N.Srebro，合作预测的快速最大边际矩阵分解，第22届机器学习国际会议论文集，ACH，纽约，2005年，第713-719页。 [97] J.D.M.Rennie和N.Srebro，《偏好水平的损失函数：带离散有序标签的回归》，载于《IJCAI偏好处理进展多学科研讨会论文集》，马里兰州卡通斯维尔，2005年，第180-186页。 [98] D.B.Rubin和D.T.Thayer，ML因子分析的EM算法，《心理测量学》，47（1982），第69-76页·Zbl 0483.62046号 [99] R.R.Salakhutdinov、S.T.Roweis和Z.Ghahramani，用EM和期望结合粒度进行优化，《第20届机器学习国际会议论文集》（ICML-03），美国计算机学会，纽约，2003年，第672-679页。 [100] L.Saul和F.Pereira，统计语言处理的聚合和混合阶马尔可夫模型，《第二届自然语言处理经验方法会议论文集》（EMNLP-97），计算语言学协会，纽约萨默塞特，1997年，第81-89页。 [101] A.I.Schein、L.K.Saul和L.H.Ungar，二元数据主成分分析的广义线性模型，Proc。马赫。学习。研究（PMLR），RY（2003），第240-247页。 [102] H.S.Seung和D.D.Lee，《感知的多种方式》，《科学》，290（2000），第2268-2269页。 [103] A.P.Singh和G.J.Gordon，矩阵分解模型的统一观点，《欧洲数据库机器学习和知识发现会议论文集》（ECML/PKDD-08），柏林斯普林格，2008年，第358-373页。 [104] G.-J.Song和M.K.Ng，非负矩阵的非负低秩矩阵近似，附录。数学。莱特。，105 (2020), 106300. ·Zbl 1436.65056号 [105] H.A.Song和S.Lee，使用NMF的层次表示，摘自《神经信息处理国际会议论文集》（ICONIP-13），柏林施普林格，2013年，第466-473页。 [106] A.Soni、S.Jain、J.Haupt和S.Gonella，稀疏因子模型下的噪声矩阵完成，IEEE Trans。通知。《理论》，62（2016），第3636-3661页·Zbl 1359.94173号 [107] N.Srebro，《矩阵分解学习》，麻省理工学院博士论文，马萨诸塞州剑桥，2004年。 [108] N.Srebro和T.Jaakkola，加权低阶近似，《第20届机器学习国际会议论文集》（ICML-03），美国计算机学会，纽约，2003年，第720-727页。 [109] N.Srebro、J.Rennie和T.S.Jaakkola，《神经信息处理系统进展》17，L.K.Saul、Y.Weiss和L.Bottou编辑，麻省理工学院出版社，马萨诸塞州剑桥，2005年，第1329-1336页。 [110] J.Sun、S.Boyd、L.Xiao和P.Diaconis，图上最快的混合马尔可夫过程，与最大方差展开问题的联系，SIAM Rev.，48（2006），第681-699页·Zbl 1109.60324号 [111] L.Taslaman和B.Nilsson，正则化非负矩阵分解框架，及其在基因表达数据分析中的应用，PLOS One，7（2012），e46331。 [112] M.E.Tipping，高维二进制数据的概率可视化，摘自《神经信息处理系统的进展》11，M.J.Kearns、S.A.Solla和D.A.Cohn编辑，麻省理工学院出版社，马萨诸塞州剑桥，1989年，第592-598页。 [113] M.E.Tipping和C.M.Bishop，概率主成分分析，J.R.Stat.Soc.Ser。B统计方法。，61（1999），第611-622页·Zbl 0924.62068号 [114] A.M.Tomeí、R.Schachtner、V.Vigneron、C.G.Puntonet和E.W.Lang，二进制数据集的逻辑非负矩阵因式分解方法，多维。系统。信号处理。，26（2013），第125-143页。 [115] G.Trigeorgis、K.Bousmalis、S.Zafeiriou和B.Schuller，用于学习属性表示的深度矩阵分解方法，IEEE Trans。模式分析。马赫。智力。，39（2016），第417-429页。 [116] J.A.Tropp、A.Yurtsever、M.Udell和V.Cevher，低阶矩阵近似的实用草图算法，SIAM J.matrix Anal。申请。，38（2017），第1454-1485页·Zbl 1379.65026号 [117] J.A.Tropp、A.Yurtsever、M.Udell和V.Cevher，科学模拟应用中的流式低秩矩阵近似，SIAM J.Sci。计算。，41（2019），第A2430-A2463页·Zbl 1420.65060号 [118] M.Turk和A.Pentland，识别特征脸，J.Cogn。神经科学。，3（1991年），第71-86页。 [119] M.Udell、C.Horn、R.Zadeh和S.Boyd，《发现的广义低秩模型》。趋势马赫数。学习。，9（2016），第1-118页·Zbl 1350.68221号 [120] K.Q.Weinberger和L.K.Saul，通过半定编程实现图像流形的无监督学习，《IEEE计算机视觉和模式识别会议论文集》（CVPR-04），IEEE计算机学会，加利福尼亚州洛斯阿拉米托斯，2004年，第998-995页。 [121] K.Q.Weinberger、F.Sha和L.K.Saul，《学习非线性降维的核矩阵》，载于《第21届机器学习国际会议论文集》（ICML-04），美国计算机学会，纽约，2004年，第839-846页。 [122] D.M.Witten、R.Tibshirani和T.Hastie，《惩罚矩阵分解及其在稀疏主成分和典型相关分析中的应用》，生物统计学，10（2009），第515-534页·Zbl 1437.62658号 [123] J.Wright和Y.Ma，《低维模型的高维数据分析：原理、计算和应用》，剑桥大学出版社，剑桥，2021年·兹比尔1478.68009 [124] Wu Y.-J.，E.Levina，J.Zhu，网络数据低秩效应广义线性模型，2017，arXiv预印本，arXiv:1705.06672。 [125] J.Xu、D.Hsu和A.Maleki，EM过参数化的好处，摘自《神经信息处理系统进展》31，S.Bengio、H.Wallach、H.Larochelle、K.Grauman、N.Cesa-Bianchi和R.Garnett编辑，Curran Associates，Red Hook，NY，2018年，第10685-10695页。 [126] H.J.Xue、X.Dai、J.Zhang、S.Huang和J.Chen，推荐系统的深度矩阵分解模型，载于《第26届国际人工智能联合会议论文集》（IJCAI-17），国际人工智能组织联合会议，2017，第3203-3209页。 [127] J.Yu、G.Zhou、A.Cichocki和S.Xie，通过深度非光滑非负矩阵分解学习对象的层次部分，IEEE Access，6（2018），第58096-58105页。 [128] Y.Yu，单调超弹性EM算法，J.Compute。图表。统计人员。，21（2012），第518-537页。 [129] H.Zhao，Z.Ding，Y.Fu，通过深度矩阵分解实现多视图聚类，《第三十一届AAAI人工智能会议论文集》（AAAI-17），AAAI出版社，加州帕洛阿尔托，2017年，第2921-2927页。 [130] Y.Zhao和M.Udell，《神经信息处理系统进展》33，H.Larochelle、M.Ranzato、R.Hadsell、M.F.Balcan和H.Lin编辑，Curran Associates，Red Hook，NY，2020年，第20977-2988页。 [131] Y.Zhao和M.Udell，《通过高斯copula对混合数据进行缺失值插补》，载于《第26届知识发现和数据挖掘国际会议论文集》（KDD-20），ACM，纽约，2020年，第636-646页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。