×
何志成;刘杰;当、凯;庄福珍;黄亚露

利用最大熵和潜在因素的相关性进行学习表征。 （英语） Zbl 1475.68270号

神经网络。 131, 312-323 (2020).
摘要：许多任务都涉及从矩阵中学习表示，而非负矩阵分解（NMF）由于其良好的可解释性而被广泛应用。通过因子分解，样本向量被重构为潜在因素的加性组合，这些潜在因素在原始输入特征上表现为非负分布。NMF模型受到潜在因素分布特征及其相关性的显著影响。而NMF模型面临着学习鲁棒性潜在因素的挑战。为此，我们建议在学习表征时，要意识到从因素内和因素间评估的语义质量。一方面，为因子内语义质量设计了一个基于最大熵的函数。另一方面，通过因素间的相关性来评估语义的唯一性，这加强了语义紧凑的目的。此外，我们提出了一种新的非线性NMF框架，给出了学习算法，并对其收敛性进行了理论分析和证明。在多个数据集上的大量实验结果表明，我们的方法可以成功地应用于具有代表性的NMF模型，并比最先进的模型提高性能。

理学硕士：

68T05型 人工智能中的学习和自适应系统
15A23型 矩阵的因式分解
62H25个 因子分析和主成分；对应分析
94甲17 信息的度量，熵

关键词：

非负矩阵分解;最大熵;相关潜在因素学习

软件：

全国大学;GeoMF公司
PDF格式BibTeX公司 XML格式引用
\textit｛Z.He｝等人，神经网络。131、312--323（2020；Zbl 1475.68270）
全文： 内政部

参考文献：

[1] Aletras，N。；Stevenson，M.，《衡量自动生成主题之间的相似性》（ACL（2014）），22-27
[2] 布莱，医学博士。；Lafferty，J.D.，相关主题模型，（NIPS（2005），麻省理工学院出版社），147-154
[3] 布莱，D.M。；Ng，A.Y。；Jordan，M.I.，潜在dirichlet分配，《机器学习研究杂志》（JMLR），3，993-1022（2003）·Zbl 1112.68379号
[4] Buono，N.D。；Pio，G.，《用于联合聚类的非负矩阵三因子化：块矩阵分析》，信息科学，301，13-26（2015）
[5] 蔡，D。；何，X。；Han，J。；Huang，T.S.，用于数据表示的图正则化非负矩阵分解，IEEE模式分析和机器智能汇刊，33，8，1548-1560（2011）
[6] Chen，H.，加权奇异值分解：具有潜在因子权重的矩阵分解（2017），CoRR abs/1710.0482
[7] Chua，T.-S.，Tang，J.，Hong，R.，Li，H.，Luo，Z.，&Zheng，Y.-T.（2009）。NUS-WIDE：新加坡国立大学的真实世界网络图像数据库。过程中。ACM图像和视频检索会议（CIVR'09）。
[8] Deerwester，南卡罗来纳州。；Dumais，S.T。；Landauer，T.K。；Furnas，G.W。；Harshman，R.A.，通过潜在语义分析进行索引，JASIS，41（1990）
[9] 丁，C.H.Q。；何，X。；查，H。；Simon，H.D.，聚类高维数据的自适应降维，（ICDM（2002）），147-154
[10] 丁，C.H.Q。；李·T。；彭，W。；Park，H.，聚类的正交非负矩阵t分解，（KDD（2006）），126-135
[11] 高，H。；聂，F。；Huang，H.，局部质心结构非负矩阵分解，（AAAI（2017）），1905-1911
[12] 他，J。；胡，Z。；Berg-Kirkpatrick，T。；黄，Y。；Xing，E.P.，带主题嵌入的高效相关主题建模，（KDD（2017），ACM），225-233
[13] 何，Z。；刘杰。；刘，C。；Wang，Y。；尹，A。；Huang，Y.，用于独立特征学习的剔除非负矩阵分解，（NLPCC/ICCPOL（2016））
[14] 埃尔南多，A。；Bobadilla，J。；Ortega，F.，基于贝叶斯概率模型的协同过滤推荐系统的非负矩阵分解，基于知识的系统，97，188-202（2016）
[15] Hofmann，T.，概率潜在语义索引，（SIGIR（1999）），50-57
[16] Hoyer，P.O.，稀疏约束下的非负矩阵分解，JMLR，51457-1469（2004）·Zbl 1222.68218号
[17] Jaynes，E.T.，关于现状和未来前景的注释，（最大熵和贝叶斯方法（1991），施普林格），1-13
[18] 季凯。；Tan，J。；Chi，Y。；Xu，J.，《矩阵完成中学习成对惩罚的潜在特征》（2018），CoRR abs/1802.05821
[19] Jolliffe，I.，主成分分析（2002），威利在线图书馆·Zbl 1011.62064号
[20] Kim，H。；Park，H.，通过交替非负约束最小二乘法进行稀疏非负矩阵因子分解，用于微阵列数据分析，生物信息学，23，121495-1502（2007）
[21] Kimura，K。；Kudo，M。；Tanaka，Y.，带正交约束的bregman发散中非负矩阵分解的列式更新算法，机器学习，103，2，285-306（2016）·Zbl 1383.62178号
[22] Koren，Y。；贝尔·R·M。；Volinsky，C.，推荐系统的矩阵分解技术，计算机，42（2009）
[23] Lee，D.D。；Seung，H.S.，通过非负矩阵分解学习对象的各个部分，《自然》，401（1999）·兹比尔1369.68285
[24] Lee，D.D。；Seung，H.S.，非负矩阵分解算法，（NIPS（2000）），556-562
[25] Leshno，M。；Lin，V.Y。；Pinkus，A。；Schocken，S.，具有非多项式激活函数的多层前馈网络可以近似任何函数（1992）
[26] 李，J。；Bioucas-Dias，J.M.，《最小体积单纯形分析：高光谱数据分解的快速算法》（IGARSS（2008）），250-253
[27] 李·T。；信德瓦尼，V。；丁，C.H.Q。；张勇，用词桥接领域：矩阵三要素化的观点分析，（SIAM（2010）），293-302
[28] 李，Z。；Tang，J.，用于社会图像理解的弱监督深度矩阵分解，IEEE图像处理汇刊，26，1，276-288（2017）·Zbl 1409.94410号
[29] 李，Z。；Tang，J。；He，X.，图像表示的稳健结构非负矩阵分解，IEEE神经网络和学习系统汇刊，1947-1960（2018）
[30] 李，Z。；Tang，J。；Mei，T.，用于社会图像理解的深度协作嵌入，IEEE模式分析和机器智能汇刊，2070-2083（2019）
[31] 李·T。；Zhang，Y。；Sindhwani，V.，《利用词汇先验知识进行情绪分类的非负矩阵三因子化方法》（ACL（2009）），244-252
[32] Lian，D。；赵，C。；谢，X。；Sun，G。；陈，E。；Rui，Y.，Geomf:针对兴趣点建议的联合地理建模和矩阵分解，（KDD（2014）），831-840
[33] Liang，D。；Altosaar，J。；查林，L。；Blei，D.M.，因子分解满足项目嵌入：正则化矩阵因子分解与项目共生，（RecSys（2016）），59-66
[34] Lin，C.-J.，非负矩阵分解的投影梯度法，神经计算，19，10，2756-2779（2007）·Zbl 1173.90583号
[35] 刘，T。；龚，M。；Tao，D.，大同非负矩阵分解，IEEE神经网络和学习系统汇刊，28，9，2129-2142（2017）
[36] 卢，H。；Plataniotis，K.N。；Venetsanopoulos，A.N.，张量数据的多线性子空间学习综述，模式识别，44，7，1540-1551（2011）·Zbl 1210.68083号
[37] 罗，X。；刘，Z。；李，S。；尚，M。；Wang，Z.，基于广义动量法的快速非负潜在因素模型，IEEE系统、人与控制论汇刊：系统，1-11（2018）
[38] 罗，X。；王，Z。；Shang，M.，高维稀疏数据非负潜在因子分析的实例频率加权正则化方案，IEEE系统、人与控制论汇刊，1-11（2019）
[39] 罗，X。；Wu，H。；袁，H。；周，M.，通过张量的有偏非负潜在因式分解进行时间模式软件qos预测，IEEE控制论汇刊，1798-1809（2020）
[40] 罗，X。；周，M。；李，S。；胡，L。；Shang，M.，工业应用中高维稀疏矩阵的非负约束缺失数据估计，IEEE控制论汇刊，1844-1855（2020）
[41] 罗，X。；周，M。；李，S。；夏，Y。；你，Z。；Zhu，Q.，将有效的二阶解算器纳入潜在因素模型，以准确预测丢失的qos数据，IEEE控制论汇刊，1216-1228（2018）
[42] 马，X。；Dong，D.，动态网络中社区检测的进化非负矩阵分解算法，IEEE知识与数据工程汇刊，29，5，1045-1058（2017）
[43] 苗，L。；Qi，H.，使用最小体积约束非负矩阵分解从高度混合数据中提取端元，IEEE地球科学与遥感汇刊，45，3，765-777（2007）
[44] Nayar，S.，哥伦比亚对象图像库（COIL100）（1996）
[45] Ng，A.Y。；Jordan，M.I.，《区分性分类器与生成性分类器：逻辑回归与朴素贝叶斯的比较》（NIPS（2001）），841-848
[46] 裴，Y。；查克拉博蒂，北卡罗来纳州。；Sycara，K.P.，社交网络中社区检测的带图正则化的非负矩阵三因子分解，（IJCAI（2015）），2083-2089
[47] Salakhutdinov，R。；Mnih，A.，概率矩阵分解，（NIPS（2007）），1257-1264
[48] Shannon，C.E.，通信数学理论，ACM SIGMOBILE移动计算和通信评论，5，1，3-55（2001）
[49] 舒，Z。；吴，X。；风扇，H。；黄，P。；吴博士。；胡，C.，数据表示的无参数自加权多重图正则化非负矩阵分解，基于知识的系统，131105-112（2017）
[50] Squires，S。；Prügel-Bennett，A。；Niranjan，M.，使用最小描述长度的非负矩阵因式分解中的秩选择，神经计算，29，2164-2176（2017）·Zbl 1418.62226号
[51] Takeuchi，K。；石黑浩，K。；木村，A。；Sawada，H.，非负多重矩阵分解，（IJCAI（2013）），1713-1720
[52] 王凯。；段，X。；马，J。；沙，C。；王，X。；Zhou，A.，隐式反馈数据集的局部加权矩阵分解（DASFAA（2016））
[53] Wang，S.I。；曼宁，C.D.，《基线和二字格：简单、良好的情感和主题分类》（ACL（2012）），90-94
[54] Wang，J。；田，F。；王，X。；余，H。；Liu，C.H。；Yang，L.，多分量非负矩阵因式分解，（IJCAI（2017）），2922-2928
[55] 谢鹏。；邓，Y。；Xing，E.P.，用于文档建模的多样化受限boltzmann机器，（KDD（2015）），1315-1324
[56] 谢鹏。；辛格，A。；Xing，E.P.，《不相关性和均匀性：一种新的促进多样性的正则化方法》（ICML（2017）），3811-3820
[57] 谢鹏。；朱，J。；Xing，E.P.，潜在变量模型的多样性促进贝叶斯学习（ICML（2016）），59-68
[58] 薛，H。；戴，X。；张杰。；黄，S。；Chen，J.，推荐系统的深度矩阵分解模型，（IJCAI（2017）），3203-3209
[59] 荀，G。；李毅。；赵伟新。；高杰。；Zhang，A.，使用单词嵌入的相关主题模型，（IJCAI（2017）），4207-4213
[60] 严，X。；Guo，J。；刘，S。；Cheng，X。；Wang，Y.，使用非负加权矩阵因式分解聚类短文本，（CIKM（2012）），2259-2262
[61] 杨，Z。；郝，T。；O.迪克曼。；陈，X。；Oja，E.，使用图随机游走的非负矩阵因式分解聚类，（NIPS（2012）），1088-1096
[62] Yoo，J。；Choi，S.，用于协同预测的加权非负矩阵协三分解，（ACML（2009））
[63] Zhang，W.E。；Tan，M。；Sheng，Q.Z。；姚，L。；Shi，Q.，stiefel流形上的高效正交非负矩阵因式分解，（CIKM（2016）），1743-1752
[64] 郑，X。；朱，S。；高杰。；Mamitsuka，H.，用局部可靠集群聚合分区的实例加权非负矩阵因式分解（IJCAI（2015）），4091-4097
[65] 周，G。；谢S。；杨，Z。；杨，J。；He，Z.，最小体积约束非负矩阵分解：学习部分的增强能力，IEEE神经网络汇刊，22，10，1626-1637（2011）
[66] 周，G。；杨，Z。；谢S。；Yang，J.，使用体积约束的增量非负矩阵分解进行在线盲源分离，IEEE神经网络汇刊，22，4，550-560（2011）
[67] 邹建勇。；Adams，R.P.，生成性潜在变量模型多样性的先验，（NIPS（2012）），3005-3013
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。