×
尼科莱塔·德尔·布奥诺;弗拉维亚·埃斯波西托;劳拉·塞利卡托;拉法·扎杜克

惩罚非负矩阵分解中超参数优化的双层算法。 （英语） Zbl 07736208号

申请。数学。计算。 457，文章ID 128184，17 p.（2023）.
摘要：学习方法依赖于影响算法性能和从数据中提取知识的超参数。最近，非负矩阵分解（NMF）作为一种学习算法引起了人们越来越多的兴趣。该技术在保留特征属性的同时捕获嵌入在大型数据集中的潜在信息。NMF可以形式化为一个惩罚优化任务，其中惩罚超参数的调整是一个公开的问题。目前的文献没有提供解决这一任务的任何一般框架。本研究建议将惩罚超参数问题表示为NMF中的双层优化问题。我们设计了一种新的算法，称为交替双水平（AltBi），该算法将超参数调整过程融入到NMF因子的更新中。在适当的假设下，研究了数值解的存在性和收敛性的结果，并提供了数值实验。

引用于1文件

MSC公司：

15A23型 矩阵的因式分解
65K10码 数值优化和变分技术
65层55 低阶矩阵逼近的数值方法；矩阵压缩
68问题32 计算学习理论
68V20型 数学形式化与定理证明
90立方厘米 数学规划中的最优性条件和对偶性
46N10号 函数分析在优化、凸分析、数学规划、经济学中的应用

关键词：

非负矩阵分解;超参数优化;惩罚系数;低阶近似

软件：

BOHB公司;Hyperopt公司
PDF格式BibTeX公司 XML格式引用
\textit{N.Del Buono}等人，应用。数学。计算。457，文章ID 128184，17 p.（2023；Zbl 07736208）
全文： 内政部 arXiv公司

参考文献：

[1] 福克纳，S。；克莱因，A。；Hutter，F.，Bohb:大规模稳健高效超参数优化，ICML，PMLR，1437-1446（2018）
[2] Bergstra，J。；Yamins，D。；Cox，D.，《建立模型搜索科学：视觉架构的数百维Hpo》，ICML，115-123（2013）
[3] Bergstra，J。；Bengio，Y.，《超参数优化的随机搜索》，J Mac。学习。研究，13，10，281-305（2012）·兹比尔1283.68282
[4] 弗朗西斯科马利诺，C.D。；杜马，M。；费德里奇，M。；吉迪尼，C。；Maggi，F.M。；Rizzi，W。；Simonetto，L.，预测业务流程监控中超参数优化的遗传算法，信息系统。，74, 67-83 (2018)
[5] 伯格斯特拉，J.S。；Bardenet，R。；Y.本吉奥。；Kégl，B.，超参数优化算法，神经信息处理系统进展，2546-2554（2011）
[6] Marinov博士。；Karapetyan，D.，《超参数优化与早期终止表现不佳者》，2019年第11届计算机科学与电子工程（CEEC），160-163（2019）
[7] 10.1109/CEC45853.2021.9504761
[8] 隋，G。；Yu，Y.，超参数优化的贝叶斯上下文土匪，IEEE Access，8，42971-42979（2020）
[9] Buono，N.D。；埃斯波西托，F。；Selicato，L.，《学习方法中超参数优化方法：概述》，机器学习、优化和数据科学国际会议，100-112（2020），Springer
[10] Bengio，Y.，基于梯度的超参数优化，神经计算。，12, 8, 1889-1900 (2000)
[11] Bottou，L.，在线算法和随机近似，在线学习。诺尔。净值。(1998) ·Zbl 0968.68127号
[12] Bottou，L.，《随机梯度下降的大规模机器学习》，《2010年COMPSTAT会议论文集》，177-186（2010），Springer·Zbl 1436.68293号
[13] 麦克劳林（D.Maclaurin）。；Duvenaud，D。；Adams，R.，通过可逆学习进行基于梯度的超参数优化，Proc。ICML，2113-2122（2015）
[14] Franceschi，L。；Frasconi，P。；Salzo，S。；格雷齐，R。；Pontil，M.，超参数优化和元学习的双层规划，ICML，PMLR，1568-1577（2018）
[15] Pedregosa，F.，具有近似梯度的超参数优化，ICML，PMLR，737-746（2016）
[16] Buono，N.D。；埃斯波西托，F。；Selicato，L.，《关于调整Nmf中正则化超参数的新方法》，机器学习、优化和数据科学国际会议，500-511（2021），Springer
[17] Bard，J.F.，《实用双层优化：算法和应用》，第30卷（2013），施普林格科学与商业媒体
[18] Franceschi，L。；多尼尼，M。；Frasconi，P。；Pontil，M.，基于正向和反向梯度的超参数优化，ICML，PMLR，1165-1173（2017）
[19] 奇乔基，A。；Zdunek，R.，使用投影梯度方法的多层非负矩阵因子分解，Int.J.Neu。系统。，17, 06, 431-446 (2007)
[20] 朱，D。；施，W。；埃斯瓦尔，S。；Park，H.，非负矩阵因式分解的交替秩k非负最小二乘框架（arknls），SIAM J.矩阵分析。申请。，42, 4, 1451-1479 (2021) ·兹伯利07414036
[21] 埃斯波西托，F。；Gillis，N。；Buono，N.D.，用于微阵列数据分析的正交联合稀疏NMF，J.Math。生物学，79，1，223-247（2019）·Zbl 1418.92039号
[22] Gillis，N.，非负矩阵因子分解（2020），SIAM
[23] Kim，H。；Park，H.，基于交替非负约束最小二乘和活动集方法的非负矩阵分解，SIAM J.matrix Anal。申请。，30, 2, 713-730 (2008) ·Zbl 1162.65354号
[24] Lin，C.J.，非负矩阵分解的投影梯度法，神经计算。，19, 10, 2756-2779 (2007) ·Zbl 1173.90583号
[25] 刘建新。；王，D。；高永乐。；郑春华。；Xu，Y。；Yu，J.，用于识别差异表达基因和聚类样本的正则化非负矩阵分解：一项调查，IEEE/ACM Trans。公司。生物信息。，15, 3, 974-987 (2017)
[26] Merritt，M。；Zhang，Y.，大规模完全非负最小二乘问题的内点梯度法，J.Opt。第三次申请。，126, 1, 191-202 (2005) ·邮编1093.90084
[27] 郑春华。；黄，D.-S。；张，L。；Kong，X.Z.，利用非负矩阵因式分解和基因选择进行肿瘤聚类，IEEE Trans。技术信息。生物识别。，13, 4, 599-607 (2009)
[28] 高，T。；郭毅。；邓，C。；王，S。；Yu，Q.，通过近似L0基于约束非负矩阵分解的高光谱解混，Proc。IEEE国际地球科学遥感研讨会，2156-2159（2015）
[29] 张，Z。；Xu，Y。；杨，J。；李，X。；Zhang，D.，稀疏表示的调查：算法和应用，IEEE Access，3490-530（2015）
[30] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.Roy。Stat.Soc.B，267-288（1996）·Zbl 0850.62538号
[31] D.孔。；丁，C。；Huang，H.，使用L21范数的稳健非负矩阵分解，Proc 20th ACM-CIKM，673-682（2011）
[32] 李，Z。；唐，Z。；丁，S.，基于1/2范数稀疏约束的非负矩阵分解字典学习，Proc。IEEE-CYBCON，63-67（2013），IEEE
[33] 聂，F。；黄，H。；蔡，X。；Ding，C.H.，高级神经信息处理。系统。，1813-1821 (2010)
[34] Hoyer，P.O.，稀疏约束下的非负矩阵分解，J.Mach。学习。第5号决议，1457-1469（2004年）·Zbl 1222.68218号
[35] Kim，H。；Park，H.，通过交替非负约束最小二乘法进行稀疏非负矩阵因子分解，用于微阵列数据分析，生物信息学，23，121495-1502（2007）
[36] Hansen，P.C.，利用l曲线分析离散不适定问题，SIAM Rev.，34，4，561-580（1992）·Zbl 0770.65026号
[37] Hansen，P.C。；O’Leary，D.P.，《l曲线在离散不定问题正则化中的应用》，SIAM SISC，14，6，1487-1503（1993）·Zbl 0789.65030号
[38] Zdunk，R.，正则化非负矩阵分解：几何解释及其在光谱分解中的应用，国际期刊应用。数学。公司。科学。，24, 2, 233-247 (2014) ·Zbl 1293.65058号
[39] 扎杜克，R。；Cichocki，A.，带约束二阶优化的非负矩阵分解，信号处理，87，81904-1916（2007）·Zbl 1186.94391号
[40] Berry，M.W。；布朗，M。；A.N.兰维尔。；Pauca，V.P。；Plemmons，R.J.，近似非负矩阵分解的算法和应用，计算。统计数据分析。，52, 1, 155-173 (2007) ·Zbl 1452.90298号
[41] 王玉霞。；张永杰，非负矩阵分解：综合评述，IEEE Tran。知识。数据工程，25，6，1336-1353（2013）
[42] Lee，D。；Seung，H.S.，非负矩阵分解算法，Proc。第13届NIPS，100-112（2000）
[43] 邓普斯特，美联社。；新墨西哥州莱尔德。；Rubin，D.B.，通过em算法从不完整数据中获得最大似然，J.R.Stat.Soc.B，1-38（1977）·Zbl 0364.62022号
[44] 兰格，K。；Carson，R.，《发射和传输层析成像的Em重建算法》，J.Compute。协助。层析成像。，8, 2, 306-316 (1984)
[45] Lucy，L.B.，《校正观测分布的迭代技术》，Astron。J.（N.年），79745（1974年）
[46] Richardson，W.H.，基于贝叶斯的图像恢复迭代方法，JoSA，62，1，55-59（1972）
[47] L.Saul，F.Pereira，统计语言处理的聚合和混合阶马尔可夫模型，1997，ArXiv预印本cmp-lg/9706007。
[48] Févotte，C。；Idier，J.，具有（β）发散的nmf算法，Neur。计算。，23, 9, 2421-2456 (2011) ·兹比尔1231.65072
[49] Lee，D.D。；Seung，H.S.，通过非负矩阵分解学习对象的各个部分，《自然》，401，6755，788（1999）·Zbl 1369.68285号
[50] Kompass，R.，非负矩阵分解的广义散度测度，神经补偿。，19, 3, 780-791 (2007) ·Zbl 1127.68081号
[51] Févotte，C。；Bertin，N。；Durrieu，J.L.，Nmf与itakura-saito的分歧：应用于音乐分析，Neur。计算。，21, 3, 793-830 (2009) ·Zbl 1156.94306号
[52] 伦敦大学学院
[53] Dontchev，A.L。；Zolezzi，T.，适定优化问题（2006），施普林格
[54] Ⅲ-293
[55] A.Cichocki，R.Zdunk，Nmflab for signal processing toolbox for（2006年1月）。
[56] 奇乔基，A。；扎杜克，R。；Phan，A.H。；Amari，S.i.，《非负矩阵和张量因子分解：探索性多路数据分析和盲源分离的应用》（2009），John Wiley&Sons
[57] 塔斯拉曼，L。；Nilsson，B.，正则化非负矩阵因式分解框架，应用于基因表达数据分析，PLoS ONE，7，11，e46331（2012）
[58] V.Leplat，N.Gillis，C.Févotte，盲谱分解的多分辨率β-发散nmf，2020，ArXiv预印本ArXiv:2007.03893。
[59] Seung，D。；Lee，L.，非负矩阵分解算法，高级神经网络处理。系统。，13556-562（2001年）
[60] Esposito，F.，《非负矩阵分解的初始化方法综述：面向组学数据实验》，《数学》，9，1006（2021）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。