凯·伯格曼;马丁·斯托尔;托尼·沃尔克默 使用扩散接口方法和快速矩阵向量乘积的聚合多层图的半监督学习。 （英语） Zbl 1530.68206号 SIAM J.数学。数据科学。 3，编号2，758-785（2021）。 摘要：我们将基于扩散界面方法的基于图的多类半监督分类技术推广到多层图。除了使用固有的多层结构处理各种应用程序之外，我们还提供了一种非常灵活的方法，可以在低维多层图表示中解释高维数据。高效的数值方法包括相应微分图算子的谱分解以及基于非等间距快速傅里叶变换的快速矩阵-向量乘积，能够快速处理大型高维数据集。我们进行了各种数值测试，特别关注图像分割。特别是，我们在每层多达1000万个节点以及多达104个维度的数据集上测试了我们的方法的性能，得到了最多52层的图形。虽然所有提出的数值实验都可以在普通笔记本电脑上运行，但在我们算法的所有阶段，运行时的每个迭代步长对网络大小的线性依赖性使得它可以扩展到更大和更高维的问题。 引用于2文件 MSC公司： 68T05年 人工智能中的学习和自适应系统 68升10 计算机科学中的图论（包括图形绘制） 05年5月50日 图和线性代数（矩阵、特征值等） 2015财年65 矩阵特征值和特征向量的数值计算 65吨50 离散和快速傅里叶变换的数值方法 62H30型 分类和区分；聚类分析（统计方面） 关键词：幂平均拉普拉斯算子;多类半监督学习;拉普拉斯图;快速特征对计算;非等间距快速傅里叶变换;漫反射界面方法;要素编组 软件：NFFT公司;GitHub公司;鲁万将军;NFFT3型;mf工具箱 PDF格式BibTeX公司 XML格式引用 \textit{K.Bergermann}等人，SIAM J.Math。数据科学。3，编号2758--785（2021；Zbl 1530.68206） 全文： 内政部 arXiv公司 参考文献： [1] D.Alfke、D.Potts、M.Stoll和T.Volkmer，NFFT满足Krylov方法：全连通网络图Laplacian的快速矩阵向量积，前沿应用。数学。统计人员。，4 (2018). [2] S.M.Allen和J.W.Cahn，反相边界运动的微观理论及其在反相畴粗化中的应用，《冶金学报》，27（1979），第1085-1095页。 [3] C.R.Anderson，求大型稀疏厄米矩阵的最小特征值和相关特征向量的Rayleigh-Chebyshev程序，J.Compute。物理。，229（2010），第7477-7487页·Zbl 1197.65034号 [4] M.F.Baumgardner、L.L.Biehl和D.A.Landgrebe，220波段AVIRIS高光谱图像数据集：1992年6月12日，印度松试验场3，2015年。 [5] K.Bergermann，有机太阳能电池形态演化建模，GAMM Arch。学生，1（2019），第18-27页。 [6] A.L.Bertozzi和A.Flenner，高维数据分类图上的扩散界面模型，多尺度模型。同时。，10（2012），第1090-1118页，https://doi.org/10.1137/1083109X。 ·Zbl 1259.68215号 [7] A.L.Bertozzi和A.Flenner，用于高维数据分类的图上扩散界面模型，SIAM Rev.，58（2016），第293-328页，https://doi.org/10.1137/16M1070426。 ·Zbl 1339.68287号 [8] S.Boccaletti、G.Bianconi、R.Criado、C.I.Del Genio、J.Goímez-Gardenes、M.Romance、I.Sendina-Nadal、Z.Wang和M.Zanin，《多层网络的结构和动力学》，《物理学》。众议员，544（2014），第1-122页。 [9] J.Bosch、S.Klamt和M.Stoll，图上扩散界面方法的推广：非光滑势和超图，SIAM J.Appl。数学。，78（2018），第1350-1377页，https://doi.org/10.1137/17M1117835。 ·Zbl 1385.68032号 [10] L.Calatroni、Y.van Gennip、C.-B.Schonlieb、H.M.Rowland和A.Flenner，《图像中物体测量的图形聚类、变分图像分割方法和Hough变换尺度检测》，J.Math。《成像视觉》，57（2017），第269-291页·Zbl 1369.94019号 [11] Y.Chen和X.Ye，单纯形投影，预印本，https://arxiv.org/abs/101.6081, 2011. [12] F.R.K.Chung，谱图理论，CBMS Reg.Conf.Ser。数学方面。92，AMS，普罗维登斯，RI，1997年·Zbl 0867.05046号 [13] M.Craven、D.DiPasquo、D.Freitag、A.McCallum、T.Mitchell、K.Nigam和S.Slattery，《学习从万维网中提取符号知识》，载于《第十五届全国/第十届人工智能/人工智能创新应用会议论文集》（AAAI'98/IAAI'98），AAAI出版社，加利福尼亚州门罗公园，1998年，第509-516页。 [14] M.Dalla Mura、J.A.Benediktsson、J.Chanussot和L.Bruzzone，《形态轮廓的演变：从全色到高光谱图像》，《光学遥感》，施普林格出版社，2011年，第123-146页。 [15] A.Davari、V.Christlein、S.Vesal、A.Maier和C.Riess，高光谱遥感图像分类中有限训练数据的GMM超向量，《图像和模式计算机分析国际会议》，Springer，2017年，第296-306页。 [16] D.J.Eyre，梯度系统的无条件稳定一步方案，1997年。 [17] D.J.Eyre无条件梯度稳定时间推进Cahn-Hilliard方程，MRS Proc。，529（1998），39。 [18] B.Fang，Y.Li，H.Zhang，J.C.-W.Chan，基于双策略样本选择的高光谱图像半监督深度学习分类，遥感，10（2018），574。 [19] M.Fauvel、Y.Tarabalka、J.A.Benediktsson、J.Chanussot和J.C.Tilton，高光谱图像光谱空间分类进展，Proc。IEEE，101（2012），第652-675页。 [20] C.Garcia-Cardona、E.Merkurjev、A.L.Bertozzi、A.Flenner和A.G.Percus，使用图上的扩散接口方法进行多类数据分割，IEEE Trans。模式分析。机器。智力。，36（2014），第1600-1613页·Zbl 1329.68222号 [21] G.H.Golub和C.F.Van Loan，《矩阵计算》，第三版，约翰霍普金斯大学出版社，2012年·Zbl 0865.65009号 [22] D.Greene和P.Cunningham，《从高维数据中生成准确的可解释聚类》，载于《欧洲数据挖掘和知识发现原则会议》，斯普林格出版社，2005年，第486-494页。 [23] D.Greene和P.Cunningham，《用于集成多个数据视图的矩阵分解方法》，载于《数据库中的机器学习和知识发现欧洲联合会议》，Springer，2009年，第423-438页。 [24] M.Hein、S.Setzer、L.Jost和S.S.Rangapuram，《超图的总变异——重访超图的学习》，《神经信息处理系统的进展》，2013年，第2427-2435页。 [25] N.J.Higham，《矩阵的函数：理论与计算》，SIAM，费城，2008年，https://doi.org/10.1137/1.9780898717778。 ·Zbl 1167.15001号 [26] P.W.Holland、K.B.Laskey和S.Leinhardt，《随机块模型：第一步》，《社交网络》，5（1983），第109-137页。 [27] H.-C.Huang、Y.-Y.Chuang和C.-S.Chen，谱聚类的亲和聚合，《2012年IEEE计算机视觉和模式识别会议论文集》，IEEE，2012年，第773-780页。 [28] L.G.S.Jeub、M.W.Mahoney、P.J.Mucha和M.A.Porter，多层网络中社区结构的局部视角，网络科学。，5（2017年），第144-163页。 [29] J.Keiner、S.Kunis和D.Potts，NFFT 3.5，C Subroutine Library，F.Bartel、M.Fenn、T.Go¨rner、M.Kircheis、T.Knopp、M.Quellmalz、M.Schmischke、T.Volkmer和A.Vollrath，撰稿人，网址：http://www.tu-chemnitz.de/potts/nfft，https://github.com/NFFT/NFFT。 [30] J.Keiner、S.Kunis和D.Potts，使用NFFT3-一个用于各种非等间距快速傅里叶变换的软件库，ACM Trans。数学。软质。，36 (2009), 19. ·Zbl 1364.65303号 [31] T.N.Kipf和M.Welling，图卷积网络半监督分类，《第五届学习表征国际会议论文集》（ICLR’17），OpenReview.net，2017年。 [32] M.Kivela¨、A.Arenas、M.Barthelemy、J.P.Gleeson、Y.Moreno和M.A.Porter，多层网络，J.Complex networks，2（2014），第203-271页。 [33] J.Kunegis、S.Schmidt、A.Lommatzsch、J.Lerner、E.W.De Luca和S.Albayrak，用于聚类、预测和可视化的符号图光谱分析，载于2010年SIAM国际数据挖掘会议论文集，SIAM，费城，2010年，第559-570页，https://doi.org/10.1137/1.9781611972801.49。 [34] S.Kunis和D.Potts，非等步长FFT的时间和内存要求，Sampl。理论信号图像处理。，7（2008），第77-100页·Zbl 1182.65209号 [35] L.Lin、C.Chen和T.Xu，基于信息测量和CNN的空间光谱高光谱图像分类，EURASIP J.Wireless Commun。网络，2020（2020），第1-16页。 [36] J.Liu、C.Wang、J.Gao和J.Han，通过联合非负矩阵分解的多视图聚类，载于2013年SIAM国际数据挖掘会议论文集，SIAM，费城，2013，第252-260页，https://doi.org/10.1137/1.9781611972832.28。 [37] Q.Lu和L.Getoor，基于链接的分类，《第20届机器学习国际会议论文集》（ICML-03），AAAI出版社，加州门罗公园，2003年，第496-503页。 [38] X.Luo和A.L.Bertozzi，图的Allen-Cahn格式的收敛性，J.Statist。物理。，167（2017），第934-958页·Zbl 1375.82023号 [39] K.Makantasis、K.Karantzalos、A.Doulamis和N.Doulamis.通过卷积神经网络进行高光谱数据分类的深度监督学习，摘自2015年IEEE国际地球科学和遥感研讨会（IGARSS）论文集，IEEE，2015年，第4959-4962页。 [40] A.K.McCallum、K.Nigam、J.Rennie和K.Seymore，《利用机器学习自动构建互联网门户》，Inform。检索，3（2000），第127-163页。 [41] Z.Meng、E.Merkurjev、A.Koniges和A.L.Bertozzi，使用图聚类方法的高光谱图像分类，图像处理。在线，7（2017），第218-245页。 [42] P.Mercado，论文的MATLAB实现：多层图半监督学习的广义矩阵方法，https://github.com/melopeo/PM_SSL。 [43] P.Mercado、J.Bosch和M.Stoll，《使用扩散接口方法对签名社交网络进行节点分类》，载于《数据库中的机器学习和知识发现欧洲联合会议》，施普林格，2019年，第524-540页。 [44] P.Mercado，A.Gautier，F.Tudisco，and M.Hein，《多层图聚类的幂平均拉普拉斯算子》，载《第二十届国际人工智能与统计会议论文集》，A.Storkey and F.Perez-Cruz，eds.，Proc。机器。学习。第84号决议，PMLR，2018年，第1828-1838页。 [45] P.Mercado、F.Tudisco和M.Hein，《多层图半监督学习的广义矩阵方法》，载于《神经信息处理系统的进展》32，H.Wallach、H.Larochelle、A.Beygelzimer、F.d\textquotesingle Alche-Buc、E.Fox和R.Garnett，eds.，Curran Associates，2019年，第14877-14886页。 [46] E.Merkurjev、T.Kosticí和A.L.Bertozzi，分类和图像处理图形的MBO方案，SIAM J.Imaging Sci。，6（2013），第1903-1930页，https://doi.org/10.1137/120886935。 ·Zbl 1279.68335号 [47] B.Mohar，图的拉普拉斯谱，收录于图论、组合数学和应用，Wiley，1991年，第871-898页·Zbl 0840.05059号 [48] B.Mohar，图的拉普拉斯特征值的一些应用，Springer，Dordrecht，1997年，第225-275页·Zbl 0883.05096号 [49] V.I.Morariu、B.V.Srinivasan、V.C.Raykar、R.Duraiswami和L.S.Davis，《快速高斯求和的自动在线调整》，摘自《神经信息处理系统的进展》，Curran Associates，2009年，第1113-1120页。 [50] P.J.Mucha、T.Richardson、K.Macon、M.A.Porter和J.-P.Onnela，《时间相关、多尺度和多重网络中的社区结构》，《科学》，328（2010），第876-878页·Zbl 1226.91056号 [51] A.Onuki，相变动力学，剑桥大学出版社，2002年·Zbl 1137.82302号 [52] A.Plaza，J.A.Benediktsson，J.W.Boardman，J.Brazile，L.Bruzzone，G.Camps-Valls，J.Chanussot，M.Fauvel，P.Gamba，A.Gualtieri等人，高光谱图像处理技术的最新进展，遥感环境。，113（2009年），第S110-S122页。 [53] G.Plonka、D.Potts、G.Steidl和M.Tasche，《数值傅里叶分析》，《应用和数值谐波分析》，Birkha¨user/Springer，Cham，2018年·兹比尔1412.65001 [54] D.Potts和G.Steidl，NFFTs在非等间距节点上的快速求和，SIAM J.Sci。计算。，24（2003），第2013-2037页，https://doi.org/10.1137/S164827502400984。 ·Zbl 1040.65110号 [55] D.Potts，G.Steidl和A.Nieslony，在非等间距节点上与径向核的快速卷积，Numer。数学。，98（2004），第329-351页·Zbl 1056.65146号 [56] N.Rasiwasia、J.Costa Pereira、E.Coviello、G.Doyle、G.R.Lanckriet、R.Levy和N.Vasconcelos，《跨模式多媒体检索的新方法》，载于《第18届ACM国际多媒体会议论文集》，ACM，2010年，第251-260页。 [57] M.Stoll，数据科学矩阵方法文献综述，GAMM-Mitt。，43（2020年），e20200013。 [58] S.H.Strogatz，《探索复杂网络》，《自然》，410（2001），第268-276页·Zbl 1370.90052号 [59] Z.Sun、C.Wang、P.Li、H.Wang和J.Li，基于SVM的域自适应分类器的高光谱图像分类，《2012年计算机视觉遥感国际会议论文集》，IEEE，2012年，第268-272页。 [60] C.Tomasi和R.Manduchi，灰度和彩色图像的双边滤波，《第六届计算机视觉国际会议论文集》，IEEE，1998年，第839-846页。 [61] K.Tsuda、H.Shin和B.Scho¨lkopf，多网络快速蛋白质分类，生物信息学。，21（2005），第59-65页。 [62] F.Tudisco、P.Mercado和M.Hein，通过非线性模块特征向量进行网络社区检测，SIAM J.Appl。数学。，78（2018），第2393-2419页，https://doi.org/10.1137/17M1144143。 ·Zbl 1397.90089号 [63] M.van Breukelen、R.P.W.Duin、D.M.J.Tax和J.E.den Hartog，组合分类器手写数字识别，Kybernetika，34（1998），第381-386页·Zbl 1274.68403号 [64] Y.Van Gennip、N.Guillen、B.Osting和A.L.Bertozzi，有限图的平均曲率、阈值动力学和相场理论，米兰数学杂志。，82（2014），第3-65页·Zbl 1325.35245号 [65] U.von Luxburg，光谱聚类教程，统计计算。，17（2007），第395-416页。 [66] Q.Wang和J.Zhang，用于区分类似光谱类别的数据传输融合方法，传感器，16（2016），1895。 [67] Y.Wang，H.Song，and Y.Zhang，使用联合双边滤波器和基于图割的模型对高光谱图像进行光谱空间分类，遥感，8（2016），748。 [68] A.A.Wheeler、W.J.Boettinger和G.B.McFadden，二元合金等温相变的相场模型，物理。A版，45（1992），第7424-7439页。 [69] O.Wodo和B.Ganapathysubramanian，有机太阳能电池溶剂制备过程中的形态演变建模，计算机。材料科学。，55（2012年），第113-126页。 [70] D.Zhou、O.Bousquet、T.N.Lal、J.Weston和B.Scho¨lkopf，《局部和全局一致性学习》，《神经信息处理系统进展》，麻省理工出版社，2004年，第321-328页。 [71] X.Zhu和A.B.Goldberg，《半监督学习导论》，综合讲座Artif。智力。机器。《学习》，3（2009），第1-130页·Zbl 1209.68435号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。