斯科特，C.B。;埃里克·姆约尔斯内斯 用于空间相关学习的多层人工神经网络训练。 （英语） Zbl 1423.68391号 SIAM J.科学。计算。 41，第5号，S297-S320（2019）. 摘要：多重网格建模算法是一种用于加速在类似图形结构层次上运行的迭代方法模型的技术。我们介绍并演示了一种使用多级方法训练神经网络的新方法。使用从图距离度量导出的目标函数，我们执行正交约束优化，以找到图之间的最优延拓和约束映射。我们比较了几种进行数值优化的方法，并给出了关于这类目标函数上界的一些新的理论结果。一旦计算出来，这些图之间的最优映射就构成了多尺度人工神经网络（MsANN）训练的核心，我们提出了一种新的程序，可以同时训练不同空间分辨率的神经网络模型层次。根据多尺度建模文献中的标准粗化和细化计划，在该层次结构的成员之间传递参数信息。在我们的机器学习实验中，这些模型能够比仅在精细尺度上的训练更快地学习，以较少的权重更新（按数量级）实现相当程度的错误。 MSC公司： 68T05型 人工智能中的学习和自适应系统 关键词：多重网格方法;神经网络;分类;图像分析 软件：LAPACK公司;数学软件;科学Py;TensorFlow公司;皮曼诺普;达奇;PRMLT公司;MNIST公司;亚当;蒙克尔 PDF格式BibTeX公司 XML格式引用 \textit{C.B.Scott}和\textit{E.Mjolsness}，SIAM J.Sci。计算。41，第5号，S297--S320（2019；Zbl 1423.68391） 全文： 内政部 arXiv公司 参考文献： [1] M.Abadi、P.Barham、J.Chen、Z.Chen、A.Davis、J Dean、M.Devin、S.Ghemawat、G.Irving、M.Isard、M.Kudlur、J Levenberg、R.Monga、S.Moore、D.G.Murray、B.Steiner、P.Tucker、V.Vasudevan、P.Warden、M.Wicke、Y.Yu和X.Zheng，Tensorflow：大规模机器学习系统，《第十二届USENIX操作系统设计与实现研讨会论文集》，OSDI 162016，第265-283页。 [2] E.Anderson、Z.Bai、C.Bischof、S.Blackford、J.Demmel、J.Dongarra、J.Du Croz、A.Greenbaum、S.Hammarling、A.McKenney和D.Sorensen，LAPACK用户指南第三版，SIAM，费城，1999年，https://doi.org/10.1137/1.9780898719604。 ·Zbl 0934.65030号 [3] B.R.Bakshi和G.Stephanopoulos，Wave-net：具有局部学习的多分辨率分层神经网络《美国医学会期刊》，39（1993），第57-81页。 [4] M.Belkin和P.Niyogi，用于嵌入和聚类的拉普拉斯特征映射和谱技术《神经信息处理系统进展》，麻省理工学院出版社，剑桥，2002年，第585-591页。 [5] C.M.Bishop，模式识别与机器学习，信息科学。Stat.，Springer，纽约，2006年·Zbl 1107.68072号 [6] H.Bourlard和Y.Kamp，多层感知器的自联想和奇异值分解、生物网络、。，59（1988），第291-294页·兹比尔0651.92006 [7] A.E.Brouwer和W.H.Haemers，距离规则图，摘自《图的光谱》，施普林格，纽约，2012年，第177-185页。 [8] B.M.克拉珀，Python的Munkres实现, 2008–, http://software.clapper.org/munkres网站/; 2018年6月10日访问。 [9] D.Cohen-Steiner、W.Kong、C.Sohler和G.Valiant，图的谱的近似，《第24届ACM SIGKDD知识发现与数据挖掘国际会议论文集》，ACM，纽约，2018年，第1263-1271页。 [10] D.M.Cvetkovic、P.Rowlinson和S.Simic，图谱理论简介，剑桥大学出版社，英国剑桥，2010年·Zbl 1211.05002号 [11] R.D.Falgout、S.Friedhoff、T.V.Kolev、S.P.MacLachlan和J.B.Schroder，多重网格并行时间集成，SIAM J.科学。计算。，36（2014），第C635-C661页，https://doi.org/10.1137/10944230。 ·Zbl 1310.65115号 [12] M.菲德勒，图的代数连通性，捷克斯洛伐克数学。J.，23（1973），第298-305页·Zbl 0265.05119号 [13] M.L.Fredman和R.E.Tarjan，斐波那契堆及其在改进网络优化算法中的应用，J.协会计算。机器。，34（1987），第596-615页·Zbl 1412.68048号 [14] E.M.Grais、H.Wierstorf、D.Ward和M.D.Plumbley，用于单声道声源分离的多分辨率全卷积神经网络，预打印，https://arxiv.org/abs/1710.11473, 2017. [15] G.Hinton、N.Srivastava和K.Swersky，用于机器学习的神经网络：第6a讲，Mini-bactch梯度下降概述, https://www.cs.toronto.edu/tijmen/csc321/slides/lecure_slides_lec6.pdf。 [16] G.E.Hinton和R.R.Salakhuttinov，用神经网络降低数据的维数《科学》，313（2006），第504-507页·Zbl 1226.68083号 [17] L.Hogben，线性代数手册，CRC出版社，佛罗里达州博卡拉顿，2006年。 [18] T.Johnson、T.Bartol、T.Sejnowski和E.Mjolsness，基于图形约束相关动力学的突触随机CaMKII反应动力学模型简化，物理。《生物学》，12（2015），045005。 [19] E.Jones、T.Oliphant、P.Peterson等人。，SciPy:Python开源科学工具, 2001–, 网址：http://www.scipy.org/; 2018年6月10日访问。 [20] T.-W.Ke、M.Maire和S.X.Yu，多重网格神经体系结构，预打印，https://arxiv.org/abs/1611.07661, 2016. [21] D.P.Kingma和J.Ba，Adam：一种随机优化方法，预打印，https://arxiv.org/abs/1412.6980, 2014. [22] A.J.Laub，科学家和工程师矩阵分析2005年，费城SIAM·Zbl 1077.15001号 [23] Y.LeCun、Y.Bengio和G.Hinton，深度学习《自然》，521（2015），第436-444页。 [24] Y.LeCun、L.Bottou、Y.Bengio和P.Haffner，基于梯度的学习在文档识别中的应用，程序。IEEE，86（1998），第2278-2324页。 [25] Y.LeCun、C.Cortes和C.Burges，MNIST手写数字数据库AT&T实验室，网址：http://yann.lecun.com/exdb/mnist, 2010; 2018年6月10日访问。 [26] E.Mjolness、C.D.Garrett和W.L.Miranker，神经网络中的多尺度优化，IEEE传输。神经网络。学习。系统。，2（1991年），第263-274页。 [27] J.Munkres，分配和运输问题的算法，《社会工业杂志》。申请。数学。，5（1957），第32-38页，https://doi.org/10.1137/0105003。 ·Zbl 0083.15302号 [28] J.A.Nelder和R.Mead，函数极小化的单纯形方法，计算。J.，7（1965），第308-313页·Zbl 0229.65053号 [29] 潘伟业、陈振强，矩阵特征问题的复杂性，《第三十一届ACM计算理论年度研讨会论文集》，ACM，纽约，1999年，第507-516页·Zbl 1346.68103号 [30] 拉普萨，关于Stiefel流形的极小化《欧洲期刊》。Res.，143（2002），第365-376页·Zbl 1058.90064号 [31] J.B.Schroder，基于多重网格的人工神经网络训练并行化，预打印，https://arxiv.org/abs/1708.02276, 2017. [32] I.V.塞尔维亚人、T.Klinger、G.Tesauro、K.Talamadupula、B.Zhou、Y.Bengio和A.C.Courville，多分辨率递归神经网络在对话响应生成中的应用，《AAAI人工智能会议》（AAAI-17），加利福尼亚州门罗公园，2017年，第3288-3294页。 [33] J.Townsend、N.Koep和S.Weichwald，Pymanopt：一个使用自动微分优化流形的Python工具箱，预打印，https://arxiv.org/abs/1603.03236, 2016. ·Zbl 1416.65580号 [34] P.Turaga、A.Veeraraghavan和R.Chellappa，Stiefel流形和Grassmann流形的统计分析及其在计算机视觉中的应用，载于IEEE计算机视觉和模式识别会议，IEEE，2008，第1-8页。 [35] P.Vaněk、J.Mandel和M.Brezina，二阶和四阶椭圆问题的光滑聚合代数多重网格，《计算机》，第56期（1996年），第179-196页·Zbl 0851.65087号 [36] Z.Wen和W.Yin，一种可行的正交性约束优化方法，数学。程序。，142（2013），第397-434页·Zbl 1281.49030号 [37] Wolfram研究公司。，Mathematica，版本伊利诺伊州香槟市，2018年11月11日。 [38] H.Yserentant，多重网格方法的新旧收敛性证明，实绩数字。，2（1993年），第285-326页·Zbl 0788.65108号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。