霍曼·奥瓦迪 想法有形状吗？概念注册是人工神经网络的连续极限。 （英语） Zbl 07642857号 生理学D 444，文章ID 133592，41 p.（2023）. 小结：我们介绍了ResNets的高斯过程（GP）泛化（用GP代替网络的未知函数，并通过MAP估计进行识别），其中包括ResNets（在使用特定核时，使用L_2正则化训练）作为特定情况。我们证明了ResNets（及其翘曲GP回归扩展）在无限深度极限下收敛于图像配准变分算法的推广。在这种概括中，图像被映射输入/输出空间到未表达抽象（思想）空间的函数所取代，而物质点被数据点所取代。虽然计算解剖学通过物质空间的扭曲来对齐图像，但这种概括通过将输入空间映射到输出空间的函数的再生核希尔伯特空间（RKHS）的扭曲来校准思想（或柏拉图形式理论中的抽象形状）。虽然ResNets的哈密顿解释并不新鲜，但它是基于Ansatz。我们不依赖于这个Ansatz，并给出了ResNets收敛性的第一个严格证明，该证明具有训练好的权重，并且偏向于哈密顿动力学驱动流。由于我们的证明是构造性的，并且基于离散和连续力学，它揭示了ResNets的几个显著特性及其GP推广。ResNets回归器是具有数据相关扭曲内核的内核回归器。（L_2）正则化ResNets的极小值满足离散最小作用原理，这意味着几乎保持层间的权重和偏差范数。通过求解一个自治哈密顿系统，可以识别具有尺度/（L^2）正则化的ResNets的训练权重。经过训练的ResNet参数在初始动量之前是唯一的（函数），这些参数的初始动量表示通常是稀疏的。核（块金）正则化策略为ANN的Dropout提供了一个可靠的替代方案。我们引入了GP的泛化，并证明了逐点GP/RKHS误差估计导致ResNets的概率和确定性泛化误差估计。当使用特征图执行时，建议的分析确定了训练的ResNet参数的（EPDiff）平均字段限制，因为数据点的数量趋于无穷大。搜索好的体系结构可以简化为搜索好的核，并且我们证明了用简化的等变多通道核（此处介绍）组成扭曲回归块可以将CNN恢复并推广到任意空间和变换组。 引用于三文件 MSC公司： 68倍 计算机科学 65-XX岁 数值分析 关键词：残差神经网络;图像配准;无限深度极限;哈密顿和拉格朗日分析;正规化;深高斯过程 软件：LDDMM公司;PCANet公司;火炬差异;阳极 PDF格式BibTeX公司 XML格式引用 \textit{H.Owhadi}，Physica D 444，文章ID 133592，41 p.（2023；Zbl 07642857） 全文： 内政部 arXiv公司 参考文献： [1] 他，开明；张向玉；任少清；孙健，图像识别的深度残差学习，（IEEE计算机视觉与模式识别会议论文集（2016）），770-778 [2] Weinan，E.，《通过动态系统进行机器学习的建议》，Commun。数学。统计，5，1，1-11（2017）·Zbl 1380.37154号 [3] 陈天奇；尤利娅·鲁巴诺娃；杰西·贝登古尔（Jesse Bettencourt）；Duvenaud，David K.，神经常微分方程，（神经信息处理系统进展（2018）），6571-6583 [4] 马修·索普（Matthew Thorpe）；van Gennip，Yves，残差神经网络的深度极限（2018），arXiv预印本arXiv:1810.11741 [5] Eldad Haber；Ruthotto，Lars，深度神经网络的稳定架构，逆向问题，34，1，文章014004 pp.（2017）·Zbl 1426.68236号 [6] 李倩晓；陈龙；Tai，Cheng；Weinan，E.，深度学习的基于最大原理的算法，J.Mach。学习。决议，18（2017），论文编号165，29·Zbl 1467.68156号 [7] 韩洁群；李倩晓，深度学习的平均场最优控制公式，数学研究。科学。，6, 1, 1-41 (2019) ·Zbl 1421.49021号 [8] Yann LeCun；帕特里克·哈夫纳（Patrick Haffner）；莱昂·博图；Bengio，Yoshua，基于梯度学习的对象识别，（计算机视觉中的形状、轮廓和分组（1999），施普林格），319-345 [9] Belkin，Mikhail，Fit without fear：通过插值棱镜进行深度学习的显著数学现象（2021），arXiv预印本arXiv:2105.14368 [10] Owhadi，Houman，计算图形完成，研究数学。科学。，9, 2, 1-33 (2022) ·Zbl 1497.68464号 [11] 霍曼·奥瓦迪；Yoo，Gene Ryan，《内核流：从数据中学习内核到深渊》，J.Compute。物理。，389, 22-47 (2019) ·Zbl 1452.65028号 [12] 陈一凡；奥哈迪，胡曼；Stuart，Andrew，层次参数估计的经验贝叶斯和核流的一致性，数学。公司。，90, 332, 2527-2578 (2021) ·Zbl 1472.62012年 [13] Hamzi，Boumediene；Owhadi，Houman，《从数据学习动力系统：一个简单的交叉验证视角》，第一部分：参数化内核流，Physica D，421，第132817页，（2021）·Zbl 1509.68217号 [14] Jean-Luc Akian；阀盖，Luc；霍曼·奥瓦迪；Savin，Eric，从高斯过程回归中的数据学习“最佳”核。应用于空气动力学，J.Compute。物理。，470 (2022) ·Zbl 07599627号 [15] 哈姆齐，B。；Maulik，R。；Owhadi，H.，《简单、低成本和准确的数据驱动地球物理预测与学习内核》，Proc。R.Soc.伦敦。序列号。数学。物理学。工程科学。，4772252，第20210326条pp.（2021） [16] Yoo，Gene Ryan；Owhadi，Houman，《带核流的神经网络内层的深度正则化和直接训练》，Physica D，426，第132952页，（2021）·Zbl 1515.68273号 [17] 马蒂·谢德尔；阿萨迪、雷扎；Do，Duc；Hintlian，Micheal，时间序列预测的核流正则化深度学习（2021），arXiv预印本arXiv:2109.11649 [18] Houman Owhadi，想法有形状吗？柏拉图的形式理论作为人工神经网络的连续极限，Fields Institute，Youtube·Zbl 1040.60025号 [19] 尼古拉斯·H·尼尔森。；Stuart，Andrew M.，巴拿赫空间之间输入-输出映射的随机特征模型（2020），arXiv预印本arXiv:2005.10224·Zbl 07398767号 [20] 霍曼·奥瓦迪；Scovel，Clint，《算子自适应小波、快速解算器和数值均匀化：从博弈论方法到数值逼近和算法设计》，第35卷（2019年），剑桥大学出版社·Zbl 1477.65004号 [21] 查尔斯·米切利。；Pontil，Massimiliano，多任务学习的内核，（神经信息处理系统进展（2005）），921-928 [22] 阿兰·萨姆·科恩；拉马孔特；阿兰·罗西耶；徐仁元，深度剩余网络的标度性质（2021），arXiv预印本arXiv:2105.12245 [23] 毛里西奥·阿尔瓦雷斯（Mauricio A.Alvarez）。；洛伦佐·罗萨斯科；Neil D.Lawrence，《向量值函数的内核：综述》，Found。趋势马赫。学习。，4, 3, 195-266 (2012) ·Zbl 1301.68212号 [24] Yann LeCun；约书亚·本吉奥；杰弗里·辛顿（Geoffrey Hinton），《深度学习》（Deep learning），《自然》（Nature），521、7553、436-444（2015） [25] Arino，Julien，（常微分方程基础理论，常微分方程基本理论，讲稿（2006），马尼托巴大学） [26] Teixera，Eduardo V.，抽象空间中微分方程的强解，《微分方程》，214，1，65-91（2005）·Zbl 1094.34043号 [27] Li，Tien-Yien，Banach空间中常微分方程解的存在性，J.微分方程，18，1，29-40（1975）·Zbl 0325.34069号 [28] 格伦纳德，乌尔夫；Michael I.Miller，《计算解剖学：新兴学科》，夸特。申请。数学。，56, 4, 617-694 (1998) ·Zbl 0952.92016号 [29] Brown，Lisa Gottesfeld，《图像配准技术调查》，ACM Compute。调查。，24, 4, 325-376 (1992) [30] Younes，Laurent，《形状和微分形态》，第171卷（2010年），施普林格出版社·Zbl 1205.68355号 [31] Younes，Laurent，形状之间的可计算弹性距离，SIAM J.Appl。数学。，58, 2, 565-586 (1998) ·Zbl 0907.68158号 [32] Trouvé，Alain，《图像分析中的差异组和模式匹配》，国际计算机杂志。视觉。，28, 3, 213-221 (1998) [33] 保罗·杜普伊斯（Paul Dupuis）；乌尔夫，格雷南德；Miller，Michael I.，图像匹配微分同态流的变分问题，夸特。申请。数学。，587-600 (1998) ·Zbl 0949.49002号 [34] 迈克尔·I·米勒。；阿兰·特鲁维（Alain Trouvé）；劳伦·尤恩斯，《计算解剖学的度量和欧拉-拉格朗日方程》，年。生物识别版本。工程师，4，1，375-405（2002） [35] Sarang C.Joshi。；Miller，Michael I.，通过大变形差异化进行Landmark匹配，IEEE Trans。图像处理。，1357-1370年9月8日（2000年）·兹比尔0965.37065 [36] 柏拉图，《共和国》，第七卷，公元前375年·Zbl 1245.65187号 [37] 保罗·桑普森（Paul D.Sampson）。；Guttorp，Peter，非平稳空间协方差结构的非参数估计，J.Amer。统计师。协会，87，417，108-119（1992） [38] 佩林，O。；Monestiez，P.，使用参数径向基变形的非平稳空间结构建模，（GeoENV II-环境应用地球统计（1999），Springer），175-186 [39] 亚历山大·施密特（Alexandra M.Schmidt）。；O'Hagan，Anthony，通过空间变形对非平稳空间协方差结构进行贝叶斯推断，J.R.Stat.Soc.Ser。B统计方法。，65, 3, 743-758 (2003) ·Zbl 1063.62034号 [40] 安德鲁·扎米特·曼吉恩（Andrew Zammit-Magion）；Ng，Tin Lok James；Vu、Quan；菲利波内（Filippone），毛里齐奥（Maurizio），《深层成分空间模型》（Deep composition spatial models）（2019），arXiv预印本arXiv:1906.02840 [41] 霍曼·奥瓦迪；Zhang，Lei，基于公制的升级，Commun。纯应用程序。数学。：J.颁发的Courant Inst.Math。科学。，60, 5, 675-723 (2007) ·Zbl 1190.35070号 [42] 阿拉索尼埃（Allassonnière），圣芬尼（Stéphanie）；阿兰·特鲁维（Alain Trouvé）；Younes，Laurent，通过纹理网格进行测地摄影和微分匹配，（计算机视觉和模式识别中能量最小化方法国际研讨会（2005），Springer），365-381 [43] 陈一凡；巴马达·侯赛尼；霍曼·奥瓦迪；Stuart，Andrew M.，用高斯过程求解和学习非线性偏微分方程，J.Compute。物理。，447 (2021) ·兹伯利07516428 [44] 杰罗德·马斯登（Jerrold E.Marsden）。；West，Matthew，离散力学和变分积分器，Acta Numer。，10, 357-514 (2001) ·Zbl 1123.37327号 [45] 海勒，恩斯特；克里斯蒂安·卢比奇（Christian Lubich）；格哈德·瓦纳（Gerhard Wanner），《几何-数值积分：常微分方程的结构保持算法》，第31卷（2006），施普林格科学与商业媒体·Zbl 1094.65125号 [46] 杰罗德·马斯登（Jerrold E.Marsden）。；Ratiu，Tudor S.，《力学与对称导论：经典机械系统的基本说明》，第17卷（2013），Springer Science&Business Media·Zbl 0933.70003号 [47] 布鲁斯、马丁斯；法国盖伊·巴尔马；Darryl D.Holm。；Ratiu，Tudor S.，图像的动量图表示，非线性科学杂志。，2115-150（2011年）·Zbl 1211.58010号 [48] François-Xavier Vialard；Laurent Risser；丹尼尔·鲁克特（Daniel Rueckert）；Cotter，Colin J.，《利用有效的伴随计算通过测地线拍摄进行差分三维图像配准》，《国际计算杂志》。视觉。，97, 2, 229-241 (2012) ·Zbl 1235.68295号 [49] 詹姆斯·菲什鲍（James Fishbaugh）；马塞尔·普拉斯塔瓦（Marcel Prastawa）；Gerig，Guido；Durrleman，Stanley，diffeomorphisms稀疏参数化的测地图像回归，（信息几何科学国际会议（2013），Springer），95-102·兹比尔1368.62182 [50] 英戈·斯坦沃特；Andreas Christmann，《支持向量机》（2008），Springer Science&Business Media·Zbl 1203.68171号 [51] Micheli，Mario，《地标形状流形的微分几何：度量、测地学和曲率》（2008），布朗大学（博士论文） [52] 尼提什·斯利瓦斯塔瓦；杰弗里·辛顿；Alex Krizhevsky；伊利亚·萨茨克弗；Salakhutdinov，Ruslan，《辍学：防止神经网络过度拟合的简单方法》，J.Mach。学习。1929-1958年第15号决议（2014年）·Zbl 1318.68153号 [53] 霍曼·奥瓦迪；Scovel、Clint；Tim Sullivan，连续世界中有限信息下贝叶斯推理的脆性，电子。J.Stat.，9，1，1-79（2015），arXiv:1304.6772（2013年4月）·Zbl 1305.62123号 [54] 霍曼·奥瓦迪；Scovel、Clint；Sullivan，Tim，《论贝叶斯推理的脆性》，SIAM Rev.，57，4566-582（2015）·Zbl 1341.62094号 [55] 霍曼·奥瓦迪；Scovel，Clint，Bayesian推断的脆性和新Selberg公式，Commun。数学。科学。，14, 1, 83-145 (2016) ·Zbl 1357.62125号 [56] 塞格迪，克里斯蒂安；沃伊切赫·扎伦巴；伊利亚·萨茨克弗；琼·布鲁娜；杜米特鲁，埃尔汉；伊恩·古德费罗；Fergus，Rob，《神经网络的有趣特性》（2013），arXiv预印本arXiv:1312.6199 [57] Mike McKerns，《神秘：预测科学框架》；SciPy 2013演示；https://www.youtube.com/watch？v=o-nwSnLC6DU&feature=youtu.be&t=74。 [58] 霍曼·奥瓦迪；Scovel，Clint，贝叶斯推理中的定性稳健性，ESAIM Probab。统计，21，251-274（2017）·Zbl 1395.62059号 [59] 拉波·卡塞蒂；克莱门蒂、塞西莉亚；佩蒂尼，马尔科，哈密顿混沌的黎曼理论和李亚普诺夫指数，物理学。E版，54、6、5969（1996） [60] Florian Schäfer；马蒂亚斯·卡兹福斯；Owhadi，Houman，通过Kullback-Leibler最小化进行稀疏Cholesky因式分解，SIAM J.Sci。计算。，43、3、A2019-A2046（2021）·Zbl 07364386号 [61] Holmstrom，Lasse；Koistinen，Petri，在反向传播训练中使用加性噪声，IEEE Trans。神经网络。，3, 1, 24-38 (1992) [62] 安国忠，在反向传播训练中加入噪声对泛化性能的影响，神经计算。，8, 3, 643-674 (1996) [63] Gulcehre，Caglar；马钦·莫祖斯基（Marcin Moczulski）；Denil，Misha；Bengio，Yoshua，噪声激活函数，（国际机器学习会议（2016）），3059-3068 [64] 巴吉兰、哈米德·哈姆策；保罗·巴特勒（Pau Batlle Franch）；霍曼·奥瓦迪；Scovel、Clint；马蒂·谢德尔；迈克尔·斯坦利；Tavallali，Peyman，第四类不确定性量化；使用最小封闭球（2021）的最优后验精度-不确定性权衡，arXiv预印本arXiv:2108.10517·兹伯利07605580 [65] 米格尔·卡雷拉·佩皮南；Wang，Weiran，深度嵌套系统的分布式优化，（人工智能与统计（2014），PMLR），10-19 [66] Anna Choromanska；本杰明·考恩（Benjamin Cowen）；库马拉维尔，萨达纳；卢斯、罗尼；马蒂亚·里戈蒂；Rish，Irina；保罗·迪亚奇尔；古列夫、维亚切斯拉夫；Brian Kingsbury；Tejwani，Ravi，Beyond backprop:带辅助变量的在线交替最小化，（机器学习国际会议（2019），PMLR），1193-1202 [67] 奥瓦迪，H。；斯科维尔，C。， （算子自适应小波、快速求解器和数值均匀化，从博弈论方法到数值逼近和算法设计）《数学》（2019），剑桥大学出版社·Zbl 1477.65004号 [68] Georg，《参数优化讲座：简介》，Optim。在线（2018） [69] Baxendale，Peter，《微分同构群I中的布朗运动》，Compos。数学。，53, 1, 19-50 (1984) ·Zbl 0547.58041号 [70] Kunita，Hiroshi，《随机流和随机微分方程》，第24卷（1997），剑桥大学出版社·Zbl 0865.60043号 [71] 安德烈亚斯·达米亚努；Neil Lawrence，《深高斯过程》（人工智能与统计（2013）），207-215 [72] 吴宗民；Schaback，Robert，分散数据径向基函数插值的局部误差估计，IMA J.Numer。分析。，13, 1, 13-27 (1993) ·Zbl 0762.41006号 [73] Owhadi，Houman，贝叶斯数值均匀化，多尺度模型。模拟。，13, 3, 812-828 (2015) ·Zbl 1322.35002号 [74] Barron，Andrew R.，σ函数叠加的通用近似界，IEEE Trans。通知。理论，39，3，930-945（1993）·Zbl 0818.68126号 [75] E、 渭南；马超；Wu，Lei，Barron空间和神经网络模型的合成函数空间（2019），arXiv预印本arXiv:1906.08039 [76] 马修·M·邓禄普。；赫林，塔皮奥；Stuart，Andrew M.，贝叶斯MAP估计中的超参数估计：参数化和一致性，SMAI J.计算。数学。，6, 69-100 (2020) ·Zbl 1441.62084号 [77] 加布里埃尔·L·哈特。；克里斯托弗·扎克（Christopher Zach）；Niethammer，Marc，《变形注册的最优控制方法》，（2009年IEEE计算机学会计算机视觉和模式识别研讨会（2009年），IEEE），9-16 [78] 梅，宋；安德烈亚·蒙塔纳里（Andrea Montanari）；Nguyen，Phan Minh，双层神经网络景观的平均视野，Proc。国家。阿卡德。科学。，115、33、E7665-E7671（2018）·Zbl 1416.92014号 [79] 格兰特·罗斯科夫（Grant M.Rotskoff）。；Vanden-Eijnden，Eric，《作为相互作用粒子系统的神经网络：损失景观的渐近凸性和近似误差的普适尺度》，Stat，1050，22（2018） [80] Darryl Holm；阿兰·特鲁维（Alain Trouvé）；劳伦·尤恩斯（Laurent Younes），《欧拉-波因卡雷（Euler-Poincaré）变态理论》，夸特。申请。数学。，67, 4, 661-685 (2009) ·Zbl 1186.68413号 [81] Darryl D.Holm。；Marsden，Jerrold E.，EPDiff方程的动量图和测值解（峰、细丝和薄板），（辛几何和泊松几何的宽度（2005），Springer），203-235 [82] 亚历山大·斯米尔诺夫；Hamzi，Boumediene；Owhadi，Houman，Mean-深度学习中训练权重的场极限：动力学系统视角（2022），RG.2.2.26186.24007 [83] Florian Schäfer；T·J·沙利文。；Owhadi，Houman，近线性计算复杂性下稠密核矩阵的压缩、反演和近似主成分分析，多尺度模型。模拟。，19, 2, 688-730 (2021) ·Zbl 1461.65067号 [84] Marco Reisert；Burkhardt，Hans，《用矩阵值核学习等变函数》，J.Mach。学习。决议，385-408年3月8日（2007年）·Zbl 1222.68286号 [85] 博恩，巴斯蒂安；克里斯蒂安·里格尔（Christian Rieger）；Michael Griebel，《深度核学习的代表定理》，J.Mach。学习。第20、64、1-32号决议（2019年）·Zbl 1489.62197号 [86] Joshi，Sarang C.，《大变形变形和高斯随机场用于脑亚流形的统计表征》（1998），华盛顿大学，（博士论文） [87] 加米昂，文森特；Younes，Laurent，测地插值样条，（计算机视觉和模式识别中能量最小化方法国际研讨会（2001），Springer），513-527·Zbl 1001.68698号 [88] 迈克尔·I·米勒。；阿兰·特鲁维（Alain Trouvé）；Younes，Laurent，《计算解剖学测地摄影》，J.Math。成像视觉，24,2209-228（2006）·Zbl 1478.92084号 [89] 尼古拉斯·查龙（Nicolas Charon）；本杰明·查利尔；特鲁维，阿兰，《Sobolev空间中功能形状的变形》，发现。计算。数学。，18, 6, 1535-1596 (2018) ·Zbl 1403.49021号 [90] 贝格，M.费萨尔；迈克尔·I·米勒。；阿兰·特鲁维（Alain Trouvé）；Younes，Laurent，《通过微分同态的测地流计算大变形度量映射》，国际期刊《计算》。视觉。，61, 2, 139-157 (2005) ·Zbl 1477.68459号 [91] 阿兰·特鲁维（Alain Trouvé）；Younes，Laurent，《通过谎言团体行动的变形》，Found。计算。数学。，5, 2, 173-198 (2005) ·Zbl 1099.68116号 [92] Joan Glaunes；阿兰·特鲁维（Alain Trouvé）；Younes，Laurent，《分布的微分匹配：未标记点集和子流形匹配的新方法》（2004年IEEE计算机学会计算机视觉和模式识别会议论文集，2004年）。CVPR 2004。第2卷（2004），IEEE），II [93] Younes，Laurent，Diffeormatory matching，（《形状和Diffeormations》（2019），施普林格出版社），291-346·Zbl 1423.53002号 [94] 菲利普·亨尼；迈克尔·A·奥斯本。；Girolma，Mark，《概率数字与计算中的不确定性》，Proc。R.Soc.A：数学。物理学。工程科学。，4712179，第20150142条pp.（2015）·Zbl 1372.65010号 [95] 乔恩·科卡恩；克里斯·奥茨（Chris J.Oates）。；蒂莫西·约翰·沙利文；Girolma，Mark，贝叶斯概率数值方法，SIAM Rev.，61，4，756-789（2019）·Zbl 1451.65179号 [96] 奥哈迪，胡曼；斯科维尔，克林特；Schäfer，Florian，统计数字近似，Notices Amer。数学。Soc.（2019年）·Zbl 07146568号 [97] 里科·马丁内斯，拉米罗；Kevrekidis，Ioannis G.，《非线性系统的连续时间建模：基于神经网络的方法》，（IEEE神经网络国际会议（1993），IEEE），1522-1525 [98] Owhadi，Houman，多层信息游戏中粗糙系数和多分辨率算子分解的多重网格，SIAM Rev.，59，1，99-149（2017）·Zbl 1358.65071号 [99] 马齐亚·莱斯；巴黎佩迪卡里斯；George E.Karniadakis，《基于物理的神经网络：解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019) ·兹比尔1415.68175 [100] 米哈伊尔·贝尔金；马思源；Mandal，Soumik，为了理解深度学习，我们需要理解内核学习（2018），arXiv预印本arXiv:1802.01396 [101] 张池源；萨米·本吉奥（Samy Bengio）；Hardt，Moritz；本杰明·雷赫特（Benjamin Recht）；Vinyals，Oriol，理解深度学习需要重新思考泛化（2016），arXiv预印本arXiv:1611.03530 [102] 法国卢梭；Fablet，Ronan，残差网络作为微分同态的测地流（2018），arXiv预印本arXiv:1805.09585 [103] François-Xavier Vialard；罗兰·奎特；苏珊·魏；Marc Niethammer，《深度学习的拍摄公式》，高级神经信息处理。系统。，33 (2020) [104] 张波；孟丽丽；Eldad Haber；拉斯·鲁索托；大卫·贝格特（David Begert）；Holtham，Elliot，任意深度剩余神经网络的可逆结构（第三十二届AAAI人工智能会议（2018）） [105] 塞缪尔·格雷达努斯（Samuel Greydanus）；米斯科·扎姆巴；Jason Yosinski，Hamilton神经网络，高级神经信息处理。系统。，32 (2019) [106] 迈克尔·E·桑德。；皮埃尔·阿布林；马修·布隆德尔；Peyré，Gabriel，动量剩余神经网络（2021），arXiv预印本arXiv:2102.07870 [107] 埃米利安杜邦；阿诺杜塞特；Teh，Yee Whye，增强神经节点，高级神经信息处理。系统。，32 (2019) [108] Barks，Coleman，The essential rumi（《黑暗中的大象》，第252卷（1995），HarperSanFrancisco） [109] 亚瑟·杰科特；弗兰克·加布里埃尔；Hongler，Clément，《神经切线核：神经网络中的收敛和泛化》，（神经信息处理系统进展（2018）），8571-8580 [110] 安德鲁·戈登·威尔逊（Andrew Gordon Wilson）；胡志婷；萨拉库丁诺夫，鲁斯兰；Xing，Eric P.，深核学习（人工智能与统计（2016）），370-378 [111] Yann LeCun；托雷斯基，D。；辛顿，G。；Sejnowski，T.，《反向传播的理论框架》，（《1988年康涅狄格州模型暑期学校学报》，第1卷（1988），CMU，Morgan Kaufmann:CMU，摩根-考夫曼-匹兹堡，宾夕法尼亚州），21-28 [112] 霍曼·奥瓦迪；Scovel、Clint；Yoo，Gene Ryan，《内核模式分解和内核编程》（2021），Springer，arXiv:1907.08592·Zbl 1504.62012年 [113] 哈切姆·卡德里；伊曼纽尔·杜弗洛斯；菲利普·普鲁克斯（Philippe Preux）；圣埃芬省卡努；阿兰·阿科托马蒙杰；Audiffren，Julien，Operator-valued kernels for learning from functional response data，J.Mach。学习。决议，17，1，613-666（2016）·Zbl 1360.68682号 [114] 马里奥·米切利；彼得·W·米歇尔。；Mumford，David，彗星截面曲率，以及地标黎曼流形的应用，SIAM J.成像科学。，5, 1, 394-433 (2012) ·Zbl 1276.37047号 [115] 布鲁斯、马丁斯；Vialard，François-Xavier，《关于微分同态群的完备性》，《欧洲数学杂志》。Soc.，19，5，1507-1544（2017）·Zbl 1370.58003号 [116] West，Matthew，Variation Integrator（2004），加州理工学院（博士论文） [117] 塞尔吉奥·布兰内斯；费尔南多·卡萨斯，《几何数值积分简明导论》（2017），CRC出版社·Zbl 1343.65146号 [118] 穆勒、斯特凡；Michael Ortiz，《关于离散动力学和变分积分器的伽马收敛性》，《非线性科学杂志》。，14, 3, 279-296 (2004) ·Zbl 1136.37350号 [119] 黄，高；刘、庄；范德马滕（Van Der Maaten），劳伦斯（Laurens）；Weinberger，Kilian Q.，密集连接卷积网络，（IEEE计算机视觉和模式识别会议论文集（2017）），4700-4708 [120] 海勒，恩斯特；克里斯蒂安·卢比奇（Christian Lubich）；Wanner，Gerhard，用Störmer-Verlet方法说明的几何-数值积分，Acta Numer。，12, 399-450 (2003) ·Zbl 1046.65110号 [121] Tao，Molei，不可分离哈密顿量的显式辛近似：算法和长时间性能，物理。E版，94，4，第043303条pp.（2016） [122] 阿里·拉希米；本杰明·雷奇特（Benjamin Recht），《大型内核机器的随机特征》（Random features for simple kernel machines），（神经信息处理系统进展（2008）），1177-1184 [123] 伯纳德·哈斯顿（Bernard Haasdonk）；沃森，A。；Burkhardt，Hans，haar积分核在核方法中的不变性，（斯堪的纳维亚图像分析会议（2005），Springer），841-851 [124] 科恩，塔可；Welling，Max，群等变卷积网络，（国际机器学习会议（2016）），2990-2999 [125] Sara Sabour；尼古拉斯·弗洛斯特（Nicholas Frosst）；Hinton，Geoffrey E.，胶囊之间的动态路由，（神经信息处理系统进展（2017）），3856-3866 [126] Yann LeCun；Bengio，Yoshua，图像、语音和时间序列的卷积网络，Handb。脑理论神经网络。，3361, 10, 1995 (1995) [127] Chan，Tsung-Han；贾奎；高胜华；陆继文；曾子南；Ma，Yi，PCANet：图像分类的简单深度学习基线？，IEEE传输。图像处理。，24, 12, 5017-5032 (2015) ·兹比尔1408.94080 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。