Chui，Charles K。;林少波;周定轩 用于旋转方差逼近和学习的深度神经网络。 （英语） Zbl 1423.68378号 分析。申请。，辛加普。 17，第5期，737-772（2019）. 摘要：基于树结构，本文的目标是设计具有两个或多个隐藏层的深度神经网络（称为深度网络）来实现径向函数，以便在任意高维欧氏空间中实现近最优函数逼近的旋转不变性。结果表明，在逼近精度和学习能力方面，深网比浅网（只有一个隐藏层）具有更好的性能。特别是，对于径向函数的学习，证明了近最优速率可以通过深网实现，但不能通过浅网实现。我们的结果说明了神经网络设计中深度对于实现旋转方差目标函数的必要性。 引用于15文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 92秒20 生物研究、人工生命和相关主题中的神经网络 关键词：深网;旋转方差;学习理论;径向基函数 软件：PointNet（点网）;达奇 PDF格式BibTeX公司 XML格式引用 \textit{C.K.Chui}等人，分析。申请。，辛加普。17，编号5，737--772（2019；Zbl 1423.68378） 全文： 内政部 arXiv公司 参考文献： [1] Buhmann，M.D.，《径向基函数：理论与实现》，第12卷（剑桥大学出版社，2003年）·Zbl 1038.41001号 [2] Chen，D.B.，通过S形函数叠加的近似度，近似理论应用9（1993）17-28·Zbl 0784.41011号 [3] Chui，C.K.，Li，X.和Mhaskar，H.N.，局部近似的神经网络，数学。计算63（1994）607-623·Zbl 0806.41020号 [4] Chui，C.K.，Lin，S.B.和Zhou，D.X.，实现局部深度学习的神经网络构建，Front。申请。数学。统计数据4（2018）14。 [5] Chui，S.B.Lin和D.X.Zhou，树结构深网的泛化能力，Front。申请。数学。统计，正在印刷中。 [6] Chui，C.K.和Mhaskar，H.N.，《局部流形学习的深层网络》，Front。申请。数学。统计数据4（2018）12。 [7] Cucker，F.和Zhou，D.X.，《学习理论：近似理论观点》（剑桥大学出版社，剑桥，2007年）·Zbl 1274.41001号 [8] Goodfellow，I.、Bengio，Y.和Courville，A.，《深度学习》（麻省理工学院出版社，2016年）·Zbl 1373.68009号 [9] 郭振聪，石立波，林思斌，利用深网实现数据特征，预印本（2019），arXiv:1901.00130。 [10] Györfy，L.、Kohler，M.、Krzyzak，A.和Walk，H.，《非参数回归的无分布理论》（Springer，Berlin，2002）·Zbl 1021.62024号 [11] Hinton，G.E.，Osindero，S.和Teh，Y.W.，深度信念网络的快速学习算法，神经计算18（2006）1527-1554·Zbl 1106.68094号 [12] Kohler，M.和Krzyzak，A.，基于层次交互模型的非参数回归，IEEE Trans。通知。Theory63（2017）1620-1630·Zbl 1366.62082号 [13] Konovalov，V.N.，Leviatan，D.和Maiorov，V.E.，s单调径向函数类的多项式和岭函数逼近，J.近似理论152（2008）20-51·Zbl 1145.41005号 [14] Konovalov，V.N.，Leviatan，D.和Maiorov，V.E.，多项式和岭函数对Sobolev类的近似，J.近似理论159（2009）97-108·Zbl 1180.41017号 [15] Lin，S.B.，深度网的泛化和表达性，IEEE Trans。神经网络。学习。系统30（2019）1392-1406。 [16] Lin，S.B.，Guo，X.和Zhou，D.X.。正则最小二乘分布式学习，J.Mach。学习。第18（92）号决议（2017）1-31·Zbl 1435.68273号 [17] Lin，H.W.，Tegmark，M.和Rolnick，D.，为什么深度学习和廉价学习效果这么好？《J.Stat.Phys.168》（2017）1223-1247·Zbl 1373.82061号 [18] Lin，S.B.和Zhou，D.X.，分布式基于核的梯度下降算法，Constr。约47（2018）249-276·Zbl 1390.68542号 [19] Maiorov，V.和Pinkus，A.，MLP神经网络近似的下限，《神经计算》25（1999）81-91·兹伯利0931.68093 [20] Maiorov，V.和Ratsaby，J.，关于有限伪维流形的逼近度，Constr。约15（1999）291-300·Zbl 0954.41016号 [21] B.McCane和L.Szymanski，《深径向核网络：用深网络近似径向对称函数》，预印本（2017），arXiv:1703.03470。 [22] Meylan，L.和Susstrunk，S.，使用基于视网膜的自适应滤波器进行高动态范围图像渲染，IEEE Trans。图像处理15（2006）2820-2830。 [23] Mhaskar，H.N.，多层前馈人工神经网络的近似特性，高级计算。数学1（1993）61-80·兹比尔0824.41011 [24] Mhaskar，H.N.，《光滑函数和解析函数最佳逼近的神经网络》，《神经计算》8（1996）164-177。 [25] Mhaskar，H.N.，什么时候高斯网络的近似必然是一个线性过程？神经网络17（2004）989-1001·Zbl 1084.68104号 [26] Mhaskar，H.N.和Poggio，T.，《深度与浅层网络：近似理论视角》，Ana。申请14（6）（2016）829-848·Zbl 1355.68233号 [27] C.R.Qi、H.Su、K.Mo和L.J.Guibas，PointNet：3D分类和分割点集的深度学习，CVPR，（2017），第77-85页。 [28] Satriano，C.、Wu，Y.M.、Zollo，A.和Kanamori，H.，《地震预警：概念、方法和物理基础》，土壤动力学，地球。工程31（2011）106-118。 [29] Shaham，U.，Cloninger，A.和Coifman，R.R.，深度神经网络的可证明近似性质，应用。计算。哈蒙。分析44（2018）537-557·Zbl 1390.68553号 [30] 吴琼，英英，周大喜，最小二乘正则回归学习率，发现。计算。数学6（2006）171-192·Zbl 1100.68100号 [31] Wu，Q.和Zhou，D.X.，《SVM软边界分类器：线性规划与二次规划》，《神经计算》17（2015）1160-1187·Zbl 1108.90324号 [32] Xie，T.和Cao，F.，《前馈神经网络同时逼近的误差》，《神经计算》73（2010）903-907。 [33] Yarotsky，D.，深度ReLU网络近似最大化的误差界，神经网络94（2017）103-114·Zbl 1429.68260号 [34] Ye，G.B.和Zhou，D.X.，黎曼流形上高斯函数的学习和逼近，高级计算。数学29（2008）291-310·Zbl 1156.68045号 [35] Ying，Y.和Zhou，D.X.，具有一般损失函数的非规则在线学习算法，应用。计算。《谐波分析》42（2017）224-244·Zbl 1382.68204号 [36] 周德兴，《学习理论中的覆盖数》，《复杂性杂志》18（2002）739-767·Zbl 1016.68044号 [37] Zhou，D.X.，学习理论中再现内核空间的能力，IEEE Trans。通知。Theory49（2003）1743-1752·Zbl 1290.62033号 [38] 周德兴，深度分布卷积神经网络：普适性，分析。申请16（2018）895-919·Zbl 1442.68214号 [39] Zhou，D.X.和Jetter，K.，多项式核逼近和SVM分类器，高级计算。数学25（2006）323-344·Zbl 1095.68103号 [40] Zhou，D.X.，深度卷积神经网络的普遍性，应用。计算。谐波分析。(2019). https://doi.org/10.1016/j.acha.2019.06.004 ·Zbl 1434.68531号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。