亚历山大·克洛宁格;蒂莫·科洛克 适应领域外固有维度的深层网络结构。 （英语） Zbl 07743453号 神经网络。 141, 404-419 (2021). 小结：我们研究了通过ReLU激活的深层网络对双层组分的近似，其中（φ）是一个几何直观的降维特征图。我们重点讨论了两个直观且实际相关的选择：对低维嵌入子流形的投影和到低维集合的距离。我们实现了接近最优的近似率，这仅取决于降维映射的复杂性，而不是环境维度。由于（φ）封装了对函数（f）至关重要的所有非线性特征，这表明深网忠实于由（f）控制的内在维度，而不是域（f）的复杂性。特别是，使用表示同一流形上正交投影的（f（x）=g（φ（x））型函数，可以大大放宽低维流形上近似函数的普遍假设。 引用于7文件 MSC公司： 68T07型 人工神经网络与深度学习 41A63型 多维问题 关键词：深度神经网络;近似理论;维数灾难;复合函数;噪声流形模型 PDF格式BibTeX公司 XML格式引用 \textit{A.Cloninger}和\textit{T.Klock}，神经网络。141、404--419（2021；Zbl 07743453） 全文： 内政部 arXiv公司 参考文献： [1] Baraniuk，R.G。；Wakin，M.B.，光滑流形的随机投影，计算数学基础，9，1，51-77（2009）·Zbl 1172.53005号 [2] Barron，A.R.，σ函数叠加的通用近似界，IEEE信息理论汇刊，39，3，930-945（1993）·Zbl 0818.68126号 [3] Barron，A.R.，人工神经网络的近似和估计界，机器学习，14，1，115-133（1994）·Zbl 0818.68127号 [4] Bauer，B。；Kohler，M.，《深度学习作为非参数回归中维度诅咒的补救方法》，《统计年鉴》，47，4，2261-2285（2019）·Zbl 1421.62036号 [5] Bickel，P.J。；Li，B.，未知流形上的局部多项式回归，（复杂数据集和反问题（2007），数理统计研究所），177-186 [6] Boissonnat，J.-D。；Ghosh，A.，使用切向delaunay复数进行流形重建，离散与计算几何，51，1，221-267（2014）·Zbl 1312.68209号 [7] Boissonnat，J.-D。；A.队长。；Wintraecken，M.，《可达性、度量畸变、测地凸性和切线空间的变化》，《应用与计算拓扑杂志》，3，1-2，29-58（2019）·Zbl 1431.53043号 [8] Bölcskei，H。；Grohs，P。；Kutyniok，G。；Petersen，P.，稀疏连接深度神经网络的最佳逼近，SIAM数据科学数学杂志，1，1，8-45（2019）·Zbl 1499.41029号 [9] Chazal，F.，《欧几里德空间子流形中测地线球体积的上限技术说明》（2013），网址：http://geometrica.saclay.inria.fr/team/Fred.Chazal/BallVolume2013.pdf [10] 陈，M。；姜浩。；Liao，W。；赵，T.，低维流形上函数的深relu网络的有效逼近，（神经信息处理系统进展（2019）），8172-8182 [11] Cheng，X。；Cloninger，A.，分类-逻辑双样本神经网络测试（2019），arXiv预印本arXiv:1909.11298 [12] Chui，C。；李，X。；Mhaskar，H.N.，用于局部逼近的神经网络，计算数学，63208607-623（1994）·Zbl 0806.41020号 [13] Chui，C.K。；李，X。；Mhaskar，H.N.，具有一个隐藏层的神经网络近似能力的限制，计算数学进展，5，1，233-243（1996）·兹比尔0855.41026 [14] Chui，C.K。；林，S.-B。；Zhou，D.-X.，用于旋转不变性近似和学习的深度神经网络，分析与应用，17，05，737-772（2019）·Zbl 1423.68378号 [15] Chui，C.K。；Mhaskar，H.N.，《局部多元学习的深度网络》，应用数学和统计前沿，4，12（2018） [16] Cybenko，G.，通过sigmoid函数的叠加进行逼近，控制、信号和系统数学，2，4，303-314（1989）·Zbl 0679.94019号 [17] DeVore，R.A。；霍华德·R。；Michelli，C.，最佳非线性近似，Manuscripta Mathematica，63，4，469-478（1989）·Zbl 0682.41033号 [18] 方，Z。；冯·H。；黄，S。；周德兴，深度卷积神经网络理论II：球面分析，神经网络，131154-162（2020）·Zbl 1475.68313号 [19] 费德勒，H.，《曲率测量》，《美国数学学会学报》，93，3，418-491（1959）·Zbl 0089.38402号 [20] Genovese，C。；佩罗内·佩西菲科，M。；Verdinelli，I。；Wasserman，L.，Minimax流形估计，《机器学习研究杂志》，1263-1291年5月13日（2012）·Zbl 1283.62112号 [21] 古德费罗，I。；Y.本吉奥。；科尔维尔，A。；Bengio，Y.，《深度学习》，第1卷（2016），麻省理工学院出版社，剑桥·Zbl 1373.68009号 [22] Grohs，P。；Perekrestenko，D。；Elbrächter，D。；Bölcskei，H.，深度神经网络近似理论（2019），arXiv预印本arXiv:1901.02220 [23] 何，X。；Yan，S。；胡，Y。；Niyogi，P。；Zhang，H.-J.，使用拉普拉斯人脸进行人脸识别，IEEE模式分析和机器智能汇刊，27，3，328-340（2005） [24] 海因，M。；Maier，M.，流形去噪，（神经信息处理系统进展（2007）），561-568 [25] 海因，M。；Maier，M.，流形去噪作为发现数据自然表示的预处理，（AAAI（2007）），1646-1649 [26] 霍尼克，K。；Stinchcombe，M。；White，H.，多层前馈网络是通用逼近器，神经网络，2，5，359-366（1989）·Zbl 1383.92015年 [27] Kereta，等。；Klock，T。；Naumova，V.，单调单指数模型的非线性推广，信息和推断：IMA杂志（2020年），Eprint athttps://academic.oup.com/imaiai/article-pdf/doi/10.1093/imaiai/iaaa013/33522904/iaaa013.pdf [28] Klusowski，J.M。；Barron，A.R.，通过一阶和二阶脊样条激活的神经网络进行统一逼近（2016），arXiv预印本arXiv:1607.07819 [29] Kpotufe，S.，K-NN回归适应局部内在维度，（神经信息处理系统进展（2011）），729-737 [30] 库尔科娃，V。；Sanguineti，M.，变基和神经网络近似率的界限，IEEE信息理论汇刊，47，6，2659-2665（2001）·Zbl 1008.41012号 [31] 库尔科娃，V。；Sanguineti，M.，线性和神经网络近似中最坏情况误差的比较，IEEE信息理论汇刊，48，1，264-275（2002）·Zbl 1059.62589号 [32] Leeb，W。；Coifman，R.，Hölder-Lipschitz范数及其对偶在半群空间中的应用，《傅里叶分析与应用杂志》，22，4，910-953（2016）·Zbl 1358.46025号 [33] Leshno，M。；Lin，V.Y。；Pinkus，A。；Schocken，S.，具有非多项式激活函数的多层前馈网络可以近似任何函数，神经网络，6，6，861-867（1993） [34] Li，B.，《充分降维：r的方法和应用》（2018），CRC出版社·Zbl 1408.62011号 [35] 马云（Ma，Y.）。；Zhu，L.，《降维综述》，《国际统计评论》，81,1134-150（2013）·Zbl 1416.62220号 [36] B.McCane。；Szymanski，L.，深度径向核网络：用深度网络近似径向对称函数（2017），arXiv预印本arXiv:1703.03470 [37] Mhaskar，H.N.，多层前馈人工神经网络的近似特性，计算数学进展，1,1,61-80（1993）·Zbl 0824.41011号 [38] Mhaskar，H.N.，光滑函数和解析函数最佳逼近的神经网络，神经计算，8，1，164-177（1996） [39] Mhaskar，H.N.，《关于多元积分和神经网络逼近的可处理性》，《复杂性杂志》，20，4，561-590（2004）·Zbl 1344.65036号 [40] Mhaskar，H.N.，一般浅层网络的维数无关界限，神经网络，123，142-152（2020） [41] Mhaskar，H.，数据定义流形上函数近似的直接方法，神经网络，132253-268（2020）·Zbl 1475.68319号 [42] 哈斯卡，H。；廖琦（Liao，Q.）。；Poggio，T.，《学习实函数和布尔函数：何时深度优于浅层》，《技术报告》（2016），大脑、思维和机器中心（CBMM），arXiv [43] 哈斯卡，H。；廖琦（Liao，Q.）。；Poggio，T.，深层网络何时以及为什么优于浅层网络？，（第三十一届AAAI人工智能会议（2017）） [44] 哈斯卡，H.N。；Poggio，T.，《深度网络与浅层网络：近似理论视角》，分析与应用，14，06，829-848（2016）·Zbl 1355.68233号 [45] 哈斯卡，H。；Poggio，T.，深度网络的函数逼近，《纯粹与应用分析通讯》，第19、8期（2020年）·兹比尔1442.62215 [46] Montanelli，H。；Yang，H。；Du，Q.，Deep relu网络克服了带限函数的维数灾难（2019），arXiv预印本arXiv:1903.00735 [47] 中田，R。；Imaizumi，M.，深度神经网络对内在维度的自适应逼近和估计（2019），arXiv预印本arXiv:1907.02177 [48] Niyogi，P.等人。；斯梅尔，S。；Weinberger，S.，从随机样本中发现高置信度子流形的同源性，离散与计算几何，39，1-3，419-441（2008）·Zbl 1148.68048号 [49] 彼得森，P。；Voigtlaender，F.，使用深度相关神经网络的分段光滑函数的最佳逼近，神经网络，108，296-330（2018）·Zbl 1434.68516号 [50] Pinkus，A.，神经网络中MLP模型的近似理论，《数值学报》，8143-195（1999）·Zbl 0959.68109号 [51] Poggio，T。；Anselmi，F。；Rosasco，L.，《深度与宽度的I理论：层次功能组合》技术报告（2015），大脑、思维和机器中心（CBMM） [52] Poggio，T。；哈斯卡，H。；Rosasco，L。；米兰达，B。；Liao，Q.，《为什么以及何时深层而非浅层网络可以避免维度诅咒：综述》，《国际自动化与计算杂志》，第14、5、503-519页（2017年） [53] Schmidt-Hieber，J.，流形上函数的Deep relu网络近似（2019），arXiv预印本arXiv:1908.00695 [54] Schmidt-Hieber，J.，使用具有相关激活函数的深度神经网络的非参数回归，《统计年鉴》，48，4，1875-1897（2020）·Zbl 1459.62059号 [55] 沙哈姆，美国。；Cloninger，A。；Coifman，R.R.，深度神经网络的可证明近似性质，应用与计算谐波分析，44，3，537-557（2018）·Zbl 1390.68553号 [56] 沈，Z。；Yang，H。；Zhang，S.，通过合成的非线性近似，神经网络，119，74-84（2019）·Zbl 1475.41013号 [57] Shirdhonkar，S。；Jacobs，D.W.，《推土机在线性时间内的近似距离》，（2008年IEEE计算机视觉和模式识别会议（2008年），IEEE），1-8 [58] Stone，C.J.，非参数回归的最优全局收敛速度，《统计年鉴》，1040-1053（1982）·Zbl 0511.62048号 [59] Sung，F.、Yang，Y.、Zhang，L.、Xiang，T.、Torr，P.H.和Hospedales，T.M.（2018）。学习比较：关系网用于少量学习。IEEE计算机视觉和模式识别会议记录（第1199-1208页）。 [60] Suzuki，T.，深度relu网络在besov和混合光滑besov空间中学习的适应性：最优速率和维数诅咒（2018），arXiv预印本arXiv:1810.08033 [61] 铃木，T。；Nitanda，A.，深度学习适用于各向异性贝索夫空间中模型平滑的内在维数（2019），arXiv预印本arXiv:1910.12799 [62] Telgarsky，M.，《神经网络和理性函数》，（第34届机器学习国际会议论文集。第34届国际机器学习会议论文集，机器学习研究论文集，第70卷（2017年），PMLR），3387-3393 [63] Vershynin，R.，《高维概率：数据科学应用简介》，第47卷（2018），剑桥大学出版社·Zbl 1430.60005号 [64] Yarotsky，D.，深度相关网络近似的误差界，神经网络，94，103-114（2017）·Zbl 1429.68260号 [65] Yarotsky，D.，用超深relu网络对连续函数的最佳逼近，（学习理论会议（2018）），639-649 [66] Ye，G.-B。；周，D.-X.，黎曼流形上高斯函数的学习与逼近，计算数学进展，29，3，291-310（2008）·兹比尔1156.68045 [67] 周德兴，深度卷积神经网络理论：下采样，神经网络，124319-327（2020）·Zbl 1434.68532号 [68] Zhou，D.-X.，深度卷积神经网络的普遍性，应用和计算谐波分析，48，2，787-794（2020）·兹比尔1434.68531 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。