×
哈斯卡，H.N。

数据定义流形上函数逼近的直接方法。 （英语） Zbl 1475.68319号

神经网络。 132, 253-268 (2020).
摘要：在许多关于深网络函数逼近的文献中，假设函数定义在某些已知域上，例如立方体或球体。实际上，这些域上的数据可能并不稠密，因此，可以观察到近似理论结果过于保守。在流形学习中，假设数据是从未知流形中采样的；即，流形由数据本身定义。然后，在这个未知流形上的函数逼近是一个两阶段的过程：首先，一个使用图Laplacian逼近这个流形上Laplace-Beltrami算子（及其特征分解），然后，使用特征函数逼近目标函数。或者，首先估计流形上的一些地图集，然后使用基于局部坐标图的局部近似技术。
在本文中，我们提出了一种更直接的函数逼近方法未知的数据定义流形，不需要计算某些算子的特征分解或流形的图谱，也不需要任何经典意义上的训练。我们的结构是通用的；即，除了流形上的连续性之外，不需要了解目标函数的任何先验知识。我们估计近似程度。对于光滑函数，估计不会出现所谓的饱和现象。我们通过一种称为误差良好传播的特性演示了如何使用深度网络提升函数逼近的结果，其中每个通道评估可能未知流形上的高斯网络。

引用于三文件

MSC公司：

68T07型 人工神经网络与深度学习
41A10号 多项式逼近
第41页第35页 运算符逼近（特别是积分运算符逼近）
62兰特 歧管统计

关键词：

流形学习;深层网络;高斯网络;加权多项式逼近
PDF格式BibTeX公司 XML格式引用
\textit｛H.N.Mhaskar｝，神经网络。132253-268（2020年；Zbl 1475.68319）
全文： 内政部 arXiv公司

参考文献：

[1] 安德鲁斯，G.E。；Askey，R。；Roy，R.，《特殊功能》，第71卷（1999年），剑桥大学出版社·Zbl 0920.33001号
[2] Askey，R。；Wainger，S.，拉盖尔级数和厄米特级数展开式的平均收敛性，美国数学杂志，87，3，695-708（1965）·Zbl 0125.31301号
[3] 贝特曼，H。；埃尔德莱伊，A。；马格纳斯，W。；Oberhettinger，F。；Tricomi，F.G.，《高等超越函数》，第2卷（1955年），McGraw-Hill:McGraw-Hill纽约·Zbl 0064.06302号
[4] 贝尔金，M。；Niyogi，P.，用于降维和数据表示的拉普拉斯特征映射，神经计算，15，6，1373-1396（2003）·Zbl 1085.68119号
[5] 贝尔金，M。；Niyogi，P.，黎曼流形上的半监督学习，机器学习，56，1-3，209-239（2004）·Zbl 1089.68086号
[6] 贝尔金，M。；Niyogi，P.，《迈向基于拉普拉斯算子的流形方法的理论基础》，《计算机与系统科学杂志》，74,81289-1308（2008）·Zbl 1157.68056号
[7] Boucheron，S。；卢戈西，G。；Massart，P.，《集中度不平等：独立性的非共鸣理论》（2013），牛津大学出版社·Zbl 1279.60005号
[8] Butzer，P.L。；Nessel，R.J.，《傅里叶分析与近似》，第40卷（2011年），学术出版社
[9] 陈，M。；姜浩。；Liao，W。；Zhao，T.，低维流形上函数的深度ReLU网络的有效逼近（2019），arXiv预印本arXiv:1908.01842
[10] Chui，C.K。；Donoho，D.L.，专刊：扩散映射与小波，应用与计算谐波分析，21，1（2006）
[11] Chui，C.K。；Mhaskar，H.N.，一种定位点群并计算其属性的傅里叶变换方法，应用和计算谐波分析，45，436-452（2018）·Zbl 1395.42071号
[12] Chui，C.K。；Mhaskar，H.N.，《局部多元学习的深度网络》，应用数学和统计前沿，4，12（2018）
[13] Chui，C.K。；Mhaskar，H.N.，超分辨率恢复和实指数和分离的统一方法，应用和计算谐波分析，46，2，431-451（2019）·Zbl 1414.85002号
[14] Cloninger，A。；科伊夫曼，R.R。；北卡罗来纳州唐宁。；Krumholz，H.M.，深网的大几何组织（2015），arXiv预印本arXiv:1507.00220·Zbl 1390.68520号
[15] Cucker，F。；Smale，S.，《学习的数学基础》，美国数学学会。公报，39，1-49（2002）·Zbl 0983.68162号
[16] Cucker，F。；周德兴，《学习理论：近似理论观点》，第24卷（2007），剑桥大学出版社·Zbl 1274.41001号
[17] DeVore，R.A。；Lorentz，G.G.，《建设性近似》，第303卷（1993年），施普林格科学与商业媒体·Zbl 0797.41016号
[18] do Carmo Valero，M.P.，黎曼几何（1992），Birkhäuser·兹比尔0752.53001
[19] 埃勒，M。；Filbir，F。；Mhaskar，H.N.，《使用扩散框架本地学习生物医学数据》，《计算生物学杂志》，第19、11、1251-1264页（2012年）
[20] Filbir，F。；Mhaskar，H.N.，Marcinkiewicz-Zygmund流形测度，复杂性杂志，27，6，568-596（2011）·Zbl 1235.58007号
[21] 吉罗西，F。；Poggio，T.，《网络与最佳逼近性质》，生物控制论，63，3，169-176（1990）·Zbl 0714.94029号
[22] 琼斯，P.W。；Maggioni，M。；Schul，R.，《通过拉普拉斯算子的热核和本征函数实现的通用局部参数化》，《芬尼科学院年鉴》。Mathematica，35131-174（2010）·兹比尔1194.58031
[23] Lafon，S.S.，扩散图与几何调和（2004），耶鲁大学：耶鲁大学耶鲁大学（博士论文）
[24] Liao，W。；Maggioni，M.，固有低维数据的自适应几何多尺度近似（2016），arXiv预印本arXiv:1611.01179
[25] Lorentz，G.G.，Bernstein多项式（2013），美国数学学会·Zbl 0989.41504号
[26] Maggioni，M。；Mhaskar，H.N.，度量测度空间上的扩散多项式框架，应用和计算谐波分析，24，33229-353（2008）·Zbl 1242.42027号
[27] Mhaskar，H.N.，加权多项式近似理论简介，第56卷（1996），《世界科学：新加坡世界科学》·Zbl 0948.41500号
[28] Mhaskar，H.N.，《关于多元加权近似中的近似度》，（构造近似中的高级问题（2003），Springer），129-141·Zbl 1068.41053号
[29] Mhaskar，H.N.，高斯网络的近似何时一定是线性过程？，神经网络，17，7，989-1001（2004）·Zbl 1084.68104号
[30] Mhaskar，H.N.，高斯网络的Markov-Bernstein不等式，（构造逼近的趋势和应用（2005），Springer），165-180·Zbl 1077.41011号
[31] Mhaskar，H.N.，流形上函数逼近的Eignets，应用和计算谐波分析，29，1，63-87（2010）·兹比尔1201.41003
[32] Mhaskar，H.N.，数据定义流形上函数简约表示的广义扩散框架，神经网络，24，4，345-359（2011）·Zbl 1222.42036号
[33] Mhaskar，H.N.，使用Hermite函数的局部近似，（近似理论和应用复分析的进展（2017），Springer），341-362·Zbl 1369.41003号
[34] Mhaskar，H.N.，有向图和变化数据上函数调和分析的统一框架，应用和计算调和分析，44，3，611-644（2018）·Zbl 1395.42066号
[35] 哈斯卡，H.N。；Poggio，T.，《深度网络与浅层网络：近似理论视角》，分析与应用，14，06，829-848（2016）·Zbl 1355.68233号
[36] 哈斯卡，H.N。；Poggio，T.，浅层和深层网络中的训练和泛化错误分析，神经网络，121229-241（2020）·Zbl 1434.68513号
[37] Schmidt-Hieber，J.，流形上函数的Deep ReLU网络近似（2019），arXiv预印本arXiv:1908.00695
[38] Singer，A.，《从图到流形Laplacian:收敛速度，应用和计算调和分析》，21，1，128-134（2006）·Zbl 1095.68102号
[39] Szegö，G.，（正交多项式。正交多项式，学术讨论会出版物，第23卷（1975年），美国数学学会：美国数学学会普罗维登斯）·Zbl 0305.42011年
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。