×
李元元;鲁帅;Peter Mathé;佩雷弗泽夫，谢尔盖五世。

具有\（\text｛ReLU｝^k\）激活函数的两层网络：巴伦空间和导数近似。 （英语） Zbl 1533.41008号

数字。数学。 156，编号1，319-344（2024）.
本文研究了用双层神经网络逼近函数及其导数的方法。激活函数被选为整流功率单元\[\mbox｛ReLU｝^k（x）=（\最大值（0，x））^k\]所以导数的近似是可能的。通过研究相应的Barron空间，作者证明了具有（mbox{ReLU}^k）激活函数的双层网络能够同时逼近未知函数及其导数。为此，提出了一种Tikhonov型正则化方法。建立了误差界，并提供了几个数值例子来支持该方法的效率。
审核人：张海章（广州）

MSC公司：

41A25型 收敛速度，近似度
65日第15天 函数逼近算法

关键词：

ReLU神经网络;Tikhonov正则化;巴伦空间;导数近似

软件：

亚当
PDF格式BibTeX公司 XML格式引用
\textit{Y.Li}等人，数字。数学。156，编号1，319-344（2024；兹bl 1533.41008）
全文： 内政部

参考文献：

[1] 阿卜杜勒贾瓦德，A。；Grohs，P.，带整流功率单元激活函数的浅层神经网络的积分表示，神经网络。，155, 536-550 (2022) ·Zbl 07751917号 ·doi:10.1016/j.neunet.2022.09.005
[2] Aronszajn，N.，《再生核理论》，译。美国数学。Soc.，68，337-404（1950）·Zbl 0037.20701号 ·doi:10.1090/S0002-9947-1950-0051437-7
[3] Bao，G。；叶，X。；臧，Y。；周浩，弱对抗网络反问题的数值解法，反问题。，36, 11 (2020) ·Zbl 1452.65308号 ·doi:10.1088/1361-6420/abb447
[4] Barron，A.，σ函数叠加的通用近似界，IEEE Trans。通知。理论，39，3，930-945（1993）·Zbl 0818.68126号 ·doi:10.1109/18.256500
[5] Bishop，C.，噪声训练等价于Tikhonov正则化，神经计算。，7, 1, 108-116 (1995) ·doi:10.1162/neco.1995.7.1.108
[6] 伯格，M。；Neubauer，A.，神经网络函数逼近的Tikhonov正则化分析，神经网络。，16, 1, 79-90 (2003) ·doi:10.1016/S0893-6080（02）00167-3
[7] Caragea，A.，Petersen，P.，Voigtlaender，F.：巴伦类中具有分类边界的分类器的神经网络近似和估计（2022）。访问日期：2023年7月19日。arXiv:2011.09363号
[8] Cavalier，L.：第1章统计中的逆问题。摘自：P.Alquier等人（编辑）《反问题和高维估计》，《统计学讲义》，第203卷。柏林施普林格出版社（2011）·Zbl 1218.6202号
[9] DeVore，R.，非线性近似，数值学报。，7, 51-150 (1998) ·Zbl 0931.65007号 ·doi:10.1017/S0962492900002816
[10] Engl，H.，Hanke，M.，Neubauer，A.：反问题的正则化。收录于：《数学及其应用》，第375卷。Kluwer学术出版集团，Dordrecht（1996）·兹比尔0859.65054
[11] Gribonval，R。；Kutyniok，G。；尼尔森，M。；Voigtlaender，F.，深度神经网络的近似空间，Constr。约551259-367（2022）·兹比尔1491.82017 ·doi:10.1007/s00365-021-09543-4
[12] 汉克，M。；Scherzer，O.，《反问题之光：数值微分》，《美国数学》。周一。，108, 6, 512-521 (2001) ·Zbl 1002.65029号 ·doi:10.1080/00029890.2001.11919778
[13] Kingma，D.，Ba，J.：亚当：一种随机优化方法。ICLR 2015。arXiv:1412.6980[cs]（2014）
[14] Klusowski，J。；Barron，A.，ReLU和平方ReLU脊函数与\（ell^1）和\（ell ^0）控件组合的近似，IEEE Trans。通知。理论，64，12，7649-7656（2018）·Zbl 1432.41003号 ·doi:10.1109/TIT.2018.2874447
[15] Kůrková，V.，基于计算单元诱导的积分变换的复杂性估计，神经网络。，33, 160-167 (2012) ·Zbl 1261.44002号 ·doi:10.1016/j.neuet.2012.05.002
[16] 李，B。；唐，S。；Yu，H.，用带整流功率单元的深度神经网络更好地逼近高维光滑函数，Commun。计算。物理。，27, 2, 379-411 (2020) ·Zbl 1474.65031号 ·doi:10.4208/cicp。OA-2019-0168
[17] Lu，S.，Pereverzev，S.V.：适定问题的正则化理论，《逆问题和适定问题系列》第58卷。德格鲁伊特，柏林。选定主题（2013年）·Zbl 1282.47001号
[18] 卢，S。；Pereverzev，SV，从正则化理论的角度进行数值微分，数学。计算。，75, 256, 1853-1870 (2006) ·Zbl 1115.65021号 ·doi:10.1090/S0025-5718-06-01857-6
[19] 马，C。；Wu，L.，神经网络模型的Barron空间和流诱导函数空间，Constr。约551369-406（2022）·兹比尔1490.65020 ·doi:10.1007/s00365-021-09549-y
[20] Magaril-Il'yaev，GG；Osipenko，KY，从关于谱和导数不等式的不准确信息中优化恢复函数及其导数，Funct。分析。申请。，37, 203-214 (2003) ·Zbl 1048.41007号 ·doi:10.1023/A:1026084617039
[21] Moody，J.：有效参数数：非线性学习系统中泛化和正则化的分析。收录于：《第四届神经信息处理系统国际会议论文集》，NIPS’91，第847-854页，美国加利福尼亚州旧金山，Morgan Kaufmann Publishers Inc（1991）
[22] 西格尔，J。；Xu，J.，带余弦和激活函数的浅层神经网络的高阶逼近率，应用。计算。哈蒙。分析。，58, 1-26 (2022) ·Zbl 1501.41006号 ·doi:10.1016/j.acha.2021.12.005
[23] 西格尔，J。；Xu，J.，Shallow神经网络近似速率、度量熵和宽度的Sharp界，Found。计算。数学。(2022) ·Zbl 07835553号 ·doi:10.1007/s10208-022-09595-3
[24] 西格尔，J。；Xu，J.，浅层神经网络对应的变化空间的特征，Constr。约5711109-1132（2023）·Zbl 07698579号 ·doi:10.1007/s00365-023-09626-4
[25] Wahba，G.：《观测数据的样条模型》，CBMS-NSF应用数学区域会议系列第59卷。宾夕法尼亚州费城工业与应用数学学会（SIAM）（1990年）·Zbl 0813.62001号
[26] 王，YB；贾，XZ；Cheng，J.，一种数值微分方法及其在不连续重构中的应用，逆探针。，18, 6, 1461-1476 (2002) ·Zbl 1041.65024号 ·doi:10.1088/0266-5611/18/6/301
[27] Wojtowytsch，S.，巴龙函数的表示公式和逐点性质，计算变量，61，2，1-37（2022）·Zbl 1482.41013号
[28] Xu，J.，有限神经元方法和收敛性分析，Commun。计算。物理。，28, 5, 1707-1745 (2020) ·Zbl 1473.65350号 ·doi:10.4208/cicp。OA-2020-0191型
[29] Yarotsky，D.，深度ReLU网络近似的误差界，神经网络。，94, 103-114 (2017) ·Zbl 1429.68260号 ·doi:10.1016/j.neunet.2017.07.002
[30] 周德，深度卷积神经网络的普遍性，应用。计算。哈蒙。分析。，48, 2, 787-794 (2020) ·Zbl 1434.68531号 ·doi:10.1016/j.acha.2019.06.004
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。