×
王明熙;曲，杨

无界域上神经网络的逼近能力。 （英语） Zbl 1521.68166号

神经网络。 145, 56-67 (2022).
摘要：文献中对无界域上神经网络的可表示性的研究有限。对于某些应用领域，此方向的结果为学习系统的设计提供了额外的价值。受一个古老的期权定价问题的启发，我们开始了这一课题的研究。对于具有单个隐藏层的网络，我们证明了在适当的条件下，它们能够在（L^p（\mathbb{R}\times[0,1]^n）中进行普适逼近，但不能在（L~p（\mathbb{R}^2\times[0,1]*n）中实现普适逼近。对于较深的网络，我们证明了具有两个隐藏层的ReLU网络是（L^p（mathbb{R}^n））中的通用逼近器。

MSC公司：

68T05型 人工智能中的学习和自适应系统
41A30型 其他特殊函数类的近似
9120国集团 衍生证券（期权定价、对冲等）

关键词：

通用近似;无界域;深度效益
PDF格式BibTeX公司 XML格式引用
\textit{M.-X.Wang}和\textit{Y.Qu}，神经网络。145，56-67（2022；Zbl 1521.68166）
全文： DOI程序 arXiv公司

参考文献：

[1] Arora，R。；巴苏，A。；Mianjy，P。；Mukherjee，A.，理解具有校正线性单元的深度神经网络（2016），ArXiv abs/161011.491
[2] Barron，A.R.，σ函数叠加的通用近似界，IEEE信息理论汇刊，39，3，930-945（1993）·Zbl 0818.68126号
[3] Y.本吉奥。；俄勒冈州德拉鲁。；Le Roux，N.，《局部内核机器的维度诅咒》Tech。代表TR-1258（2005）
[4] Y.本吉奥。；俄勒冈州德拉鲁。；Roux，N.，局部内核机器的高变量函数的诅咒，（Weiss，Y.；Schölkopf，B.；Platt，J.，《神经信息处理系统的进展》，第18卷（2006），麻省理工学院出版社）
[5] 英国布鲁姆。；Li，L.，近似理论和前馈网络，神经网络，4，4511-515（1991）
[6] Chen，T。；陈，H。；Liu，R.-W.，多层前馈网络在（C（overline{R}^n）中的逼近能力及相关问题，IEEE神经网络汇刊，6，1，25-30（1995）
[7] Chui，C.K。；李，X。；Mhaskar，H.N.，局部逼近的神经网络，计算数学，63，208，607-623（1994）·Zbl 0806.41020号
[8] Clevert，D.-A.、Unterthiner，T.和Hochreiter，S.（2016）。通过指数线性单位（ELU）快速准确地进行深度网络学习。《学习代表国际会议记录》（ICLR 2016）。
[9] Cybenko，G.，通过sigmoid函数的叠加进行逼近，控制、信号和系统数学，2303-314（1989）·Zbl 0679.94019号
[10] Daniely，A.，神经网络深度分离，（2017年学习理论会议论文集。2017年学习论会议论文集，机器学习研究论文集，第65卷（2017）），690-696
[11] 杜加斯，C。；Y.本吉奥。；贝莱尔，F。；纳多，C。；Garcia，R.，《整合二阶函数知识以实现更好的期权定价》（Leen，T.K.；Dietterich，T.G.；Tresp，V.，《神经信息处理系统的进展》13（2001），麻省理工出版社），472-478
[12] Eldan，R。；Shamir，O.，《前馈神经网络的深度能力》（COLT（2016））
[13] Federico，G.（1995年）。使用VC-bounds的近似误差界。程序中。国际。人工神经网络（第295-302页）。
[14] Funahashi，K.-I.，关于用神经网络近似实现连续映射，神经网络，2，3，183-192（1989）
[15] 吉列，N。；梅辛格，A。；格雷格，B。；刘，A。；Ucci，G.，《21厘米宇宙黎明和再电离断层扫描深度学习》，《皇家天文学会月刊》，484，1，282-293（2019）
[16] Gnecco，G。；V.库尔科娃。；Sanguineti，M.，基于词典和线性计算模型复杂性的一些比较，神经网络，24，2，171-182（2011）·Zbl 1217.68184号
[17] Gnecco，G。；Sanguineti，M.，《关于为变基近似方案量身定制的变分范数》，IEEE信息理论汇刊，57，1549-558（2011）·Zbl 1366.41017号
[18] Gribonval，R。；Kutyniok，G。；尼尔森，M。；Voigtlaender，F.，深度神经网络的近似空间（2020），arXiv:1905.01208
[19] 新泽西州古利耶夫。；Ismailov，V.E.，具有固定权重的两个隐层前馈神经网络的逼近能力，神经计算，316，262-269（2018）
[20] 新泽西州古利耶夫。；Ismailov，V.E.，关于用固定权重的单隐层前馈神经网络进行逼近，神经网络，98，296-304（2018）·Zbl 1437.68062号
[21] Gurvits，L.公司。；Koiran，P.，凸叠加的逼近和学习，（第二届欧洲计算学习理论会议论文集。第二届计算学习理论欧洲会议论文集，EuroCOLT’95（1995），Springer-Verlag:Springer-Verlag Berlin，Heidelberg），222-236
[22] 哈宁，B。；Sellke，M.，最小宽度ReLU网逼近连续函数（2017），ArXiv abs/1710.11278
[23] Hornik，K.，多层前馈网络的逼近能力，神经网络，4，2，251-257（1991）
[24] 霍尼克，K。；Stinchcombe先生。；White，H.，多层前馈网络是通用逼近器，神经网络，2，5，359-366（1989）·Zbl 1383.92015年
[25] 黄，G.-B。；Babri，H.A.，关于“多层前馈网络在（C（上测线{R}^n）中的逼近能力及相关问题”的评论，IEEE神经网络汇刊，94714-715（1998）
[26] 哈钦森，J.M。；Lo，A。；Poggio，T.，《通过学习网络对衍生证券进行定价和对冲的非参数方法》，《金融杂志》，49，851-889（1994）
[27] Ismailov，V.E.，《关于隐层神经元数量有限的神经网络逼近》，《数学分析与应用杂志》，417，2，963-969（2014）·Zbl 1303.41010号
[28] Ito，Y.，通过带缩放和不带缩放的sigmoid函数移位旋转的线性组合对（mathbb{R}^d）上连续函数的逼近，神经网络，5，105-115（1992）
[29] 季，Z。；特尔加斯基，M。；Xian，R.，《神经切线核、传输映射和普适逼近》（国际学习表征会议（2020年））
[30] Johnson，J.，Deep，skiny神经网络不是通用逼近器（国际学习表征会议（2019））
[31] Kainen，P.C。；V.库尔科娃。；Sanguineti，M.，计算模型对输入维的依赖：近似和优化任务的可追踪性，IEEE信息理论汇刊，58，2，1203-1214（2012）·Zbl 1365.68373号
[32] Kidger，P。；Lyons，T.，带深窄网络的通用近似，（第三十三届学习理论会议论文集。第三十三次学习理论会议文献集，机器学习研究论文集，第125卷（2020），PMLR），2306-2327
[33] V.库尔科娃。；Sanguineti，M.，线性和神经网络近似中最坏情况误差的比较，IEEE信息理论汇刊，48，1，264-275（2002）·兹比尔1059.62589
[34] V.库尔科娃。；Sanguineti，M.，变基近似率的几何上界，IEEE信息理论汇刊，54，12，5681-5688（2008）·Zbl 1319.68177号
[35] V.库尔科娃。；Sanguineti，M.，代表高度变化函数的浅层网络模型复杂性，神经计算，171，C，598-604（2016）
[36] Lavretsky，E.，关于神经近似的几何收敛性，IEEE神经网络汇刊，13，2，274-282（2002）
[37] Leshno，M。；林，V.Y。；Pinkus，A。；Schocken，S.，具有非多项式激活函数的多层前馈网络可以近似任何函数，神经网络，6，6，861-867（1993）
[38] Light，W.，岭函数、S形函数和神经网络，（近似理论VII（1993），学术出版社），163-206·Zbl 0767.41023号
[39] 刘，Z。；Tilman，H。；Masahito，U.，《神经网络无法学习周期函数及其修复方法》，（Larochelle，H.；Ranzato，M.；Hadsell，R.；Balcan，M.F.；Lin，H，《神经信息处理系统的进展》，第33卷（2020），Curran Associates，Inc.），1583-1594
[40] 卢，Z。；Pu，H。；Wang，F。；胡，Z。；Wang，L.，《神经网络的表达能力：从宽度角度看》（NIPS（2017））
[41] Maas，A.L。；汉农，A.Y。；Ng，A.Y.，《整流器非线性改善神经网络声学模型》（ICML音频、语音和语言处理深度学习研讨会（2013年））
[42] Maiorov，V.，关于岭函数的最佳逼近，逼近理论杂志，99，1，68-94（1999）·Zbl 0939.41014号
[43] Maiorov，V。；Pinkus，A.，MLP神经网络近似的下限，神经计算，25，1，81-91（1999）·Zbl 0931.68093号
[44] Makovoz，Y.，《随机逼近与神经网络》，《逼近理论杂志》，85，1，98-109（1996）·Zbl 0857.41024号
[45] Mazurek，J。；Krzyzak，A。；Cichocki，A.，递归径向基函数网络的收敛速度，（1997年IEEE声学、语音和信号处理国际会议，第4卷（1997）），3317-3320
[46] Nair，V.和Hinton，G.（2010年）。校正的线性单元改进了受限的Boltzmann机器。第27届国际机器学习会议论文集，ICML（第807-814页）。
[47] 镍，M。；Kiela，D.，学习双曲几何洛伦兹模型中的连续层次结构（ICML（2018））
[48] Park，J。；Sandberg，I.W.，径向基函数网络的通用近似，神经计算，3，2，246-257（1991）
[49] 帕克，S。；Yun，C。；Lee，J。；Shin，J.，《普遍逼近的最小宽度》（国际学习表征会议（2021年））
[50] Petersen，P.，《神经网络理论》（2020年）
[51] 彼得森，P。；Voigtlaender，F.，使用深度ReLU神经网络的分段光滑函数的最佳逼近，神经网络，108，296-330（2018）·Zbl 1434.68516号
[52] Pinkus，A.，神经网络中MLP模型的近似理论，数字学报，8143-195（1999）·Zbl 0959.68109号
[53] Pinkus，A.，（岭函数，岭函数，剑桥数学丛书（2015），剑桥大学出版社）·Zbl 1331.41001号
[54] Poggio，T.A。；哈斯卡，H。；Rosasco，L。；米兰达，B。；Liao，Q.，《为什么以及何时深层网络（而非浅层网络）可以避免维度诅咒：综述》（2016），CoRR abs/1611.00740
[55] 曲，Y。；Wang，M.-X.，基于时间价值的期权定价模型：无界域上通用近似理论的应用，（2021 IJCNN国际神经网络联合会议（2021））
[56] 里德，M。；Simon，B.，《现代数学物理方法：函数分析》（1980），学术出版社·Zbl 0459.46001号
[57] Rojas，R.，《维度的诅咒》（2015）
[58] Rolnick，D。；Tegmark，M.，《深层网络表达自然功能的力量》（2017），CoRR abs/1705.05502
[59] Schneider，T.，Ein satzüber ganzwertige funktionen als prinzip für transzendenzbewise，Mathematicsche Annalen，121131-140（1949年）·Zbl 0034.31702号
[60] Stinchcombe先生。；White，H.，使用具有非乙状结肠隐藏层激活函数的前馈网络的通用近似，（1989年神经网络国际联合会议，第1卷（1989年）），613-617
[61] Stinchcombe先生。；White，H.，使用有界权重的多层前馈网络逼近和学习未知映射，（1990年IJCNN国际神经网络联合会议，第3卷（1990年）），7-16
[62] Telgarsky，M.，《神经网络深度的好处》（COLT（2016））
[63] （Vladimir，B.，《测量理论》，I（2017），Springer Science&Business Media）
[64] Yarotsky，D.，深度ReLU网络近似的误差界，神经网络，94，103-114（2017）·Zbl 1429.68260号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。