×
安德烈·卡拉赫亚;李大广;约翰内斯·马利;格茨·普范德;费利克斯·福格特拉恩德

复值神经网络的定量逼近结果。 （英语） Zbl 07517703号

SIAM J.数学。数据科学。 4，编号2，553-580（2022）.
摘要：直到最近，神经网络在机器学习中的应用几乎完全依赖于实值网络。然而，最近观察到，复合值神经网络（CVNN）在输入为自然复合值的应用中表现出优越的性能，例如MRI指纹识别。虽然实值网络的数学理论到目前为止已经达到了某种程度的成熟，但对于复杂值网络来说，这远远不是真的。本文通过提供CVNN逼近（mathbb{C}^d）紧子集上的（C^n）函数的显式定量误差界来分析复值网络的表示性，CVNN采用modReLU激活函数，由（sigma（z）=\operatorname{ReLU}（|z|-1）\operator name{sgn}（z）给出，这是实践中最常用的复杂激活函数之一。我们表明，在权重适度增长的modReLU网络类中，导出的近似率是最优的（高达对数因子）。

MSC公司：

68T07型 人工神经网络与深度学习
41A25型 收敛速度，近似度

关键词：

复值神经网络;函数近似;modReLu激活功能

软件：

AlexNet公司;ImageNet公司
PDF格式BibTeX公司 XML格式引用
\textit{A.Caragea}等人，SIAM J.数学。数据科学。4，编号2，553--580（2022；Zbl 07517703）
全文： 内政部 arXiv公司

参考文献：

[1] P.Arena、L.Fortuna、G.Muscato和M.G.Xibilia，《多维域中的神经网络：建模和控制的基本原理和新趋势》，第234卷，施普林格-弗拉格出版社，柏林，1998年·兹比尔0910.68167
[2] P.Arena、L.Fortuna、R.Re和M.G.Xibilia，《关于具有复杂神经元的神经网络在复值函数逼近中的能力》，《1993年IEEE电路与系统国际研讨会论文集》，IEEE，1993年，https://doi.org/10.109/ISCAS.1993.394188。
[3] P.Arena、L.Fortuna、R.Re和M.G.Xibilia，多层感知器近似复值函数，国际神经系统杂志。，6 (1995), https://doi.org/10.1142/s0129065795000299。
[4] M.Arjovsky、A.Shah和Y.Bengio，单位进化递归神经网络，《第33届机器学习国际会议论文集》，PMLR，2016年，第1120-1128页。
[5] P.L.Bartlett、N.Harvey、C.Liaw和A.Mehrabian，分段线性神经网络的近紧VC-维和伪维边界，J.Mach。学习。Res.，20（2019），第1-17页·Zbl 1489.62302号
[6] J.Berner、P.Grohs和A.Jentzen，《泛化误差分析：深度人工神经网络的经验风险最小化克服了Black-Scholes偏微分方程数值逼近中的维数灾难》，SIAM J.Math。数据科学。，2（2020年），第631-657页，https://doi.org/10.1137/19M125649X。 ·Zbl 1480.60191号
[7] H.Boílcskei、P.Grohs、G.Kutyniok和P.Petersen，稀疏连接深层神经网络的最佳逼近，SIAM J.Math。数据科学。，1（2019年），第8-45页，https://doi.org/10.1137/18M118709X。 ·Zbl 1499.41029号
[8] G.F.Clements，几组实值函数的熵，Pac。数学杂志。，13（1963年），第1085-1095页，http://projecteuclid.org/euclid.pjm/1103034547。 ·Zbl 0158.05002号
[9] G.Cybenko，通过sigmoid函数的叠加进行逼近，数学。控制信号系统，2（1989），第303-314页，https://doi.org/10.1007/BF02551274。 ·兹伯利0679.94019
[10] X.Glrot，A.Bordes和Y.Bengio，深度稀疏整流器神经网络，《第14届国际人工智能与统计会议论文集》，PMLR，2011年。
[11] L.Gonon、P.Grohs、A.Jentzen、D.Kofler和D.Šis \780,ka，《热方程人工神经网络近似的一致误差估计》，预印本，arXiv:1911.096472019年。
[12] P.Grohs和L.Herrmann，带边界条件的高维椭圆偏微分方程的深度神经网络近似，IMA J.Numer。分析。，(2021), https://doi.org/10.1093/imanum/drab031。 ·Zbl 1502.65264号
[13] P.Grohs和L.Herrmann，高维抛物Hamilton-Jacobi-Bellman方程的深度神经网络近似，预印本，arXiv:2103.057442021。
[14] A.Hirose，《复杂值神经网络：理论与应用》，第5卷，《世界科学》，新加坡，2003年，https://doi.org/10.1142/5345。 ·Zbl 1058.68096号
[15] K.Hornik，多层前馈网络的逼近能力，神经网络。，4（1991）第251-257页，https://doi.org/10.1016/0893-6080（91）90009-T。
[16] K.Hornik、M.Stinchcombe和H.White，多层前馈网络是通用逼近器，神经网络。，2（1989），第359-366页，https://doi.org/10.1016/0893-6080(89)90020-8. ·Zbl 1383.92015年
[17] A.Krizhevsky、I.Sutskever和G.E.Hinton，深度卷积神经网络的ImageNet分类，Commun。ACM，60（2017），https://doi.org/10.1145/3065386。
[18] Y.LeCun、Y.Bengio和G.Hinton，《深度学习》，《自然》，521（2015），第436-444页。
[19] M.Leshno、V.Lin、A.Pinkus和S.Schocken，具有非多项式激活函数的多层前馈网络可以近似任何函数，神经网络。，6（1993），第861-867页，https://doi.org/10.1016/S0893-6080(05)80131-5.
[20] 卢军，沈振中，杨浩，张绍，光滑函数的深度网络逼近，SIAM J.Math。分析。，53（2021年），第5465-5506页，https://doi.org/10.1137/20M134695X。 ·Zbl 07407717号
[21] H.N.Mhaskar，光滑函数和解析函数最佳逼近的神经网络，神经计算。，8 (1996), https://doi.org/10.1162/neco.1996.8.1.164。
[22] P.Petersen和F.Voigtlaender，使用深度ReLU神经网络的分段光滑函数的最佳逼近，神经网络。，108 (2018), https://doi.org/10.1016/j.neunet.2018.08.019。 ·Zbl 1434.68516号
[23] I.Safran和O.Shamir，《用神经网络逼近自然函数的深度-宽度权衡》，预印本，arXiv:1610.098872016年。
[24] I.Safran和O.Shamir，用神经网络逼近自然函数的深度-宽度权衡，《国际机器学习会议》，PMLR，2017年，第2979-2987页。
[25] I.Sutskever、O.Vinyals和Q.V.Le，神经网络的序列到序列学习，《神经信息处理系统进展》，PMLR，2014年。
[26] C.Trabelsi、O.Bilaniuk、Y.Zhang、D.Serdyuk、S.Subramanian、J.F.Santos、S.Mehri、N.Rostamzadeh、Y.Bengio和C.J.Pal，深度复杂网络，国际学习代表大会，2018年，https://openreview.net/forum？id=H1T2hmZAb。
[27] R.Vershynin，《高维概率》，剑桥统计与概率数学系列47，剑桥大学出版社，剑桥，2018，https://doi.org/10.1017/9781108231596。 ·Zbl 1430.60005号
[28] P.Virtue、S.X.Yu和M.Lustig，《优于真实：用于MRI指纹识别的复杂值神经网络》，载于2017年IEEE图像处理国际会议论文集，ICIP，2017年，https://doi.org/10.109/ICIP.2017.8297024。
[29] F.Voigtlaender，《复值神经网络的通用逼近定理》，预印本，arXiv:2012.033512020年。
[30] M.Wolter和A.Yao，复杂门控递归神经网络，《神经信息处理系统进展》，第31卷，Curran Associates，Inc.，Red Hook，NY，2018年，第10557-10567页。
[31] D.Yarotsky，深度ReLU网络近似的误差界，神经网络。，94（2017），第103-114页，https://doi.org/10.1016/j.neunet.2017.07.002。 ·Zbl 1429.68260号
[32] D.Yarotsky和A.Zhevnerchuk，深度神经网络近似率相图，高级神经信息。过程。系统。，33 (2020).
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。