×

神经网络对不变映射的通用逼近。 (英语) Zbl 1505.41019号

神经网络是目前应用数学中研究最多的方法之一。本文作者将该方法置于数学中一个新的更一般的上下文中,即不变或等变或置换不变映射的通用逼近(有几种新版本的通用逼近定理)。这是在一个实例中通过多项式构造浅层网络的中间层来实现的。后者允许近似是不变的或等变的并且是完全的。然后可以通过使用极化来扩展多项式的构造。
在其上形成映射的群是例如一般紧群或特殊平移不变群。网络的输入包括来自无限维空间的连续多变量信号。浅层和深层神经网络都得到了解决。

MSC公司:

41A63型 多维问题
13年50日 群在交换环上的作用;不变理论
20立方厘米 群表示在物理学和其他科学领域的应用
41A30型 其他特殊函数类的近似
62J02型 一般非线性回归
62M45型 神经网络及从随机过程推断的相关方法
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Anselmi,F。;Rosasco,L。;Poggio,T.,《论表征学习中的不变性和选择性》,Inf.Inference,5,2,134-158(2016)·Zbl 1426.68233号 ·doi:10.1093/imaiai/iaw009
[2] 布鲁纳,J。;Mallat,S.,不变散射卷积网络,IEEE Trans。模式分析。机器。智力。,35, 8, 1872-1886 (2013) ·doi:10.1109/TPAMI.2012.230
[3] Burkhardt,H.,Siggelkow,S.:模式识别中的不变特征——基础和应用。在:基于非线性模型的图像/视频处理和分析,第269-307页(2001)
[4] Cohen,N.,Shashua,A.:卷积整流器网络作为广义张量分解。摘自:机器学习国际会议,第955-963页(2016年)
[5] Cohen,N.、Sharir,O.、Levine,Y.、Tamari,R.、Yakira,D.、Shashua,A.:通过层次张量分解分析和设计卷积网络(2017)。arXiv预打印arXiv:1705.02302
[6] Cohen,T.,Welling,M.:群等变卷积网络。摘自:第33届机器学习国际会议记录,第2990-2999页(2016)
[7] Cybenko,G.,通过sigmoid函数的叠加进行逼近,数学。控制信号系统。,2, 4, 303-314 (1989) ·Zbl 0679.94019号 ·doi:10.1007/BF02551274
[8] Dieleman,S.,De Fauw,J.,Kavukcuoglu,K.:利用卷积神经网络中的循环对称性。收录于:《第33届国际机器学习大会论文集》,第48卷,第1889-1898页(2016)
[9] Esteves,C.、Allen-Blanchette,C.,Zhou,X.、Danilidis,K.:极性变压器网络。参加:学习代表国际会议(2018年)
[10] Funahashi,K-I,关于用神经网络近似实现连续映射,神经网络。,2, 3, 183-192 (1989) ·doi:10.1016/0893-6080(89)90003-8
[11] Gens,R.,Domingos,P.M.:深对称网络。摘自:《神经信息处理系统进展》,第2537-2545页(2014年)
[12] 古德费罗,I。;Bengio,Y.,《深度学习》(2016),剑桥:麻省理工学院出版社,剑桥·Zbl 1373.68009号
[13] He,K.,Zhang,X.,Ren,S.,Sun,J.:图像识别的深度剩余学习。摘自:IEEE计算机视觉和模式识别会议记录,第770-778页(2016)
[14] Hedlund,GA,移位动力系统的自同构和自同构,理论计算。系统。,320-375年3月4日(1969年)·Zbl 0182.56901号
[15] Henriques,J.F.,Vedaldi,A.:扭曲卷积:空间变换的有效不变性。摘自:机器学习国际会议,第1461-1469页(2017)
[16] 希尔伯特,D.,《代数理论》,《数学年鉴》,36,4,473-534(1890)·JFM 22.0133.01号 ·doi:10.1007/BF01208503
[17] 希尔伯特,D.,《不变量系统》,《数学年鉴》,42,3,313-373(1893)·JFM 25.0173.01标准 ·doi:10.1007/BF01444162
[18] Hornik,K.,关于神经网络逼近的一些新结果,神经网络。,6, 8, 1069-1072 (1993) ·doi:10.1016/S0893-6080(09)80018-X
[19] 霍尼克,K。;Stinchcombe先生。;White,H.,多层前馈网络是通用逼近器,神经网络。,2, 5, 359-366 (1989) ·Zbl 1383.92015年 ·doi:10.1016/0893-6080(89)90020-8
[20] Kondor,R.,Trivedi,S.:关于神经网络中等方差和卷积对紧群作用的推广。摘自:机器学习国际会议,第2747-2755页(2018年)
[21] Kraft,H.,Procesi,C.:经典不变理论,入门。课堂讲稿(2000)
[22] 勒村,Y.:概括和网络设计策略。摘自:《连接主义透视》,第143-155页(1989年)
[23] LeCun,Y。;Y.本吉奥。;Hinton,G.,《深度学习》,《自然》,521,7553,436-444(2015)·doi:10.1038/nature14539
[24] Leshno,M。;林,VY;平库斯,A。;Schocken,S.,具有非多项式激活函数的多层前馈网络可以近似任何函数,神经网络。,6, 6, 861-867 (1993) ·doi:10.1016/S0893-6080(05)80131-5
[25] Mallat,S.,群不变散射,Commun。纯应用程序。数学。,65, 10, 1331-1398 (2012) ·Zbl 1282.47009号 ·doi:10.1002/cpa.21413
[26] Mallat,S.,《理解深卷积网络》,Philos。事务处理。R.Soc.A,3742065,20150203(2016)·doi:10.1098/rsta.2015.0203
[27] 马奈,S。;Cremers博士。;Hong,B-W;AJ Yezzi;Soatto,S.,形状匹配的积分不变量,IEEE Trans。模式分析。机器。智力。,28, 10, 1602-1618 (2006) ·doi:10.1109/TPAMI.2006.208
[28] Marcos,D.、Volpi,M.、Komodakis,N.、Tuia,D.:旋转等变矢量场网络。摘自:IEEE计算机视觉国际会议记录,第5048-5057页(2017)
[29] 哈斯卡,HN;Michelli,CA,《通过S形和径向基函数叠加进行逼近》,Adv.Appl。数学。,13, 3, 350-373 (1992) ·Zbl 0763.41015号 ·doi:10.1016/0196-8858(92)90016-P
[30] Munkres,JR,拓扑。拓扑系列专题标题(2000),《上鞍河:普伦蒂斯·霍尔》,上鞍河·Zbl 0951.54001号
[31] Pinkus,A.,(C({mathbb{R}}^d)的TDI-子空间和神经网络的一些密度问题,J.近似理论,85,3,269-287(1996)·Zbl 0858.41023号 ·doi:10.1006/jath.1996.0042
[32] Pinkus,A.,神经网络中mlp模型的近似理论,《数值学报》,8143-195(1999)·Zbl 0959.68109号 ·doi:10.1017/S0962492900002919
[33] Poggio,T.、Mhaskar,H.、Rosasco,L.、Miranda,B.、Liao,Q.:为什么以及何时深层而非浅层网络可以避免维度诅咒:综述。国际汽车杂志。计算。2017年1月17日
[34] Qi,C.R.,Su,H.,Mo,K.,Guibas,L.J.:点网:三维分类和分割的点集深度学习。摘自:IEEE计算机视觉和模式识别会议记录,第652-660页(2017年)
[35] Reisert,M.:模式分析中的组集成技术。阿尔伯特·路德维希大学博士论文(2008年)
[36] Schmid,B.J.:有限群和不变理论。在:不变量理论专题,第35-66页。斯普林格(1991)·Zbl 0770.20004号
[37] Schulz-Mirbach,H.:灰度图像的不变特征。摘自:Mustererkennung 1995,第1-14页。斯普林格(1995)
[38] Serre,J-P,有限群的线性表示(2012),柏林:施普林格出版社,柏林
[39] Sifre,L.,Mallat,S.:纹理分类的刚体运动散射(2014)。arXiv预打印arXiv:1403.1687
[40] Simon,B.,《有限群和紧群的表示》。第10号(1996),伦敦:美国数学学会,伦敦·Zbl 0840.22001号
[41] Skibbe,H.:用于生物医学图像分析的球面张量代数。阿尔伯特·卢德维格斯大学博士论文(2013年)·Zbl 1275.92061号
[42] Springenberg,J.T.、Dosovitskiy,A.、Brox,T.、Riedmiller,M.:《力求简单:全卷积网络》(2014)。arXiv预打印arXiv:1412.6806
[43] Thoma,M.:卷积神经网络结构的分析和优化。2017年6月,德国卡尔斯鲁厄卡尔斯鲁厄理工学院硕士论文。https://martin-thoma.com/ms论文/
[44] Vinberg,EB,《群体的线性表征》(2012年),巴塞尔:Birkhäuser,巴塞尔
[45] Waibel,A。;Hanazawa,T。;辛顿,G。;Shikano,K。;Lang,KJ,利用时滞神经网络进行音素识别,IEEE Trans。阿库斯特。语音信号处理。,37:3328-339(1989年)·doi:10.1109/29.21701
[46] Weyl,H.:经典群:它们的不变量和表示。普林斯顿数学系列(1)(1946)·Zbl 1024.20502号
[47] 沃福克,宾夕法尼亚州,《等变向量场的零点:不变方法的算法》,J.Symb。计算。,17, 6, 487-511 (1994) ·Zbl 0819.13013号 ·doi:10.1006/jsco.1994.1031
[48] Worrall,D.E.,Garbin,S.J.,Turmukhambetov,D.,Brostow,G.J.:谐波网络:深度平移和旋转等方差。摘自:IEEE计算机视觉和模式识别会议记录,第5028-5037页(2017)
[49] Zaheer,M.、Kottur,S.、Ravanbakhsh,S.,Poczos,B.、Salakhutdinov,R.R.、Smola,A.J.:深集。摘自:《神经信息处理系统进展》,第3391-3401页(2017年)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。