克莱门斯·赫特;吕尔,雷杰普;赫尔穆特·贝尔茨基 线性动力系统递归神经网络学习的度量熵极限。 (英语) 兹比尔1487.93022 申请。计算。哈蒙。分析。 59, 198-223 (2022). 摘要:神经网络理论中最有影响力的结果之一是普遍逼近定理[K.霍尼克等,神经网络。第2卷第5期,359–366页(1989年;Zbl 1383.92015年);K.-I.Funahashi公司,“关于用神经网络近似实现连续映射”,神经网络。第2卷第3期,183-192页(1989年;doi:10.1016/0893-6080(89)90003-8);G.Cybenko(基本科),数学。控制信号系统。2,第4期,303–314页(1989年;Zbl 0679.94019号)]这表明,通过单层前馈神经网络,连续函数可以在任意精度内逼近。本文的目的是在这种精神下,通过递归神经网络(RNN),建立一般离散时间线性动力系统(包括时变系统)的逼近结果。对于线性时不变(LTI)系统的子类,我们设计了此语句的定量版本。具体而言,根据[G.扎姆斯和J.G.欧文,IEEE传输。自动。控制38,No.4,664-667(1993;Zbl 0786.93068号)],我们表明RNN可以最佳地学习或识别稳定的LTI系统。对于输入-输出关系通过差分方程表征的LTI系统,这意味着RNN可以以度量熵最优的方式从输入-输出轨迹学习差分方程。 引用于1文件 MSC公司: 93C55美元 离散时间控制/观测系统 93立方厘米05 控制理论中的线性系统 68T07型 人工神经网络与深度学习 93B30型 系统标识 关键词:循环神经网络;线性动力系统;度量熵;Hardy空格;通用近似;系统标识 引文:Zbl 1383.92015年;Zbl 0679.94019号;Zbl 0786.93068号 软件:DeepONet(深度网络);AlphaZero(零字母) PDF格式BibTeX公司 XML格式引用 \textit{C.Hutter}等人,应用。计算。哈蒙。分析。59198-223(2022年;Zbl 1487.93022) 全文: 内政部 arXiv公司 参考文献: [1] 霍尼克,K。;Stinchcombe,M。;White,H.,多层前馈网络是通用逼近器,神经网络。,2, 359-366 (1989) ·Zbl 1383.92015年 [2] Funahashi,K.-I.,关于用神经网络近似实现连续映射,神经网络。,2, 183-192 (1989) [3] Cybenko,G.,S形函数的叠加逼近,数学。控制信号系统。,2, 303-314 (1989) ·Zbl 0679.94019号 [4] 扎姆斯,G。;Owen,J.G.,《离散时间中度量维度和反馈的注释》,IEEE Trans。自动。控制,38,664-667(1993)·Zbl 0786.93068号 [5] 格雷夫斯,A。;Liwicki,M。;费尔南德斯,S。;Bertoma,R。;Bunke,H。;Schmidhuber,J.,无约束手写识别的新型连接主义系统,IEEE Trans。模式分析。机器。整数。,31, 855-868 (2009) [6] 格雷夫斯,A。;费尔南德斯,S。;戈麦斯,F。;Schmidhuber,J.,《连接主义时间分类:用递归神经网络标记未分段序列数据》,(ICML'06:第23届国际机器学习会议论文集(2006)),369-376 [7] Sutskever,I。;葡萄酒,O。;Le,Q.V.,神经网络的序列到序列学习,(神经信息处理系统进展,第27卷(2014)) [8] Schrittwieser,J。;安东尼奥卢,I。;休伯特,T。;Simonyan,K。;Sifre,L。;施密特,S。;A.盖兹。;洛克哈特,E。;哈萨比斯,D。;Graepel,T。;Lillicrap,T。;Silver,D.,通过学习模型规划掌握雅达利、围棋、国际象棋和shogi,《自然》,588,604-609(2020) [9] Gröchenig,K.,《时频分析基础》(2001),Birkhäuser:Birkháuser Boston·Zbl 0966.42020号 [10] Fefferman,C.L.,《测不准原理》,公牛。,新序列号。,美国数学。Soc.,9,129-206(1983)·Zbl 0526.35080号 [11] 马茨·G。;Bölcskei,H。;Hlawatsch,F.,《通信的时间频率基础:概念和工具》,IEEE信号处理。Mag.,3087-96(2013) [12] Zames,G.,《因果线性系统的度量复杂性:连续时间的熵和维数》,IEEE Trans。自动。控制,24222-230(1979)·Zbl 0404.93005号 [13] 科尔莫戈罗夫,A。;Tikhomirov,V.,函数空间中集合的熵和容量·Zbl 0090.33503号 [14] Donoho,D.,《图像的稀疏成分和最佳原子分解》,Constr。约,17353-82(2001)·Zbl 0995.65150号 [15] Donoho,D.,《无条件基和比特级压缩》,应用。计算。哈蒙。分析。,3, 388-392 (1996) ·Zbl 0936.62004号 [16] 多诺霍,D。;Vetterli,M。;DeVore,R。;Daubechies,I.,《数据压缩与谐波分析》,IEEE Trans。《信息论》,44,2435-2476(1998)·Zbl 1125.94311号 [17] Bölcskei,H。;Grohs,P。;Kutyniok,G。;Petersen,P.,稀疏连接深度神经网络的最佳逼近,SIAM J.Math。数据科学。,1, 8-45 (2019) ·兹比尔1499.41029 [18] Elbrächter,D。;Perekrestenko,D。;Grohs,P。;Bölcskei,H.,深度神经网络近似理论,IEEE Trans。信息理论,672581-2623(2021)·Zbl 1473.68178号 [19] Hardt,M。;马,T。;Recht,B.,梯度下降学习线性动力系统,J.Mach。学习。决议,19,1-44(2018)·Zbl 1461.62150号 [20] 李,Z。;Han,J。;E、 W。;Li,Q.,《关于递归神经网络中记忆的诅咒:近似和优化分析》(国际学习表征会议(2021年)) [21] Schäfer,A.M。;Zimmermann,H.G.,递归神经网络是通用逼近器,国际神经系统杂志。,17, 253-263 (2007) [22] Sontag,E.D.,作为系统模型和控制器的神经网络(1992) [23] Funahashi,K.-I。;Nakamura,Y.,用连续时间递归神经网络逼近动力学系统,神经网络。,6, 801-806 (1993) [24] Matthews,M.B.,使用神经网络模型逼近非线性衰减记忆算子,电路,系统。信号处理。,12799-307(1993年)·Zbl 0774.93036号 [25] Heij,C。;A.C.M.Ran。;van Schagen,F.,《数学系统理论导论》(2021),施普林格国际出版公司·Zbl 1461.93001号 [26] Chen,T。;Chen,H.,具有任意激活函数的神经网络对非线性算子的通用逼近及其在动力系统中的应用,IEEE Trans。神经网络。,6, 911-917 (1995) [27] 卢,L。;Jin,P。;庞,G。;张,Z。;Karniadakis,G.E.,基于算子的普遍逼近定理,通过DeepONet学习非线性算子,Nature Mach。整数。,3, 218-229 (2021) [28] Lanthaler,S。;米什拉,S。;Karniadakis,G.E.,《DeepOnets的错误估计:无限维度的深度学习框架》(2021) [29] Siegelmann,H.T。;桑塔格,E.D.,《论神经网络的计算能力》,J.Comput。系统。科学。,50, 132-150 (1995) ·Zbl 0826.68104号 [30] Elman,J.L.,《发现时间中的结构》,Cogn。科学。,14, 179-211 (1990) [31] 古德费罗,I。;Y.本吉奥。;A.Courville,《深度学习》(2016),麻省理工学院出版社·Zbl 1373.68009号 [32] Wainwright,M.J.,《高维统计》(2019),剑桥大学出版社·Zbl 1457.62011年 [33] Rudin,W.,《真实与复杂分析》(1987),McGraw-Hill·Zbl 0925.00005 [34] Grohs,P。;Hornung,F。;詹岑,A。;von Wurstemberger,P.,《人工神经网络在Black-Scholes偏微分方程数值逼近中克服维数灾难的证明》,Mem。美国数学。Soc.(2018),出版中 [35] 伯纳,J。;Grohs,P。;Jentzen,A.,《泛化误差分析:深度人工神经网络的经验风险最小化克服了Black-Scholes偏微分方程数值逼近中的维数灾难》,SIAM J.Math。数据科学。,2, 631-657 (2020) ·Zbl 1480.60191号 [36] Raslan,M.,《用神经网络求解参数偏微分方程:不利结构与表达能力》(2021),柏林大学,博士论文 [37] Wan,Z.Y。;弗拉查斯,P。;库穆塔科斯,P。;Sapsis,T.,复杂动力系统中极端事件的数据辅助降阶建模,PLoS ONE,13,文章e01970704 pp.(2018) [38] Kailath,T.,《线性系统》(1980),普伦蒂斯·霍尔:新泽西州普伦蒂斯霍尔恩格尔伍德悬崖·Zbl 0458.93025号 [39] 奥本海姆公司。;Schafer,R.W。;Buck,J.R.,《离散时间信号处理》(1999),Prentice-Hall公司:美国Prentice-Hall公司 [40] Sontag,E.D.,《递归神经网络:一些系统理论方面》,(Kárn'o,M.;Warwick,K.;Kůrková,V.,《处理复杂性》(1998),施普林格:施普林格伦敦)·Zbl 0991.68500号 [41] Fefferman,C.L.,从输出重建神经网络,Rev.Mat.Iberoam。,10, 507-555 (1994) ·Zbl 0877.68098号 [42] 弗拉契奇,V。;Bölcskei,H.,一类S形非线性的神经网络可识别性,Constr。约(2021年)·Zbl 1482.68217号 [43] 弗拉契奇,V。;Bölcskei,H.,仿射对称性和神经网络可识别性,高级数学。,376(2021)·Zbl 1468.92016年 [44] 阿尔贝蒂尼,F。;Sontag,E.D.,对于神经网络,函数决定形式,神经网络。,6, 975-990 (1993) [45] 阿尔贝蒂尼,F。;Sontag,E.D。;梅洛特,V.,神经网络权重的唯一性,(人工神经网络在语音和视觉中的应用(1993),查普曼和霍尔),115-125 [46] 阿尔贝蒂尼,F。;Sontag,E.,递归神经网络中的状态可观测性,(第32届IEEE决策与控制会议论文集,第4卷(1993)),3706-3707 [47] 麦卡锡,J.E.,皮克的理论——有什么大不了的?,美国数学。周一。,110, 36-45 (2003) ·Zbl 1025.30030号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。