康伟（Kang，Wei）;龚琦 前馈神经网络和组合函数及其在动力系统中的应用。 （英语） Zbl 1514.41010号 SIAM J.控制优化。 60，编号2786-813（2022）. 摘要：在本文中，我们开发了一个代数框架来分析组合函数的神经网络近似，这是一类在应用中经常遇到的丰富函数。该框架的开发方式不仅支持作为输入-输出关系的函数的误差分析，还支持数值算法的误差分析。这一能力至关重要，因为它能够分析神经网络近似误差，以解决无法获得解析解的问题，例如微分方程和最优控制。识别了一组关键的组成特征及其与神经网络近似复杂性的关系。我们证明了在函数逼近、微分方程和最优控制中，神经网络的复杂度受关键特征和容错性的多项式函数的限制。结果揭示了为什么使用神经网络近似有助于避免维数灾难。 引用于三文件 MSC公司： 41A30型 其他特殊函数类的近似 41A63型 多维问题 49平方米25 最优控制中的离散逼近 65页99 动力系统中的数值问题 68T07型 人工神经网络与深度学习 关键词：神经网络;组成函数;最优控制;动力系统 PDF格式BibTeX公司 XML格式引用 \textit{W.Kang}和\textit{Q.Gong}，SIAM J.控制优化。60，编号2，786--813（2022；Zbl 1514.41010） 全文： 内政部 参考文献： [1] G.Albi、S.Bicego和D.Kalise，使用状态相关Riccati方程的最优反馈律的渐进增强监督学习，预印本，https://arxiv.org/abs/2103.04091v1, 2021. [2] P.M.Anderson和A.A.Fouad，电力系统控制和稳定，IEEE，新泽西州皮斯卡塔韦，1994年。 [3] J.Berner、P.Grohs、G.Kutyniok和P.Petersen，《深度学习的现代数学》，预印本，https://arxiv.org/abs/2105.04026v1, 2021. [4] A.R.Barron，σ函数叠加的通用近似界，IEEE Trans。通知。《理论》，39（1993），第930-945页·Zbl 0818.68126号 [5] A.R.Barron和J.M.Klusowski，《高维深度学习网络的近似和估计》，预印本，https://arxiv.org/abs/1809.03090, 2018. [6] C.Chiu和J.Zhan，紧凑DAG神经网络优化的进化方法，IEEE Access，7（2019），第178331-178341页。 [7] G.Cybenko，σ函数叠加逼近，数学。《控制信号系统》，2（1989），第303-314页·Zbl 0679.94019号 [8] J.Darbon、G.P.Langlois和T.Meng，通过神经网络结构克服某些Hamilton-Jacobi偏微分方程的维数诅咒，预印本，https://arxiv.org/abs/1910.09045v2, 2020. ·Zbl 1445.35119号 [9] W.E、C.Ma、S.Wojtowytsch和L.Wu，《基于神经网络的机器学习的数学理解：我们知道什么和不知道什么》，预印本，https://arxiv.org/abs/2009.10713v3, 2020. [10] W.E和S.Wojtowytsch，关于与多层ReLU网络相关的Banach空间：函数表示、逼近理论和梯度下降动力学，预印本，https://arxiv.org/abs/2007.15623v1, 2020. [11] W.E、J.Han和A.Jentzen，求解高维偏微分方程的算法：从非线性蒙特卡罗到机器学习，https://arxiv.org/abs/2008.13333v2, 2020. ·兹比尔1490.60202 [12] P.Giesl、B.Hamzi、M.Rasmussen和K.Webster，噪声数据中Lyapunov函数的近似，J.Compute。Dynamics，2020年7月，第57-81页·Zbl 1447.37074号 [13] K.Hornik，多层前馈网络的近似能力，神经网络，4（1991），第251-257页。 [14] L.Gruíne，克服在小增益条件下用深度神经网络逼近Lyapunov函数的维数诅咒，预印本，https://arxiv.org/abs/2001.08423v3, 2020. [15] E.Hairer、S.P.Nörsett和G.Wanner，《求解常微分方程I：非刚性问题》，第二版，Springer Ser。计算。数学。柏林施普林格-弗拉格出版社，1993年·Zbl 0789.65048号 [16] B.Hamzi和H.Owhadi，《从数据学习动态系统：简单的交叉验证视角》，预印本，https://arxiv.org/abs/2007.05074，2020年·Zbl 1509.68217号 [17] J.Han、A.Jentzen和W.E，使用深度学习求解高维偏微分方程，Proc。国家。阿卡德。科学。美国，115（2018），第8505-8510页·Zbl 1416.35137号 [18] J.Han和W.E.，随机控制问题的深度学习近似，预印本，https://arxiv.org/abs/1611.07422v1, 2016. [19] P.C.Kainen，V.（K\mathring{\rm u}）rkovaí和M.Sanguineti，《通过前馈神经网络逼近多变量函数》，载于《神经信息处理手册》，M.Bianchini，M.Maggini和L.Jain编辑，《智能系统参考库49》，柏林斯普林格，海德堡，2013年，第143-181页。 [20] W.Kang、Q.Gong、T.Nakamura-Zimmerer和F.Fahroo，深度学习和反馈设计的数据开发算法：调查，物理。D、 425（2021）、132955、，https://doi.org/10.1016/j.physd.2021.132955。 ·Zbl 1511.49019号 [21] W.Kang和Q.Gong，合成函数的神经网络逼近及其在动力系统中的应用，预印本，https://arxiv.org/abs/2012.01698v1, 2020. [22] A.N.Kolmogorov，关于用一元连续函数和加法的叠加表示多变量连续函数，Dokl。阿卡德。Nauk SSSR，114（1957），第953-956页·Zbl 0090.27103号 [23] V.K\rurkovaí，Kolmogorov定理和多层神经网络，神经网络。，5（1992年），第501-506页。 [24] E.Lorenz，《可预测性——一个部分解决的问题》，载于《预测性研讨会论文集》，第一卷，ECMWF，Reading，UK1996。 [25] H.N.Mhaskar，用于平滑和分析函数的最优逼近的神经网络，Neural Comput。，8（1996），第164-177页。 [26] H.N.Mhaskar和T.Poggio，《深度与浅层网络：近似理论视角》，预印本，https://arxiv.org/abs/1608.03287v1, 2016. ·Zbl 1355.68233号 [27] H.N.Mhaskar和T.Poggio，深度网络函数逼近，预印本，https://arxiv.org/abs/1905.12882v2, 2019. ·Zbl 1442.62215号 [28] T.Nakamura-Zimmerer、Q.Gong和W.Kang，高维Hamilton-Jacobi-Bellman方程的自适应深度学习，SIAM J.Sci。计算。，43（2021），第1221-1247页，https://doi.org/10.1137/19M1288802。 ·Zbl 1467.49028号 [29] T.Nakamura-Zimmerer、Q.Gong和W.Kang，QRnet：使用LQR增强神经网络的最优调节器设计，IEEE控制系统。莱特。，5（2020年），第1303-1308页。 [30] R.D.Neidinger，《自动微分和MATLAB面向对象编程导论》，SIAM Rev.52（2010），第545-563页，https://doi.org/10.1137/080743627。 ·Zbl 1196.65048号 [31] T.Poggio、H.Mhaskar、L.Rosasco、B.Miranda和Q.Liao，《为什么和什么时候可以深入而不是浅层网络避免维度诅咒：综述、预印本，https://arxiv.org/abs/1611.00740v5, 2017. [32] J.Qi、K.Sun和W.Kang，利用经验可观测性Gramian估计电力系统动态状态的最优PMU配置，IEEE Trans。电力系统。，30（2015），第2041-2054页。 [33] M.Raissi、P.Perdikaris和G.E.Karniadakis，《基于物理的神经网络：解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378（2019），第686-707页·Zbl 1415.68175号 [34] P.Tabuada和B.Gharisfard，通过非线性控制理论实现深度剩余神经网络的通用逼近能力，预印本，https://arxiv.org/abs/2007.06007v3, 2020. 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。