伊丽莎·内格里尼;乔瓦娜·西蒂;卢卡·卡波尼亚 通过Lipschitz正则化深度神经网络进行系统识别。 （英语） Zbl 07515450号 J.计算。物理学。 444，文章ID 110549，第23页（2021）. 摘要：在本文中，我们使用神经网络从数据中学习控制方程。具体来说，我们使用神经网络直接从观测到的均匀时间采样数据重建ODEs系统的右侧（dot{x}（t）=f（t，x（t））。与其他基于神经网络的方法相比，我们在损失函数中添加了Lipschitz正则化项。在合成示例中，我们根据经验观察到，与非正则化模型相比，无论是在轨迹数据还是非轨迹数据上，尤其是在存在噪声的情况下，这种正则化都会产生更平滑的近似函数和更好的泛化性能。与稀疏回归方法相比，由于神经网络是通用逼近器，我们不需要任何关于ODE系统的先验知识。由于该模型是以组件方式应用的，因此它可以处理任何维度的系统，使其可用于实际数据。 引用于4文件 MSC公司： 68泰克 人工智能 35季度xx 数学物理偏微分方程及其他应用领域 93立方厘米 控制理论中的模型系统 关键词：机器学习;深度学习;系统标识;常微分方程;泛化差距;正则化网络 软件：SciPy公司;蟒蛇;PyTorch公司 PDF格式BibTeX公司 XML格式引用 \textit{E.Negrini}等人，《计算杂志》。物理学。444，文章ID 110549，23 p.（2021；Zbl 07515450） 全文： 内政部 arXiv公司 参考文献： [1] 亚瑟·S·阿布·穆斯塔法。；Magdon-Ismail，Malik；Lin，Hsuan-Tien，《从数据中学习》，第4卷（2012），AMLBook New York:AMLBook New York，USA [2] Bartlett，Peter L.，为了有效地推广，权重的大小比网络的大小更重要，（神经信息处理系统进展（1997）），134-140 [3] 彼得·L·巴特利特。；迪伦·福斯特（Dylan J.Foster）。；Telgarsky，Matus，《神经网络的光谱规范化边际界限》（Guyon，Isabelle；von Luxburg，Ulrike；Bengio，Samy；Wallach，Hanna M.；Fergus，Rob；Vishwanathan，S.V.N.；Garnett，Roman，《2017年神经信息处理系统年会》）。2017年神经信息处理系统年会，2017年12月4日至9日，美国加利福尼亚州长滩。2017年神经信息处理系统年度会议，2017年12月4日至9日，美国加利福尼亚州长滩，神经信息处理体系进展，第30卷（2017），6240-6249 [4] Jens Berg；Nyström，Kaj，PDE的神经网络增强逆问题（2017），预印本·Zbl 1451.68239号 [5] Jens Berg；Nyström，Kaj，复杂数据集中PDE的数据驱动发现，J.Compute。物理。，384, 239-252 (2019) ·Zbl 1451.68239号 [6] Billings，Stephen A.，《非线性系统识别：时间、频率和时空域中的NARMAX方法》（2013），John Wiley&Sons·Zbl 1287.93101号 [7] Steven L.Brunton。；约书亚·L·普罗克托。；Kutz，J.Nathan，通过非线性动力系统的稀疏识别从数据中发现控制方程，Proc。国家。阿卡德。科学。，113, 15, 3932-3937 (2016) ·兹比尔1355.94013 [8] 布迪什奇，马尔科；Ryan Mohr；Mezić，Igor，应用库普曼主义，混沌交叉。非线性科学杂志。，第22、4条，第047510页（2012年）·Zbl 1319.37013号 [9] Calliess、Jan-Peter、Bayesian Lipschitz常数估计和求积、神经信息处理系统进展（2015） [10] 冠军凯萨琳；贝萨尼·卢什；库茨（J.Nathan Kutz）；Brunton，Steven L.，数据驱动的坐标和控制方程发现，Proc。国家。阿卡德。科学。，116, 45, 22445-22451 (2019) ·Zbl 1433.68396号 [11] Choon，Ong Hong；Hoong，Leong Chee；Huey，Tai Sheue，神经网络和多项式回归之间的函数近似比较，WSEAS Trans。数学。，7, 6, 353-363 (2008) [12] George Cybenko，《通过sigmoid函数的叠加进行逼近》，数学。控制信号系统。，2, 4, 303-314 (1989) ·Zbl 0679.94019号 [13] Dinh，Huyen；巴辛、舒本德；Dixon，Warren E.，一类非线性系统基于动态神经网络的鲁棒辨识与控制，（第49届IEEE决策与控制会议（CDC）（2010），IEEE），5536-5541 [14] 萨尔瓦多加西亚；鲁昂戈，朱利安；Herrera，Francisco，数据挖掘中的数据预处理（2015），Springer [15] 亨利·古克（Henry Gouk）；Frank，Eibe；伯恩哈德·普法林格；Michael Cree，《通过加强Lipschitz连续性实现神经网络正则化》（2018年），预印本·Zbl 07432806号 [16] 阿里·哈桑；Joáo M.Pereira。；Robert Ravier；Farsiu、新浪；Tarokh，Vahid，使用神经网络从数据中学习偏微分方程，（ICASSP 2020-2020 IEEE声学、语音和信号处理国际会议（ICASSS）（2020），IEEE），3962-3966 [17] 哈塞利、马西赫；Cortés，Jorge，使用噪声数据逼近Koopman算子：抗噪声扩展动态模式分解，（2019年美国控制会议（ACC）（2019），IEEE），5499-5504 [18] Kotsiantis，S.B。；Kanellopoulos，迪米特里斯；Pintelas，P.E.，《监督学习的数据预处理》，国际计算机杂志。科学。，1, 2, 111-117 (2006) [19] 约翰·库舍夫斯基（John G.Kuschewski）。；Hui，Stefen；Zak，Stanislaw H.，前馈神经网络在动态系统辨识和控制中的应用，IEEE Trans。控制系统。技术。，1, 1, 37-49 (1993) [20] 莱什诺，莫舍；弗拉基米尔·亚林；阿兰·平库斯（Allan Pinkus）；Schocken，Shimon，具有非多项式激活函数的多层前馈网络可以近似任何函数，神经网络。，6, 6, 861-867 (1993) [21] Lennart，Ljung，《系统识别视角》，年。版本控制，34，1，1-12（2010）·Zbl 1214.93113号 [22] 贝萨尼·卢什；库茨（J.Nathan Kutz）；Brunton，Steven L.，《非线性动力学普遍线性嵌入的深度学习》，美国国家通讯社。，9, 1, 1-10 (2018) [23] 莫赫里（Mohri，Mehryar）；阿夫申·罗斯塔米扎德；Talwalkar，Ameet，《机器学习基础》（2018），麻省理工学院出版社·Zbl 1407.68007号 [24] Kumpati S.纳伦德拉。；Parthasarathy，Kannan，神经网络和动力系统，国际近似推理杂志。，6, 2, 109-131 (1992) ·Zbl 0767.93035号 [25] 库茨（J.Nathan Kutz）；约书亚·L·普罗克托。；Brunton，Steven L.，应用Koopman偏微分方程理论和时空系统数据驱动建模，复杂性，2018（2018）·Zbl 1409.37029号 [26] Nelles，Oliver，《非线性系统识别：从经典方法到神经网络和模糊模型》（2013），Springer Science&Business Media·Zbl 1453.93001号 [27] 亚当·M·奥伯曼。；Calder，Jeff，Lipschitz正则化深度神经网络收敛和泛化（2018），预印本·兹比尔1407.68385 [28] 奥拉莱坎·奥贡穆鲁；顾学军；江，Steve；Gans，Nicholas，使用深度动态神经网络识别非线性系统（2016），预印本 [29] 亚当·帕斯克（Adam Paszke）；格罗斯，萨姆；马萨，弗朗西斯科；亚当·莱勒（Adam Lerer）；詹姆斯·布拉德伯里（James Bradbury）；格雷戈里·查南（Gregory Chanan）；特雷弗·基林；林泽明；纳塔利亚·吉梅尔谢恩（Natalia Gimelshein）；卢卡·安提卡；阿尔班·德斯梅森；安德烈亚斯·科普夫；爱德华·杨；扎卡里·德维托；马丁·赖森（Martin Raison）；阿利坎·特贾尼；萨桑克·奇拉姆库蒂；斯坦纳（Benoit Steiner）；方、鲁；白俊杰；Pythort，Soumith Chintala，《一个命令式、高性能的深度学习库》，（Wallach，H.；Larochelle，H.，Beygelzimer，A.；d'Alché-Buc，F.；Fox，E.；Garnett，R.，《神经信息处理系统的进展》，第32卷（2019年），Curran Associates，Inc.），8024-8035 [30] Patricia Pauli；安妮·科赫（Anne Koch）；朱利安·小檗（Julian Berberich）；Allgöwer，Frank，使用Lipschitz界限训练鲁棒神经网络（2020），预印本 [31] 秦童；吴开良；Xiu，Dongbin，使用深度神经网络的数据驱动控制方程近似，J.Compute。物理。，395, 620-635 (2019) ·Zbl 1455.65125号 [32] Raissi，Maziar，《深层隐藏物理模型：非线性偏微分方程的深层学习》，J.Mach。学习。Res.，19,1932-955（2018年）·Zbl 1439.68021号 [33] Raissi，马齐尔；Karniadakis，George Em，《隐藏物理模型：非线性偏微分方程的机器学习》，J.Compute。物理。，357, 125-141 (2018) ·兹比尔1381.68248 [34] 马齐亚·莱斯；巴黎佩迪卡里斯；Karniadakis，George Em，使用高斯过程的线性微分方程机器学习，J.Compute。物理。，348, 683-693 (2017) ·Zbl 1380.68339号 [35] 马齐亚·莱斯；巴黎佩迪卡里斯；Karniadakis，George Em，含时和非线性偏微分方程的数值高斯过程，SIAM J.Sci。计算。，40、1、A172-A198（2018）·Zbl 1386.65030号 [36] 塞缪尔·鲁迪。；Steven L.Brunton。；约书亚·L·普罗克托。；Kutz，J.Nathan，偏微分方程的数据驱动发现，科学。高级，3，4，文章e1602614 pp.（2017） [37] 萨胡，Subham S。；克里斯托夫·兰伯特。；Martius，Georg，外推和控制的学习方程（2018），预印本 [38] Schaeffer，Hayden，《通过数据发现和稀疏优化学习偏微分方程》，Proc。R.Soc.A，数学。物理学。工程科学。，473、2197，第20160446条pp.（2017）·Zbl 1404.35397号 [39] 海登·谢弗；拉塞尔·卡夫利什；科里·D·哈克。；Osher，Stanley，偏微分方程的稀疏动力学，Proc。国家。阿卡德。科学。，110, 17, 6634-6639 (2013) ·Zbl 1292.35012号 [40] 辛哈，苏布拉吉特；黄，鲍文；Vaidya，Umesh，《关于随机动力系统中Koopman算子的稳健计算和预测》，《非线性科学杂志》。，1-34 (2019) ·兹比尔1467.37087 [41] 泡利·维塔宁（Pauli Virtanen）；拉尔夫·戈默斯（Ralf Gommers）；特拉维斯·E·奥列芬特。；马特·哈伯兰（Matt Haberland）；雷迪，泰勒；大卫·库纳波（David Cournapeau）；叶夫根尼·布罗夫斯基（Evgeni Burovski）；Pearu Peterson；沃伦·韦克瑟（Warren Weckesser）；乔纳森，布莱特；范德沃尔特，斯特凡·J·。；马修·布雷特；约书亚·威尔逊（Joshua Wilson）；米尔曼，K.贾罗德；尼古拉·马约洛夫；Andrew R.J.Nelson。；埃里克·琼斯；罗伯特·科恩；埃里克·拉尔森（Eric Larson）；Carey，C.J。；伊尔汗，波拉特；冯瑜；埃里克·摩尔（Eric W.Moore）。；Jake VanderPlas；丹尼斯·拉萨尔德；约瑟夫·佩克托尔德（Josef Perktold）；Robert Cimrman；伊恩·亨利克森；昆特罗，E.A。；查尔斯·R·哈里斯。；安妮·阿奇博尔德（Anne M.Archibald）。；安托尼奥·里贝罗。；费比安·佩德雷戈萨；Paul，van Mulbregt；SciPy 1.0贡献者，SciPy 1.0:Python中科学计算的基本算法，Nat.Methods，17，261-272（2020） [42] Wang，Jeen-Shing；Chen，Yen-Ping，用于未知动态系统识别和控制的全自动递归神经网络，IEEE Trans。电路系统。一、 雷古尔。爸爸。，53, 6, 1363-1372 (2006) ·Zbl 1374.93373号 [43] 徐欢；Mannor，Shie，稳健性和泛化，马赫数。学习。，86, 3, 391-423 (2012) ·Zbl 1242.68259号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。