丹尼尔·约翰逊;罗纳德·费德昆 解决机器学习、逆问题和控制中后续可微性的不连续根查找问题。 （英语） Zbl 07811312号 J.计算。物理学。 497，文章ID 112624，58 p.（2024）. 摘要：有许多物理过程在其数学公式中具有固有的不连续性。本文是基于两个刚体或可变形体之间碰撞的具体情况以及这种不连续性的内在本质。碰撞的脉冲响应是不连续的，没有碰撞时没有任何响应，这给需要可微性的数值方法带来了困难，这在机器学习、逆问题和控制中是典型的。我们从理论上和数值上证明，当一个人接近隔离碰撞和非碰撞的屏障时，碰撞时间对参数的导数将变为无穷大，并使用提升使解空间复杂化，从而可以直接获得屏障另一侧的解作为精确值。随后，我们缓和了无界导数所构成的障碍，以便人们能够以平稳可靠的方式来回挖掘，方便使用标准数值方法。此外，我们还说明了标准方法在许多方面都失败了，主要是因为缺乏对问题的数学本质的理解（例如，典型的反向传播使用了许多微分规则，但忽略了洛必达规则）。 MSC公司： 68泰克 人工智能 6500万 偏微分方程、初值和含时初边值问题的数值方法 65新元 偏微分方程边值问题的数值方法 关键词：不连续根焊;物理学中的可微性;数学不连续性;机器学习 软件：IIMPACK公司;火炬;差异Sharp;阿达德尔塔;Diff太极;西雅娜;HE-E1GODF公司;卡费;阿达格拉德;L-BFGS公司;PyTorch公司;转换PDE-UQ;亚当;DGM公司;TensorFlow公司;RMS公司;日本宇宙航空公司 PDF格式BibTeX公司 XML格式引用 \textit{D.Johnson}和\textit{R.Fedkiw}，J.Compute。物理学。497，文章ID 112624，58页（2024；Zbl 07811312） 全文： 内政部 arXiv公司 参考文献： [1] Lee，H。；Kang，I.S.，解微分方程的神经算法。J.计算。物理。，110-131 (1990) ·Zbl 0717.65062号 [2] 西里尼亚诺，J。；Spiliopoulos，K.，Dgm：求解偏微分方程的深度学习算法。J.计算。物理。，1339-1364 (2018) ·Zbl 1416.65394号 [3] 莱斯，M。；Karniadakis，G.E.，《隐藏物理模型：非线性偏微分方程的机器学习》。J.计算。物理。，125-141 (2018) ·Zbl 1381.68248号 [4] Tripathy，R.K。；Bilinis，I.，Deep uq：学习深度神经网络替代模型，用于高维不确定性量化。J.计算。物理。，565-588 (2018) ·兹伯利1419.68084 [5] 韦诺维奇，N。；拉马尼，K。；Lin，G.，Conpde-uq：不同区域上异质椭圆偏微分方程的量化不确定性卷积神经网络。J.计算。物理。，263-279 (2019) ·Zbl 1457.65245号 [6] 莱斯，M。；佩尔迪卡里斯，P。；Karniadakis，G.E.，《基于物理的神经网络：用于解决涉及非线性偏微分方程的正向和反向问题的深度学习框架》。J.计算。物理。，686-707 (2019) ·Zbl 1415.68175号 [7] 伯格，J。；Nyström，K.，复杂数据集中pde的数据驱动发现。J.计算。物理。，239-252 (2019) ·Zbl 1451.68239号 [8] Dal Santo，N。；德帕里斯，S。；Pegolotti，L.，通过约化基和神经网络对参数化pde进行数据驱动近似。J.计算。物理学。(2020) ·Zbl 1437.65224号 [9] Magiera，J。；雷·D。；赫塞文，J.S。；Rohde，C.，Riemann问题的约束感知神经网络。J.计算。物理学。(2020) ·Zbl 1435.76046号 [10] 黄，D.Z。；Xu，K。；Farhat，C。；Darve，E.，使用深层神经网络从间接观测中学习本构关系。J.计算。物理学。(2020) ·Zbl 1437.65192号 [11] 雅格塔普，A.D。；川口，K。；Karniadakis，G.E.，自适应激活函数加速了深度和物理信息神经网络的收敛。J.计算。物理学。(2020) ·Zbl 1453.68165号 [12] 耿，Z。；约翰逊，D。；Fedkiw，R.，强迫机器学习输出物理上精确的结果。J.计算。物理学。(2020) ·Zbl 1453.68164号 [13] 阿隆德，O。；艾卡里诺，G。；Nordstrom，J.，学习区分。J.计算。物理学。(2021) ·Zbl 07508475号 [14] JCP物理系统机器学习专刊，J.Compute。物理学。《嘉宾》，乔治·卡尼亚达基斯（George E.Karniadakis）和简·赫塞文（Jan Hesthaven）编辑，2020年。 [15] 弗莱彻，R。；Powell，M.J.，极小化的快速收敛下降法。计算。J.，163-168（1963）·Zbl 0132.11603号 [16] Broyden，C.G.，一类求解非线性联立方程的方法。数学。计算。，577-593 (1965) ·Zbl 0131.13905号 [17] Broyden，C.G.，《拟Newton方法及其在函数最小化中的应用》。数学。计算。，368-381 (1967) ·Zbl 0155.46704号 [18] Broyden，C.，一种新的双秩最小化算法。初步报告，670 [19] Fletcher，R.，可变度量算法的新方法。计算。J.，317-322（1970）·Zbl 0207.17402号 [20] Goldfarb，D.，由变分平均值导出的一系列变分测量方法。数学。计算。，23-26 (1970) ·Zbl 0196.18002号 [21] Shanno，D.F.，函数最小化的拟Newton方法的条件。数学。计算。，647-656 (1970) ·Zbl 0225.65073号 [22] Nocedal，J.，用有限存储更新拟Newton矩阵。数学。计算。，773-782 (1980) ·Zbl 0464.65037号 [23] 刘博士。；Nocedal，J.，关于大规模优化的有限内存bfgs方法。数学。程序。，503-528 (1989) ·Zbl 0696.90048号 [24] Davidon，W.C.，最小化的可变度量方法。SIAM J.优化。，1-17 (1991) ·Zbl 0752.90062号 [25] Le，Q.V。；Ngiam，J。；科茨，A。；拉希里，A。；普罗奇诺，B。；Ng，A.Y.，关于深度学习的优化方法，265-272 [26] 罗宾斯，H。；Monro，S.，《随机近似方法》。安。数学。统计，400-407（1951）·Zbl 0054.05901号 [27] 杜奇，J。；哈赞，E。；Singer，Y.，在线学习和随机优化的自适应次梯度方法。J.马赫。学习。研究（2011）·Zbl 1280.68164号 [28] 蒂勒曼，T。；Hinton，G.，第6.5讲：rmsprop：将梯度除以最近震级的运行平均值26-31 [29] Zeiler，M.D.，Adadelta:一种自适应学习率方法（2012），arXiv预印本 [30] Qian，N.，关于梯度下降学习算法中的动量项。神经网络。，145-151 (1999) [31] Nesterov，Y.E.，一种求解具有收敛速度的凸规划问题的方法\（o（1/k^2）\），543-547 [32] Kingma，D.P。；Ba Adam，J.，《随机优化方法》（2014），arXiv预印本 [33] Paszke，A。；毛重，S。；马萨，F。；Lerer，A。；布拉德伯里，J。；Chanan，G。；基林，T。；林，Z。；Gimelshein，N。；Antiga，L.，Pytorch：命令式、高性能深度学习库，8026-8037 [34] M.阿巴迪。；阿加瓦尔，A。；巴勒姆，P。；Brevdo，E。；陈，Z。；Citro，C。；Corrado，G.S。；A.戴维斯。；迪安·J。；Devin，M.，Tensorflow:异构分布式系统上的大规模机器学习（2016），arXiv预印本 [35] 科洛伯特，R。；Kavukcuoglu，K。；Farabet，C.，Torch7:机器学习的类Matlab环境 [36] 贾毅。；谢尔哈默，E。；Donahue，J。；卡拉耶夫，S。；Long，J。；Girshick，R。；瓜达拉马，S。；Darrell，T.，Caffe:快速特征嵌入的卷积架构，675-678 [37] Al-Rfou，R。；阿兰，G。；Almahairi，A。；安格尔穆勒，C。；巴达瑙，D。；巴拉斯，N。；巴斯蒂恩，F。；拜耳，J。；Belikov，A。；Belopolsky，A.，Theano:快速计算数学表达式的python框架（2016） [38] 布拉德伯里，J。；弗罗斯蒂格，R。；霍金斯，P。；约翰逊，M.J。；Leary，C。；麦克劳林（D.Maclaurin）。；花蜜，G。；Paszke，A。；范德普拉斯，J。；Wanderman-Millne，S。；Zhang，Q.，JAX:2018年Python+NumPy程序的可组合转换 [39] Baydin，A.G。；Pearlmutter，B.A。；Radul，A.A。；Siskind，J.M.，《机器学习中的自动分化：一项调查》。J.马赫。学习。研究，5595-5637（2017） [40] Schmidhuber，J.，《神经网络的深度学习：概述》。神经网络。，85-117 (2015) [41] Heath，M.T.，《科学计算：介绍性调查》（2018年），SIAM·Zbl 1411.65003号 [42] I·哈拉里。；Albocher，U.，实对称3×3矩阵特征值的计算，特别参考两个几乎相等的特征值的有害情况。国际期刊数字。方法工程，1089-1110（2023） [43] 迪法格纳诺，G.C.，Produzioni matematiche del conte Giulio Carlo di Fagnano，marchese de'Toschi，e di Sant'Onorio，nobile romano，e patrizio senogagliese。。。，第1卷（1750），Nella stamperia Gavelliana [44] 布里德森，R。；Fedkiw，R。；Anderson，J.，布料动画中碰撞、接触和摩擦的稳健处理，594-603 [45] Bailey，D.H.，《高精度计算和数学物理》（2009） [46] Shewchuk，J.R.，自适应精度浮点算法和快速鲁棒几何谓词。离散计算。地理。，305-363 (1997) ·兹比尔0892.68098 [47] 约翰逊，D。；麦克斯菲尔德，T。；Jin，Y。；Fedkiw，R.，基于软件的自动区分存在缺陷（2023年） [48] LeVeque，R.J。；Leveque，R.J.，《守恒定律的数值方法》，第3卷（1992年），施普林格出版社·Zbl 0847.65053号 [49] Toro，E.F.，Riemann Solvers and Numerical Methods for Fluid Dynamics:a Practical Introduction（2013），施普林格科学与商业媒体 [50] 舒，C.-W。；Osher，S.，本质上非振荡冲击捕获方案的有效实现，ii，328-374 [51] Osher，S。；Fedkiw，R。；Piechor，K.，水平集方法和动态隐式曲面。申请。机械。修订版，B15（2004） [52] Fedkiw，R.P。；Aslam，T。；梅里曼，B。；Osher，S.，多材料流动界面的非振荡欧拉方法（鬼流体方法）。J.计算。物理。，457-492 (1999) ·Zbl 0957.76052号 [53] 刘晓东。；Fedkiw，R.P。；Kang，M.，不规则区域上泊松方程的边界条件捕捉方法。J.计算。物理。，151-178 (2000) ·Zbl 0958.65105号 [54] Kang，M。；Fedkiw，R.P。；Liu，X.-D.，多相不可压缩流动的边界条件捕捉方法。科学杂志。计算。，323-360 (2000) ·Zbl 1049.76046号 [55] Li，Z。；Ito，K.，《浸没界面法：涉及界面和不规则域的偏微分方程的数值解》（2006），SIAM·Zbl 1122.65096号 [56] 莫尔斯，N。；Dolbow，J。；Belytschko，T.，无需重新网格的裂纹扩展有限元方法。国际期刊数字。方法工程，131-150（1999）·Zbl 0955.74066号 [57] 詹姆逊，A.，使用多重网格的时间相关计算，应用于机翼和机翼的非定常流动，1596 [58] 贝洛夫，A。；Martinelli，L。；Jameson，A.，非定常不可压缩流计算的一种新的多重网格隐式算法，49 [59] 蒋国胜。；Shu，C.-W.，加权eno方案的有效实现。J.计算。物理。，202-228 (1996) ·Zbl 0877.65065号 [60] Belytschko，T。；Mish，K.，非线性固体力学中的可计算性。国际期刊数字。方法工程，3-21（2001） [61] 卡迪奥格鲁，S.Y。；萨斯曼，M。；Osher，S。；Wright，J.P。；Kang，M.，求解全速多相流的二阶原始预条件。J.计算。物理。，477-503 (2005) ·Zbl 1138.76414号 [62] Teran，J。；Sifakis，E。；欧文，G。；Fedkiw，R.，稳健准静态有限元和肉体模拟，181-190 [63] Kwatra，N。；苏，J。；Grétarsson，J.T。；Fedkiw，R.，一种避免可压缩流中声学时间步长限制的方法。J.计算。物理。，4146-4161 (2009) ·Zbl 1273.76356号 [64] Hughes，T.J.，《有限元方法：线性静态和动态有限元分析》（2012），Courier Corporation [65] De Borst，R。；医学硕士克里斯菲尔德。；雷默斯，J.J。；Verhoosel，C.V.，《固体和结构的非线性有限元分析》（2012），John Wiley&Sons·Zbl 1300.74002号 [66] 刘晓东。；Osher，S。；Chan，T.，加权基本非振荡格式。J.计算。物理。，200-212 (1994) ·Zbl 0811.65076号 [67] Belytschko，T。；刘伟凯。；莫兰，B。；Elkhodary，K.，《连续统和结构的非线性有限元》（2013），John Wiley&Sons·Zbl 1279.74002号 [68] Shu，C.-W.，本质上非振荡和加权本质上非振动格式。Acta Numer.公司。，1-63 (2020) [69] 胡，Y。；安德森，L。；李，T.-M。；孙，Q。；卡尔，N。；Ragan-Kelley，J。；Durand，F.，Difftaichi:物理模拟的微分编程（2019），arXiv预印本 [70] 庄，J。；德沃内克，N。；李，X。；Tatikonda，S。；Papademetris，X。；Duncan，J.，神经码中梯度估计的自适应检查点伴随方法（2020），arXiv预印本 [71] Suh，H.J。；Simchowitz，M。；张凯。；Tedrake，R.，可微分模拟器能提供更好的政策梯度吗？，20668-20696 [72] 梅茨，L。；弗里曼，C.D。；Schoenholz，S.S。；Kachman，T.，梯度并不是你所需要的全部（2021），arXiv预印本 [73] 北斯利瓦斯塔瓦。；辛顿，G。；Krizhevsky，A。；Sutskever，I。；Salakhutdinov，R.，《辍学：防止神经网络过度拟合的简单方法》。J.马赫。学习。1929-1958年（2014年）·Zbl 1318.68153号 [74] Stewart，D.E.，《不平等动力学：影响和硬约束》（2011），SIAM·Zbl 1241.37003号 [75] Stewart，D.E。；Trinkle，J.C.，具有非弹性碰撞和库仑摩擦的刚体动力学的隐式时间步长方案。国际期刊数字。方法工程，2673-2691（1996）·Zbl 0882.70003号 [76] Ferguson，Z。；李，M。；施耐德，T。；Gil-Ureta，F。；Langlois，T。；江，C。；Zorin，D。；考夫曼，D.M。；Panozzo，D.，《无交叉刚体动力学》。ACM事务处理。图表。，183 (2021) [77] 阿格拉瓦尔。；阿莫斯，B。；Barratt，S。；博伊德，S。；钻石，S。；Kolter，J.Z.，可微凸优化层，9562-9574 [78] Kolter，Z。；Duvenaud，D。；Johnson，M.，《深层隐含层——神经奥德、深层均衡病毒模型及其以外》，《NeurIPS教程》（2020年） [79] 梁，J。；林，M。；Koltun，V.，反问题的可微布料模拟，772-781 [80] 乔，Y.-L。；梁，J。；科尔顿，V。；Lin，M.C.，《用于学习和控制的可缩放微分物理》（2020），arXiv预印本 [81] 博尔特，J。；Le，T。；Pauwels，E。；Silveti-Falls，T.，机器学习和优化的非光滑隐式微分，13537-13549 [82] Teran，J.等人。；Blemker，S。；兴，V.N.T。；Fedkiw，R.，模拟骨骼肌的有限体积方法，68-74 [83] 佩奇，C.C。；桑德斯，M.A.，稀疏不定线性方程组的解。SIAM J.数字。分析。，617-629 (1975) ·Zbl 0319.65025号 [84] Lanczos，C.，解线性微分和积分算子特征值问题的迭代方法（1950），美国政府。新闻办公室：美国政府。加利福尼亚州洛杉矶市新闻办公室·Zbl 0067.33703号 [85] 本德，C.M。；Orszag，S.A.，《科学家和工程师的高级数学方法》。国际纯粹与应用数学系列（1978），麦格劳·希尔·Zbl 0417.34001号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。