×

自适应激活函数加速了深层物理信息神经网络的收敛。 (英语) Zbl 1453.68165号

摘要:我们在深度和物理信息神经网络(PINNs)中使用自适应激活函数进行回归,以近似光滑和不连续函数以及线性和非线性偏微分方程的解。特别地,我们求解了具有光滑解的非线性Klein-Gordon方程、可以接受高梯度解的非线性Burgers方程和Helmholtz方程。我们在激活函数中引入了一个可扩展的超参数,当网络动态改变优化过程中涉及的损失函数的拓扑时,可以对其进行优化,以获得最佳的网络性能。自适应激活函数比传统激活函数(固定激活)具有更好的学习能力,因为它大大提高了收敛速度,特别是在早期训练时,以及解的准确性。为了更好地理解学习过程,我们在频域中绘制神经网络解决方案,以检查网络如何连续捕获解决方案中存在的不同频带。我们既考虑了获得近似解的正问题,也考虑了识别控制方程中所涉及参数的反问题。仿真结果表明,该方法是一种非常简单有效的方法,可以提高非线性函数的神经网络逼近以及偏微分方程解的效率、鲁棒性和准确性,特别是对于正问题。我们从理论上证明了在该方法中,梯度下降算法不会吸引到次优临界点或局部极小值。此外,使用CIFAR-10、CIFAR-100、SVHN、MNIST、KMNIST、Fashion-MNIST和Semeion数据集,无论是否进行数据增强,所提出的自适应激活函数都可以加速标准深度学习基准中损失值的最小化过程。

MSC公司:

68T07型 人工神经网络与深度学习
65日第15天 函数逼近算法
65立方米 含偏微分方程初值和初边值问题反问题的数值方法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Arpit,D.,《深度网络记忆研究》(2017),arXiv预印本
[2] Basdevant,C.,伯格方程的谱和有限差分解,计算。流体,14,23-41(1986)·Zbl 0612.76031号
[3] Bateman,H.,最近关于流体运动的一些研究,周一。《天气评论》,43、4、163-170(1915)
[4] Baydin,A.G。;Pearlmutter,B.A。;Radul,A.A。;Siskind,J.M.,《机器学习中的自动差异化:一项调查》,J.Mach。学习。决议,18,1-43(2018)·Zbl 06982909号
[5] 本吉奥,Y。;Simard,P。;Frasconi,P.,学习梯度下降的长期依赖性是困难的,IEEE Trans。神经网络。,5, 2, 157-166 (1994)
[6] 伯格,J。;Nyström,K.,复杂数据集中PDE的数据驱动发现,J.Compute。物理。,384, 239-252 (2019) ·Zbl 1451.68239号
[7] Bertsekas,D.P.,非线性规划(1999),雅典娜科学:雅典娜科技贝尔蒙特·Zbl 1015.90077号
[8] Burgers,J.M.,《说明湍流理论的数学模型》(《应用力学进展》,第1卷(1948年)),171-199
[9] Caudrey,P.J。;艾尔贝克,I.C。;Gibbon,J.D.,作为经典场论模型的sine-Gordon方程,Nuovo Cimento,25497-511(1975)
[10] 多德·R·K。;艾尔贝克,I.C。;Gibbon,J.D。;Morris,H.C.,《孤子和非线性波动方程》(1982),学术:伦敦学术出版社·Zbl 0496.35001号
[11] Duraisamy,K。;张志杰。;Singh,A.P.,《使用数据驱动技术进行湍流和过渡建模的新方法》(2015),AIAA论文2015-1284
[12] 杜什科夫,M。;Ptucha,R.,深度网络的自适应激活函数,(电子成像,计算成像XIV(2016)),1-5(5)
[13] Haykin,S.S.,《神经网络:综合基金会》(1999),普伦蒂斯·霍尔出版社·兹比尔0934.68076
[14] He,K。;张,X。;Ren,S。;Sun,J.,深度剩余网络中的身份映射,(欧洲计算机视觉会议(2016)),630-645
[15] Kingma,D.P。;Ba,J.L.,ADAM:随机优化方法(2017)
[16] LeCun,Y。;博图,L。;本吉奥,Y。;Haffner,P.,《基于梯度的学习应用于文档识别》,Proc。IEEE,86,2278-2324(1998)
[17] 拉加里斯,I.E。;利卡斯,A。;Fotiadis,D.I.,求解常微分方程和偏微分方程的人工神经网络,IEEE Trans。神经网络。,9, 5, 987-1000 (1998)
[18] 李,B。;李毅。;Rong,X.,具有可调激活函数的极端学习机器学习算法,神经计算。申请。,22, 531-539 (2013)
[19] Owhadi,H.,贝叶斯数值均匀化,多尺度模型。模拟。,13, 812-828 (2015) ·Zbl 1322.35002号
[20] E.J.帕里什。;Duraisamy,K.,使用场反演和机器学习的数据驱动预测建模的范例,J.Comput。物理。,305, 758-774 (2016) ·Zbl 1349.76006号
[21] Qian,S.,卷积神经网络中的自适应激活函数,神经计算,272,10,204-212(2018年1月)
[22] Rahaman,N.,《深度神经网络的光谱偏差》(2018),arXiv预印本
[23] 莱斯,M。;Karniadakis,G.E.,《隐藏物理模型:非线性偏微分方程的机器学习》,J.Compute。物理。,357, 125-141 (2018) ·Zbl 1381.68248号
[24] 莱斯,M。;佩尔迪卡里斯,P。;Karniadakis,G.E.,含时和非线性偏微分方程的数值高斯过程,SIAM J.Sci。计算。,40,A172-A198(2018)·兹比尔1386.65030
[25] 莱斯,M。;佩尔迪卡里斯,P。;Karniadakis,G.E.,《Physics-informed neural network:a deep learning framework for solution forward and inverse problems including normal partial differential development quations,J.Compute》,《物理信息神经网络:解决。物理。,378, 686-707 (2019) ·Zbl 1415.68175号
[26] 莱斯,M。;佩尔迪卡里斯,P。;Karniadakis,G.E.,《利用噪声多保真数据推断微分方程解》,J.Compute。物理。,335, 736-746 (2017) ·Zbl 1382.65229号
[27] 莱斯,M。;佩尔迪卡里斯,P。;Karniadakis,G.E.,使用高斯过程的线性微分方程机器学习,J.Compute。物理。,348, 683-693 (2017) ·Zbl 1380.68339号
[28] 莱斯,M。;王,Z。;Triantafylou,M.S。;Karniadakis,G.E.,《涡激振动的深度学习》,《流体力学杂志》。,861, 119-137 (2019) ·兹比尔1415.76177
[29] Ruder,S.,梯度下降优化算法概述(2017)
[30] Rudy,S.H.,偏微分方程的数据驱动发现,科学。高级,3,4(2017)
[31] Sommerfeld,A.,《物理学中的偏微分方程》(1949),学术出版社:纽约学术出版社·Zbl 0034.35702号
[32] 沈毅。;王,B。;陈,F。;Cheng,L.,一种新的具有可调激活函数的多输出神经模型及其应用,神经过程。莱特。,20, 85-104 (2004)
[33] Wang,J.-X.,预测湍流建模的综合物理信息机器学习框架
[34] Wazwaz,A.,Boussinesq和Klein-Gordon方程的新行波解,Commun。非线性科学。数字。模拟。,13, 889-901 (2008) ·Zbl 1221.35372号
[35] Whitham,G.B.,《线性和非线性波》,第42卷(2011年),约翰威利父子公司
[36] Xu,Z。;Zhang,Y。;罗,T。;萧,Y。;Ma,Z.,频率原理:傅里叶分析揭示了深层神经网络(2019)
[37] Yu,C.,多层前馈神经网络的自适应激活函数,(2002年IEEE第10区计算机、通信、控制和电力工程会议,TENCOM’02)。会议记录(2002年)
[38] 张志杰。;Duraisamy,K.,《数据驱动湍流建模的机器学习方法》(2015),AIAA论文2015-2460
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。