×
谢旭平;鲍、冯;托马斯·迈尔;克莱顿·韦伯斯特

使用Adams-Bashforth残差神经网络分析噪声数据的连续性。 （英语） Zbl 07512207号

离散连续。动态。系统。，序列号。S公司 15，第4期，877-892（2022）.
摘要：我们为数值量子多体物理中的解析延拓问题提出了一个数据驱动的学习框架。使用计算数据设计一个准确有效的框架来解析虚幻时间的延续是一个巨大的挑战，它阻碍了与实验数据的有意义联系。基于最大熵（MaxEnt）的标准方法受到计算数据质量和先验信息可用性的限制。此外，MaxEnt无法解决数据中高噪声水平下的反演问题。在这里，我们使用Adams-Bashforth残差神经网络（AB-ResNet）为解析延拓问题引入了一种新的学习模型。这种深度学习网络的优点是它与模型无关，因此不需要关于谱函数给出的感兴趣量的先验信息。更重要的是，对于噪声水平较高的数据，基于ResNet的模型比MaxEnt实现了更高的精度。最后，数值算例表明，所开发的AB-ResNet能够以与噪声水平相对较小的MaxEnt相当的精度恢复谱函数。

引用于1文件

MSC公司：

65C20个 概率模型，概率统计中的通用数值方法
30比40 复变函数的解析延拓
68T05型 人工智能中的学习和自适应系统
90立方厘米 随机规划

关键词：

解析延拓;反问题;随机优化;机器学习;神经网络

软件：

AlexNet公司;火炬差异;Maxent公司;ImageNet公司;网络电话;PDE-网络
PDF格式BibTeX公司 XML格式引用
\textit{X.Xie}等人，离散Contin。动态。系统。，序列号。S 15，编号4，877--892（2022；Zbl 07512207）
全文： 内政部 arXiv公司

参考文献：

[1] L.-F.Arsenault、R.Neuberg、L.A.Hannah和A.J.Millis，反演fredholm积分的投影回归方法：形式主义及其在分析延拓中的应用，arXiv预打印arXiv:1612.04895, 2016.
[2] L.-F.Arsenault、R.Neuberg、L.A.Hannah和A.J.Millis，解决量子物理解析延拓问题中出现的fredholm积分方程的投影回归方法，反问题, 33 (2017), 115007. ·Zbl 1379.65097号
[3] U.M.Ascher和L.R.Petzold，常微分方程和微分代数方程的计算机方法第61卷，SIAM，宾夕法尼亚州费城，1998年·Zbl 0908.65055号
[4] F.Bao，Y.Tang，M.Summers，G.Zhang，C.Webster，V.Scarola和T.A.Maier，解析延拓的快速高效随机优化，物理复习B, 94 (2016), 125149.
[5] K.S.D.Beach，将最大熵方法确定为随机分析延拓的特殊极限，arXiv预打印arXiv:cond-mat/0403055, 2004.
[6] C.贝克；渭南东部；A.Jentzen，高维全非线性偏微分方程和二阶倒向随机微分方程的机器学习近似算法，《非线性科学杂志》，29，1563-1619（2019）·Zbl 1442.91116号 ·doi:10.1007/s00332-018-9525-3
[7] G.伯塔纳；D.E.加利；E.维塔利，量子蒙特卡罗分析延拓的统计和计算智能方法，《物理学进展：X，2，302-323》（2017）·doi:10.1080/23746149.2017.1288585
[8] 曹毅、张浩、R.Archibald和F.Bao，深度学习中不确定性量化的反向sde方法，arXiv预印本arXiv:2011.14145, 2021.
[9] B.Chang，L.Meng，E.Haber，L.Ruthotto，D.Begert和E.Holtham，任意深度剩余神经网络的可逆结构，In第三十二届AAAI人工智能会议, 2018.
[10] B.Chang，L.Meng，E.Haber，F.Tung和D.Begert，动态系统视角下的多级剩余网络，In学习代表国际会议, 2018.
[11] T.Chen，Y.Rubanova，J.Bettencourt和D.K.Duvenaud，神经常微分方程，In神经信息处理系统的研究进展, 2018, 6571-6583.
[12] K.Dahm和A.Keller，《学习强化的光传输方式》，In科学计算中蒙特卡罗和准蒙特卡罗方法国际会议，241，施普林格，2018181-195·Zbl 1483.68291号
[13] F.Bao；T.Maier，解解析延拓问题中随机优化的随机梯度下降算法，数据科学基础，2，1-17（2020）·doi:10.3934/fods.2020001
[14] W.E和Q.Wang，解析函数深度神经网络逼近的指数收敛性，科学。中国数学。, 61 (2018), 1733-1740.arXiv预打印arXiv:1807.00297, 2018. ·Zbl 1475.65007号
[15] R.Fournier，L.Wang，O.V.Yazyev和Q.Wu，解析延拓问题的人工神经网络方法，arXiv预打印arXiv:1810.00913, 2018.物理学。修订稿。，124（2020），056401，6页。
[16] S.Fuchs、T.Pruschke和M.Jarrell，通过随机分析推断对量子蒙特卡罗数据进行分析延拓，体检E, 81 (2010), 056701.
[17] S.F.海鸥；J.Skilling，图像处理中的最大熵方法，IEE Proceedings F（Communications，Radar and Signal processing），131646-659（1984）·Zbl 0545.62060号 ·doi:10.1049/ip-f-1.1984.0099
[18] E.Haber和L.Ruthotto，深度神经网络的稳定架构，反问题, 34 (2017), 014004. ·Zbl 1426.68236号
[19] 何凯、张旭、任三生、孙建军，图像识别的深度残差学习，InIEEE计算机视觉和模式识别会议记录, 2016,770-778.
[20] R.Hecht-Nielsen，反向传播神经网络理论，In感知神经网络爱思唯尔出版社，1992年，65-93。
[21] G.欣顿；L.Deng；D.余；G.E.Dahl；A.-R.穆罕默德；N.贾特利；A.高级；V.万霍克；P.Nguyen；T.N.Sainath；B.Kingsbury，语音识别中声学建模的深度神经网络：四个研究小组的共同观点，IEEE信号处理杂志，29，82-97（2012）·doi:10.1109/MSP.2012.2205597
[22] M.Jarrell；J.E.Gubernatis，贝叶斯推断和成像时间量子蒙特卡罗数据的解析延拓，《物理报告》，269，133-195（1996）·Zbl 0886.62029号 ·doi:10.1016/0370-1573（95）00074-7
[23] 金国浩；M.T.McCann；E.弗鲁斯特；M.Unser，成像逆问题的深度卷积神经网络，IEEE图像处理汇刊，264509-4522（2017）·Zbl 1409.94275号 ·doi:10.1109/TIP.2017.2713099
[24] A.克里舍夫斯基；I.Sutskever；G.E.Hinton，用深度卷积神经网络进行Imagenet分类，神经信息处理系统进展，251097-1105（2012）
[25] Y.LeCun；Y.Bengio；G.Hinton，《深度学习》，《自然》，521436-444（2015）·doi:10.1038/nature14539
[26] Y.LeCun，L.D.Jackel，L.Bottou，A.Brunot，C.Cortes，J.S.Denker，H.Drucker，I.Guyon，U.A.Muller，E.Sackinger等人，《手写数字识别学习算法比较》，In国际人工神经网络会议，第60卷。澳大利亚珀斯，1995年，53-60。
[27] R.利维；J.P.F.勒布朗；E.Gull，解析延拓的最大熵方法的实现，计算机物理通信，215149-155（2017）·Zbl 1411.82008年 ·doi:10.1016/j.cpc.2017.01.018
[28] H.Li、J.Schwab、S.Antholzer和M.Haltmeier，Nett：用深度神经网络解决反问题，反问题, 36 (2020), 065005. ·Zbl 1456.65038号
[29] Q.Li，C.Tai和W.E，随机修正方程和随机梯度算法动力学I：数学基础，机器学习研究杂志，20（2019），第40号论文，47页·Zbl 1484.62106号
[30] H.Lin和S.Jegelka，具有单神经元隐藏层的Resnet是一个通用逼近器，In神经信息处理系统研究进展, 2018, 6169-6178.
[31] Z.Long，Y，Lu，X.Ma和B.Dong，PDE-net：从数据中学习PDE，In第35届机器学习国际会议论文集, 2018, 3208-3216.
[32] Y.Lu，A.Zhong，Q.Li和B.Dong，超越有限层神经网络：桥接深层结构和数值微分方程，In第35届机器学习国际会议论文集, 2018, 3282-3291.
[33] C.Ma，J.Wang和Weinan E，带记忆的模型简化和动力系统的机器学习，arXiv预打印arXiv:1808.04258, 2018. Commun公司。计算。物理., 25 (2019), 947-962. ·Zbl 1473.35450号
[34] A.S.Mishchenko；N.V.Prokof’ev；A.坂本；B.V.Svistunov，《Fröhlich极化子的图解量子蒙特卡罗研究》，《物理评论B》，62，6317-6336（2000）·doi:10.1103/PhysRevB.62.6317
[35] J.Otsuki、M.Ohzeki、H.Shinaoka和K.Yoshimi，图像时间量子蒙特卡罗数据解析延拓的稀疏建模方法，体检E, 95 (2017), 061302.
[36] E.Pavarini、E.Koch、F.Anders和M.Jarrell，相关电子：从模型到材料，Reihe建模与仿真, 2 (2012).
[37] N.V.Prokof’ev；B.V.Svistunov，一致约束方法的谱分析，JETP Lett。，97, 649-653 (2013) ·doi:10.1134/S002136401311009X
[38] A.W.Sandvik，量子蒙特卡罗数据解析延拓的随机方法，《物理评论B》，5710287-10290（1998）·doi:10.1103/PhysRevB.57.10287
[39] R.N.Silver；J.E.Gubernatis；D.S.Sivia；M.Jarrell，对称Anderson模型的光谱密度，《物理评论快报》，65，496-499（1990）·doi:10.1103/PhysRevLett.65.496
[40] B.Wang，X.Luo，Z.Li，W.Zhu，Z.Shi和S.Osher，以插值函数作为输出激活的深度神经网络，In神经信息处理系统研究进展, 2018,743-753.
[41] L.Wu，C.Ma和W.E，SGD如何在超参数学习中选择全局极小值：动态稳定性观点，in神经信息处理系统进展31：2018年神经信息处理体系年会，2018年12月3日至8日，加拿大蒙特利尔。, 2018, 8289-8298.
[42] X.Xie，C.Webster和T.Iliescu，利用深度残差神经网络进行非线性模型约简的闭包学习，ph流体, 5 (2020), 39.
[43] X.Xie，G.Zhang和C.G.Webster，使用深度多步神经网络的流体非侵入推理降阶模型，数学博士, 7 (2019), 757.
[44] H.Yoon、J.-H.Sim和M.J.Han，通过领域知识自由机器学习进行分析延续，物理复习B, 98 (2018), 245101.
[45] G.Zhang；B.Eddy Patuwo；胡明扬，《人工神经网络预测：最新进展》，《国际预测杂志》，第14期，第35-62页（1998年）·doi:10.1016/S0169-2070（97）00044-7
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。