Analytic continuation of noisy data using Adams Bashforth residual neural network

Xuping Xie; Feng Bao; Thomas Maier; Clayton Webster

doi:10.3934/dcdss.2021088

文章内容

2022年第15卷, 第4版: 877-892. Doi公司：10.3934/dcdss.2021088

这个问题上一篇文章积分分数Laplacian的高精度算子分解方法及其推广下一篇文章基于稀疏网格的随机Stokes-Darcy模型的随机配置方法

基于Adams-Bashforth残差神经网络的噪声数据解析延拓

1
纽约大学，纽约州纽约市，10012
2
佛罗里达州立大学，佛罗里达州塔拉哈西，32304
三。
橡树岭国家实验室，橡树岭，田纳西州，37830
4
田纳西大学诺克斯维尔分校，田纳西州诺克斯维尔，37916

^*通讯作者
^*通讯作者

收到日期： 2021年2月

修订日期： 2021年4月

提前访问： 2021年8月

发布时间： 2022年4月

摘要/引言全文（HTML）图(8) 相关论文引用人

摘要

我们为数值量子多体物理中的解析延拓问题提出了一个数据驱动的学习框架。使用计算数据设计一个准确有效的框架来解析虚幻时间的延续是一个巨大的挑战，它阻碍了与实验数据的有意义联系。基于最大熵（MaxEnt）的标准方法受到计算数据质量和先验信息可用性的限制。此外，MaxEnt无法解决数据中高噪声水平下的反演问题。在这里，我们使用Adams-Bashforth残差神经网络（AB-ResNet）为解析延拓问题引入了一种新的学习模型。这种深度学习网络的优点是它与模型无关，因此不需要关于谱函数给出的感兴趣量的先验信息。更重要的是，对于噪声水平较高的数据，基于ResNet的模型比MaxEnt实现了更高的精度。最后，数值例子表明，所开发的AB ResNet能够以与噪声水平相对较小的MaxEnt相当的精度恢复谱函数。

关键词：

数学学科分类：一次：45B05；次级：32W50、49N30。

引用：

全文（HTML）

图1。 分析延续的数据驱动学习框架说明

下载：全尺寸图像 PowerPoint幻灯片

图2。 单隐层神经网络结构

下载：全尺寸图像 PowerPoint幻灯片

图3。 剩余神经网络块

下载：全尺寸图像 PowerPoint幻灯片

图4。 多步神经网络结构

下载：全尺寸图像 PowerPoint幻灯片

图5。 训练集$G（\tau）$（左上）、Legendre表示$G_l$（右上）和目标光谱密度$A（\omega）$（下）中的一个数据样本

下载：全尺寸图像 PowerPoint幻灯片

图6。 带有数据噪声$10^{-2}的AB1-ResNet、AB2-ResNet和AB3-ResNet结构的训练性能$

下载：全尺寸图像 PowerPoint幻灯片

图7。 由AB3-ResNet和Maxent（暗线）生成的三种不同的光谱密度函数$A（\omega）$。左列表示来自噪声级别为$10^{-2}$的数据集的结果，右列显示从噪声级别为$10^{-3}的数据集获得的结果$

下载：全尺寸图像 PowerPoint幻灯片

图8。 不同AB-ResNet的预测谱函数比较

下载：全尺寸图像 PowerPoint幻灯片

相关论文

引用人

工具书类

[1]	L.-F.Arsenault、R.Neuberg、L.A.Hannah和A.J.Millis，反演fredholm积分的投影回归方法：形式主义及其在分析延拓中的应用，arXiv预印本arXiv:1612.04895, 2016.
[2]	L.-F.Arsenault、R.Neuberg、L.A.Hannah和A.J.Millis，解决量子物理解析延拓问题中出现的fredholm积分方程的投影回归方法，反问题,33(2017), 115007.数字对象标识：10.1088/1361-6420/aa8d93。
[3]	U.M.Ascher和L.R.Petzold，常微分方程和微分代数方程的计算机方法，卷61，宾夕法尼亚州费城SIAM，1998年。数字对象标识：10.1137/1.9781611971392.
[4]	F.Bao，Y.Tang，M.Summers，G.Zhang，C.Webster，V.Scarola和T.A.Maier，解析延拓的快速高效随机优化，物理复习B,94(2016), 125149.数字对象标识：10.1103/PhysRevB.94.125149。
[5]	K.S.D.Beach，将最大熵方法确定为随机分析延拓的特殊极限，arXiv预印本arXiv:cond-mat/0403055, 2004.
[6]	C.贝克, E.渭南和A.詹森，高维全非线性偏微分方程和二阶倒向随机微分方程的机器学习近似算法，非线性科学杂志,29(2019), 1563-1619. 数字对象标识：2007年10月7日/00332-018-9525-3。
[7]	G.伯塔纳, D.E.加利和E.维塔利，量子蒙特卡罗分析延拓的统计和计算智能方法，物理学进展：X,2(2017), 302-323. 数字对象标识：10.1080/23746149.2017.1288585.
[8]	曹毅、张浩、R.Archibald和F.Bao，深度学习中不确定性量化的反向sde方法，arXiv预印本arXiv公司：2011.14145, 2021.
[9]	B.Chang，L.Meng，E.Haber，L.Ruthotto，D.Begert和E.Holtham，任意深度剩余神经网络的可逆结构，In第三十二届AAAI人工智能会议, 2018.
[10]	B.Chang，L.Meng，E.Haber，F.Tung和D.Begert，动态系统视角下的多级剩余网络，In学习代表国际会议, 2018.
[11]	T.Chen，Y.Rubanova，J.Bettencourt和D.K.Duvenaud，神经常微分方程，In神经信息处理系统研究进展, 2018, 6571–6583.
[12]	K.Dahm和A.Keller，《学习强化的光传输方式》，In科学计算中蒙特卡罗和准蒙特卡罗方法国际会议,241施普林格，2018181-195。数字对象标识：10.1007/978-3-319-91436-7_9.
[13]	F.包和T.迈尔，求解解析延拓问题中随机优化的随机梯度下降算法，数据科学基础,2(2020), 1-17. 数字对象标识：10.3934/fods.2020001。
[14]	W.E和Q.Wang，解析函数深度神经网络逼近的指数收敛性，科学。中国数学。,61(2018), 1733–1740.arXiv预印本arXiv公司：1807.00297, 2018.数字对象标识：2007年10月17日/11425-018-9387-x。
[15]	R.Fournier，L.Wang，O.V.Yazyev和Q.Wu，解析延拓问题的人工神经网络方法，arXiv预印本arXiv:1810.00913, 2018.物理学。修订稿。,124（2020），056401，第6页。数字对象标识：10.1103/PhysRevLett.124.056401。
[16]	S.Fuchs、T.Pruschke和M.Jarrell，通过随机分析推断对量子蒙特卡罗数据进行分析延拓，物理审查E,81(2010), 056701.数字对象标识：10.1103/PhysRevE.81.056701。
[17]	S.F.海鸥和J.斯奇林，图像处理中的最大熵方法，IEE会议记录F（通信、雷达和信号处理）,131(1984), 646-659. 数字对象标识：10.1049/ip-f-1.1984.0099。
[18]	E.Haber和L.Ruthotto，深层神经网络的稳定架构，反问题,34(2017), 014004.数字对象标识：10.1088/1361-6420/aa9a90。
[19]	何凯、张旭、任三生、孙建军，图像识别的深度残差学习，InIEEE计算机视觉和模式识别会议记录, 2016,770–778.数字对象标识：10.1109/CVPR.2016.90。
[20]	R.Hecht-Nielsen，反向传播神经网络理论，In感知神经网络爱思唯尔出版社，1992年，65–93页。数字对象标识：10.1016/B978-0-12-741252-8.50010-8。
[21]	G.欣顿, L.邓, D.余, G.E.达尔, A.-R.穆罕默德, N.杰特利, A.高级, V.范胡克, P.Nguyen先生, T.N.塞纳和B.金斯伯里，语音识别中声学建模的深度神经网络：四个研究小组的共同观点，IEEE信号处理杂志,29(2012), 82-97. 数字对象标识：10.1109/MSP.2012.2205597。
[22]	M.贾雷尔和J.E.古伯纳提斯贝叶斯推断和想象时间量子蒙特卡罗数据的解析延拓，物理报告,269(1996), 133-195. 数字对象标识：10.1016/0370-1573(95)00074-7.
[23]	K.H.Jin先生, M.T.麦肯, E.弗鲁斯特和M.Unser先生，用于成像逆问题的深度卷积神经网络，IEEE图像处理汇刊,26(2017), 4509-4522. 数字对象标识：10.1109/TIP.2017.2713099。
[24]	A.克里舍夫斯基, I.Sutskever公司和G.E.欣顿，使用深度卷积神经网络进行Imagenet分类，神经信息处理系统研究进展,25(2012), 1097-1105.
[25]	Y.乐村, Y.本吉奥和G.欣顿、深度学习、，自然,521(2015), 436-444. 数字对象标识：10.1038/nature14539。
[26]	Y.LeCun，L.D.Jackel，L.Bottou，A.Brunot，C.Cortes，J.S.Denker，H.Drucker，I.Guyon，U.A.Muller，E.Sackinger等人，《手写数字识别学习算法比较》，In国际人工神经网络会议，卷60澳大利亚珀斯，1995年，53-60。
[27]	R.利维, J.P.F.勒布朗和E.海鸥，解析延拓最大熵方法的实现，计算机物理通信,215(2017), 149-155. 数字对象标识：2016年10月10日/j.cpc.2017.01.018。
[28]	H.Li、J.Schwab、S.Antholzer和M.Haltmeier，Nett：用深度神经网络解决反问题，反问题,36(2020), 065005.数字对象标识：10.1088/1361-6420/ab6d57。
[29]	Q.Li，C.Tai和W.E，随机修正方程和随机梯度算法的动力学I：数学基础，机器学习研究杂志,20（2019），第40号论文，47页。
[30]	H.Lin和S.Jegelka，具有单神经元隐藏层的Resnet是一个通用逼近器，In神经信息处理系统研究进展, 2018, 6169–6178.
[31]	Z.Long，Y，Lu，X.Ma和B.Dong，PDE-net：从数据中学习PDE，In第35届机器学习国际会议论文集, 2018, 3208–3216.
[32]	Y.Lu，A.Zhong，Q.Li和B.Dong，超越有限层神经网络：桥接深层结构和数值微分方程，In第35届机器学习国际会议论文集, 2018, 3282–3291.
[33]	C.Ma，J.Wang和Weinan E，带记忆的模型简化和动力系统的机器学习，arXiv预印本arXiv:1808.04258, 2018. Commun公司。计算。物理.,25(2019), 947-962.数字对象标识：10.4208/cicp.oa-2018-0269。
[34]	A.S.米什琴科, N.V.Prokof’ev公司, A.坂本和B.V.斯维斯图诺夫，Fröhlich极化子的图解量子蒙特卡罗研究，物理复习B,62(2000), 6317-6336. 数字对象标识：10.1103/物理版B.62.6317。
[35]	J.Otsuki、M.Ohzeki、H.Shinaoka和K.Yoshimi，图像时间量子蒙特卡罗数据解析延拓的稀疏建模方法，物理审查E,95(2017), 061302.数字对象标识：10.1103/物理修订版E.95.061302。
[36]	E.Pavarini、E.Koch、F.Anders和M.Jarrell，相关电子：从模型到材料，Reihe建模与仿真,2(2012).
[37]	N.V.Prokof’ev公司和B.V.斯维斯图诺夫，一致约束方法的谱分析，JETP信函。,97(2013), 649-653. 数字对象标识：10.1134/S002136401311009X号。
[38]	A.W.Sandvik公司，量子蒙特卡罗数据解析延拓的随机方法，物理复习B,57(1998), 10287-10290. 数字对象标识：10.1103/PhysRevB.57.10287。
[39]	R.N.银, J.E.古伯纳提斯, D.S.西维亚和M.贾雷尔，对称Anderson模型的谱密度，物理审查信函,65(1990), 496-499. 数字对象标识：10.1103/PhysRevLett.65.496。
[40]	B.Wang，X.Luo，Z.Li，W.Zhu，Z.Shi和S.Osher，以插值函数作为输出激活的深度神经网络，In神经信息处理系统研究进展, 2018,743–753.
[41]	L.Wu，C.Ma和W.E，SGD如何在超参数学习中选择全局极小值：动态稳定性观点，in神经信息处理系统进展31：2018年神经信息处理体系年会，2018年12月3日至8日，加拿大蒙特利尔。, 2018, 8289–8298.
[42]	X.Xie，C.Webster和T.Iliescu，利用深度残差神经网络进行非线性模型约简的闭包学习，ph流体,5(2020), 39.数字对象标识：10.3390/流体5010039。
[43]	X.Xie，G.Zhang和C.G.Webster，使用深度多步神经网络的流体非侵入推理降阶模型，数学博士,7(2019), 757.数字对象标识：10.3390/马赫7080757。
[44]	H.Yoon、J.-H.Sim和M.J.Han，通过领域知识自由机器学习进行分析延续，物理复习B,98(2018), 245101.数字对象标识：10.1103/PhysRevB.98.245101。
[45]	G.张, B.埃迪·帕图沃和胡明扬（M.Y.Hu），《人工神经网络预测：最新进展》，国际预测杂志,14(1998), 35-62. 数字对象标识：10.1016/S0169-2070（97）00044-7。