×

PhySR:时空数据的基于物理的深度超分辨率。 (英语) Zbl 1522.65186号

摘要:复杂物理系统的高精度模拟成本极高,而且在时空尺度上无法实现。最近,人们越来越关注利用深度学习来根据粗粒度模拟来增加科学数据,这不仅计算费用低廉,而且保持了令人满意的解的准确性。然而,现有的主要工作集中于数据驱动方法,这些方法依赖丰富的训练数据集,缺乏足够的物理约束。为此,受偏微分方程(PDE)中时间导数和空间导数之间的独立性启发,我们通过物理信息学习(即PhySR)提出了一种新颖高效的时空超分辨率框架。其一般原理是利用时间插值进行流量估计,然后引入卷积递归神经网络进行时间求精学习。此外,我们使用具有宽激活度的堆叠残差块和带有像素模糊的亚像素层进行空间重建,其中特征提取是在低分辨率的潜在空间中进行的。此外,我们考虑在网络中硬强加边界条件,以提高重建精度。基于大量数值实验的结果表明,该方法的有效性和效率优于现有的基线算法。

MSC公司:

65米99 偏微分方程、初值和含时初边值问题的数值方法
68T07型 人工神经网络与深度学习
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Yang,J.等人。;赖特,J。;Huang,T.S。;Ma,Y.,通过稀疏表示的图像超分辨率,IEEE Trans。图像处理。,19, 11, 2861-2873 (2010) ·Zbl 1371.94429号
[2] Dong,C。;罗伊,C.C。;He,K。;Tang,X.,使用深度卷积网络的图像超分辨率,IEEE Trans。模式分析。机器。智力。,38, 2, 295-307 (2015)
[3] Ledig,C。;Theis,L。;Huszár,F。;卡巴列罗,J。;坎宁安,A。;Acosta,A。;艾特肯,A。;特贾尼,A。;托茨,J。;Wang,Z.,使用生成对抗网络的真实感照片单图像超分辨率,(IEEE计算机视觉和模式识别会议论文集(2017)),4681-4690
[4] 张伟。;刘,Y。;Dong,C。;乔·兰克斯根,Y.,图像超分辨率等级较高的生成对抗网络,(IEEE/CVF国际计算机视觉会议论文集(2019)),3096-3105
[5] Chan,K.C。;王,X。;Xu,X。;顾,J。;Loy Glean,C.C.,大系数图像超分辨率的生成潜在库,(IEEE/CVF计算机视觉和模式识别会议论文集(2021)),14245-14254
[6] Kim,J。;Lee,J.K。;Lee,K.M.,使用深度卷积网络的精确图像超分辨率,(IEEE计算机视觉和模式识别会议论文集(2016)),1646-1654
[7] Lim,B。;儿子S。;Kim,H。;不,S。;Mu Lee,K.,用于单图像超分辨率的增强深度残差网络,(IEEE计算机视觉和模式识别研讨会会议记录(2017)),136-144
[8] Yu,J。;范,Y。;Yang,J.等人。;徐,N。;王,Z。;王,X。;Huang,T.,高效准确图像超分辨率的广泛激活(2018),arXiv预印本
[9] Zhang,Y。;李凯。;李凯。;王,L。;钟,B。;Fu,Y.,使用极深残余通道注意网络的图像超分辨率,(欧洲计算机视觉会议论文集(2018)),286-301
[10] 杨,F。;Yang,H。;Fu,J。;卢,H。;Guo,B.,学习用于图像超分辨率的纹理变换网络,(IEEE/CVF计算机视觉和模式识别会议论文集(2020)),5791-5800
[11] 陈,H。;Wang,Y。;郭,T。;徐,C。;邓,Y。;刘,Z。;马,S。;徐,C。;徐,C。;Gao,W.,预训练图像处理变压器,(IEEE/CVF计算机视觉和模式识别会议论文集(2021)),12299-12310
[12] 周,Q。;杜,C。;He,H.,《探索深层神经网络的类脑特性:神经编码视角》,马赫。智力。决议,19439-455(2022)
[13] 风机,D.-P。;黄,Z。;郑,P。;刘,H。;秦,X。;Gool,L.V.,《面部护理合成:一项新挑战》,马赫。智力。决议,19,257-287(2022)
[14] Niklaus,S。;Mai,L。;Liu,F.,通过自适应可分离卷积进行视频帧插值,(IEEE国际计算机视觉会议论文集(2017)),261-270
[15] 刘,Z。;叶,R.A。;唐,X。;刘,Y。;Agarwala,A.,使用深体素流的视频帧合成,(IEEE国际计算机视觉会议论文集(2017)),4463-4471
[16] 姜浩。;Sun,D。;Jampani,V.公司。;杨,M.-H。;Learnd-Miller,E。;Kautz,J.,Super slomo:视频插值的多个中间帧的高质量估计,(IEEE计算机视觉和模式识别会议论文集(2018)),9000-9008
[17] Xu,X。;Si-Yao,L。;Sun,W。;尹,Q。;Yang,M.,二次视频插值,(NeurIPS(2019)),1645-1654
[18] 刘,Y。;谢林。;斯尧,L。;Sun,W。;乔,Y。;Dong,C.,增强二次视频插值,(欧洲计算机视觉会议(2020),Springer),41-56
[19] 梅耶,S。;Djelouah,A。;McWilliams,B。;Sorkine-Hornung,A。;毛重,M。;Schroers,C.,视频帧插值相位网,(IEEE计算机视觉和模式识别会议论文集(2018)),498-507
[20] 萨贾迪,M.S。;维穆拉帕利,R。;Brown,M.,帧电流视频超分辨率,(IEEE计算机视觉和模式识别会议论文集(2018)),6626-6634
[21] X.向。;田,Y。;Zhang,Y。;Fu,Y。;Allebach,J.P。;Xu,C.,Zooming slow-mo:快速准确的单阶段时空视频超分辨率,(IEEE/CVF计算机视觉和模式识别会议论文集(2020)),3370-3379
[22] Shi,W。;卡巴列罗,J。;Huszár,F。;托茨,J。;艾特肯,A.P。;毕晓普,R。;Rueckert,D。;Wang,Z.,使用高效亚像素卷积神经网络的实时单图像和视频超分辨率,(IEEE计算机视觉和模式识别会议论文集(2016)),1874-1883
[23] Sun,D。;Yang,X.先生。;Liu,M.-Y。;Kautz,J.,Pwc-net:使用金字塔、翘曲和成本体积的光流Cnns,(IEEE计算机视觉和模式识别会议论文集(2018)),8934-8943
[24] Niklaus,S。;Liu,F.,视频帧插值的上下文软件合成,(IEEE计算机视觉和模式识别会议论文集(2018)),1701-1710
[25] 王,X。;Chan,K.C。;Yu,K。;Dong,C。;Change Loy,C.,Edvr:增强可变形卷积网络视频恢复(IEEE/CVF计算机视觉和模式识别研讨会会议记录(2019年0月0日))
[26] 谢毅。;Franz,E。;朱,M。;Thuerey,N.,tempogan:超分辨率流体流动的时间相干体积gan,ACM Trans。图表。(TOG),37,4,1-15(2018)
[27] Bar-Sinai,Y。;霍耶,S。;希基,J。;Brenner,M.P.,偏微分方程的学习数据驱动离散化,Proc。国家。阿卡德。科学。,116, 31, 15344-15349 (2019) ·Zbl 1431.65195号
[28] 刘,B。;Tang,J。;黄,H。;Lu,X.-Y.,湍流超分辨率重建的深度学习方法,物理学。流体,32,2,第025105条pp.(2020)
[29] Fukami,K。;Fukagata,K。;Taira,K.,基于机器学习的湍流时空超分辨率重建,J.流体力学。,909 (2021) ·Zbl 1461.76306号
[30] 科奇科夫,D。;Smith,J.A。;Alieva,A。;王,Q。;M.P.布伦纳。;Hoyer,S.,《机器学习加速计算流体动力学》,Proc。国家。阿卡德。科学。,118, 21 (2021)
[31] Bai,K。;李伟(Li,W.)。;德斯布伦,M。;Liu,X.,《通过基于词典的学习对烟雾进行动态上采样》,ACM Trans。图表。(TOG),40,1,1-19(2020年)
[32] 斯坦格尔,K。;Glaws,A。;海廷格,D。;King,R.N.,气候风和太阳数据的对抗超分辨率,Proc。国家。阿卡德。科学。,117, 29, 16805-16815 (2020)
[33] 莱斯,M。;佩迪卡里斯,P。;Karniadakis,G.E.,《基于物理的神经网络:用于解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》,J.Compute。物理。,378, 686-707 (2019) ·Zbl 1415.68175号
[34] 莱斯,M。;亚兹达尼,A。;Karniadakis,G.E.,《隐藏流体力学:从流动可视化中学习速度和压力场》,《科学》,367,6481,1026-1030(2020)·Zbl 1478.76057号
[35] Lu,L.等人。;Jin,P。;庞,G。;张,Z。;Karniadakis,G.E.,基于算子的普遍逼近定理,通过deeponet学习非线性算子,Nat.Mach。智力。,3, 3, 218-229 (2021)
[36] Rao,C。;Sun,H。;Liu,Y.,Physics-informed deep learning for computational弹性动力学无标记数据,J.Eng.Mech。,147,8,第04021043条第(2021)页
[37] Karniadakis,G.E。;Kevrekidis,I.G。;Lu,L.等人。;佩迪卡里斯,P。;王,S。;Yang,L.,《基于物理的机器学习》,《国家物理评论》。,3, 6, 422-440 (2021)
[38] Chen,Z。;刘,Y。;Sun,H.,《物理学——从稀缺数据中学习控制方程》,美国国家通讯社。,12, 6136 (2021)
[39] Long,Y。;她,X。;Mukhopadhyay,S.,Hybridnet:集成基于模型和数据驱动的学习以预测动态系统的进化,(机器人学习会议,PMLR(2018)),551-560
[40] Zhu,Y。;北卡罗来纳州扎巴拉斯。;Koutsourelakis,P.-S。;Perdikaris,P.,《无标记数据的高维代理建模和不确定性量化的物理约束深度学习》,J.Compute。物理。,394, 56-81 (2019) ·Zbl 1452.68172号
[41] 日内瓦,N。;Zabaras,N.,用物理约束的深度自回归网络对PDE系统的动力学建模,计算机J。物理。,403,第109056条pp.(2020)·Zbl 1454.65130号
[42] 王,R。;Kashinath,K。;穆斯塔法,M。;阿尔伯特。;Yu,R.,面向湍流预测的基于物理的深度学习,(第26届ACM SIGKDD国际知识发现会议论文集&(2020),数据挖掘),1457-1466
[43] 张,R。;刘,Y。;Sun,H.,《非线性结构元建模的物理多lstm网络》,计算。方法应用。机械。工程,369,第113226条pp.(2020)·Zbl 1506.74004号
[44] 张,R。;刘,Y。;Sun,H.,用于数据驱动地震响应建模的物理引导卷积神经网络(phycnn),工程结构。,215,第110704条pp.(2020)
[45] 高,H。;Sun,L。;Wang,J.-X.,Phygeonet:基于物理的几何自适应卷积神经网络,用于求解不规则域上的参数化稳态偏微分方程,J.Compute。物理。,428,第110079条,第(2021)页·Zbl 07511433号
[46] Rao,C。;任,P。;王,Q。;俄克拉荷马州Buyukozturk。;Sun,H。;Liu,Y.,《编码物理以学习反应扩散过程》,Nat.Mach。智力。,428, 765-779 (2023)
[47] 任,P。;Rao,C。;刘,Y。;王建新。;Sun,H.,PhyCRNet:用于求解时空PDE的基于物理的卷积递归网络,计算。方法应用。机械。工程,389,第114399条pp.(2022)·兹比尔1507.65209
[48] 高,H。;Zahr,M.J。;Wang,J.-X.,Physics-informated graph neural Galerkin networks:a unified framework for solution PDE-govered forward and inverse problems,计算。方法应用。机械。工程,390,第114502条pp.(2022)·Zbl 1507.65223号
[49] 刘晓云。;Sun,H。;朱,M。;Lu,L.等人。;Wang,J.-X.,通过多分辨率PDE结构预留深度学习预测参数时空动力学(2022),arXiv预印本
[50] 长,Z。;卢,Y。;马,X。;Dong,B.,PDE-Net:从数据中学习PDE,(机器学习国际会议,PMLR(2018)),3208-3216
[51] 长,Z。;卢,Y。;Dong,B.,PDE-Net 2.0:使用数字符号混合深度网络从数据中学习PDE,J.Compute。物理。,399,第108925条pp.(2019)·Zbl 1454.65131号
[52] Rao,C。;任,P。;刘,Y。;Sun,H.,利用物理编码学习从稀缺数据中发现非线性偏微分方程,(国际学习表征会议(2022)),1-19
[53] 李,Z。;科瓦奇奇,N。;阿齐扎登谢利,K。;刘,B。;巴塔查亚,K。;Stuart,A。;Anandkumar,A.,《神经算子:偏微分方程的图核网络》(2020),arXiv预印本
[54] 李,Z。;科瓦奇奇,N。;Azizzadenesheli,K。;刘,B。;巴塔查亚,K。;Stuart,A。;Anandkumar,A.,参数偏微分方程的傅里叶神经算子(2020),arXiv预印本
[55] Han,J。;Wang,C.,TSR-TVD:时变数据分析和可视化的时间超分辨率,IEEE Trans。视觉。计算。图表。,26, 1, 205-215 (2019)
[56] 博德,M。;戈丁,M。;Lian,Z。;Denker,D。;达维多维奇,M。;Kleinheinz,K。;J.季采夫。;Pitsch,H.,《使用基于物理的超分辨率生成对抗网络对湍流反应流进行子网格建模》(2019年),arXiv预印本
[57] 王,C。;Bentivegna,E。;周,W。;克莱因,L。;Elmegreen,B.,平流扩散模型的物理信息神经网络超分辨率(2020),arXiv预印本
[58] A.Subramaniam、M.L.Wong、R.D.Borker、S.Nimmagadda、S.K.Lele,《利用物理信息生成对抗网络进行湍流浓缩》,arXiv电子版,2020年。
[59] Esmaeilzadeh,S。;Azizzadenesheli,K。;Kashinath,K。;穆斯塔法,M。;Tchelepi,H.A。;马库斯,P。;Prabhat,M。;Anandkumar,A.,Meshfreeflownet:一个物理约束的深连续时空超分辨率框架,(SC20:高性能计算、网络、存储和分析国际会议(2020),IEEE),1-15
[60] 高,H。;Sun,L。;Wang,J.-X.,使用无高分辨率标签的基于物理信息的卷积神经网络对流体流动进行超分辨率和去噪,Phys。流体,33,7,第073603条pp.(2021)
[61] 史,X。;Chen,Z。;Wang,H。;Yeung,D.-Y。;Wong,W.-K。;Woo,W.c.,卷积LSTM网络:降水预报的机器学习方法,高级神经信息处理。系统。,28, 802-810 (2015)
[62] Hochreiter,S。;Schmidhuber,J.,长短期记忆,神经计算。,9, 8, 1735-1780 (1997)
[63] Graves,A.,用递归神经网络生成序列(2013),arXiv预印本
[64] Sutskever,I。;葡萄酒,O。;Le,Q.V.,神经网络的序列到序列学习(2014),arXiv预印本
[65] 奥德娜,A。;杜穆林,V。;Olah,C.,《反褶积和棋盘制品》,《蒸馏》,1,10,e3(2016)
[66] Salimans,T。;Kingma,D.P.,《权重归一化:加速深层神经网络训练的简单重参数化》,《高级神经信息处理》。系统。,29, 901-909 (2016)
[67] Hughes,T.J.,《有限元方法:线性静态和动态有限元分析》(2012),Courier Corporation
[68] 日内瓦,N。;Zabaras,N.,《物理系统建模的变形金刚》,神经网络。,146, 272-289 (2022) ·Zbl 1521.68184号
[69] O.Ronneberger。;菲舍尔,P。;Brox,T.,《U-net:生物医学图像分割的卷积网络》,(医学图像计算和计算机辅助干预国际会议(2015),施普林格),234-241
[70] Paszke,A。;毛重,S。;马萨,F。;Lerer,A。;布拉德伯里,J。;Chanan,G。;基林,T。;林,Z。;Gimelshein,N。;Antiga,L.,Pytorch:一个命令式、高性能的深度学习库,Adv.Neural Inf.Process。系统。,32, 8026-8037 (2019)
[71] Kingma,D.P。;Ba Adam,J.,《随机优化方法》(2014),arXiv预印本
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。