×
你，怀谦;于，岳;玛尔塔·德埃利亚;高、田;斯图尔特·西林

非局部核网络（NKN）：一种稳定且与分辨率无关的深度神经网络。 （英语） Zbl 07592139号

J.计算。物理。 469，文章ID 111536，22 p.（2022）.
总结：神经操作员[L.Lu先生，P.Jin（P.金）和G.E.卡尼亚达基斯，“DeepONet:学习非线性算子，基于算子的普遍逼近定理识别微分方程”，预印本，arXiv:1910.03193;L.Lu先生等，“基于算子的普遍逼近定理，通过DeepONet学习非线性算子”，Nat.Mach。智力。3, 218–229 (2021;doi:10.1038/s42256-021-00302-5);Z.李等，“神经算子：偏微分方程的图形核网络”，预印本，arXiv:2003.03485号;Z.李等，“参数偏微分方程的多极图神经算子”，in：《神经信息处理系统的进展》33，NeurIPS 2020，2020年12月6日至12日。纽约州Red Hook:Curran Associates，Inc.6755–6766（2020），https://proceedings.neurips.cc/paper/2020/file/4b21cf96d4cf612f239a6c322b10c8fe-paper.pdf;Z.李等，“参数偏微分方程的傅里叶神经算子”，预印本，arXiv:2010.08895]最近已成为以神经网络的形式设计函数空间之间的解映射的流行工具。与以固定分辨率为输入参数的单个实例学习已知偏微分方程（PDE）参数的经典科学机器学习方法不同，神经算子近似于一系列偏微分方程的解映射[N.Kovachki et al.，“神经算子：函数空间之间的学习映射”，预打印，arXiv:2108.08481;L.Lu先生等，“基于fair数据的两个神经算子（带实际扩展）的全面而公平的比较”，Preprint，arXiv:2111.05512，另请参见Zbl 1507.65050号]。尽管它们取得了成功，但迄今为止，神经运算符的使用仅限于相对较浅的神经网络，并局限于学习隐藏的控制律。在这项工作中，我们提出了一种新的非局部神经算子，我们称之为非局部核网络（NKN），它与分辨率无关，以深度神经网络为特征，能够处理各种任务，例如学习控制方程和分类图像。我们的NKN源于将神经网络解释为一个离散的非局部扩散反应方程，该方程在无限层的极限下等价于一个抛物线非局部方程，其稳定性通过非局部向量演算进行分析。神经算子积分形式的相似性使得NKN能够捕获特征空间中的长期依赖性，而节点间交互的连续处理使得NKNs的分辨率独立。与神经ODE的相似性（在非局部意义上重新解释）以及层之间的稳定网络动力学允许将NKN的最佳参数从浅层网络推广到深层网络。这一事实支持使用浅到深的初始化技术[E.哈伯等，“跨尺度学习-卷积神经网络的多尺度方法”，载于：第三十二届AAAI人工智能会议，路易斯安那州新奥尔良，2018年2月2-7日。美国加利福尼亚州帕洛阿尔托：AAAI出版社。3142–4148 (2018;doi:10.1609/aaai.v32i1.11680)]. 我们的测试表明，NKN在学习控制方程和图像分类任务方面都优于基线方法，并且可以很好地推广到不同的分辨率和深度。

引用于9文件

MSC公司：

68泰克 人工智能
第35季度 数学物理偏微分方程及其他应用领域
26亿 多变量函数

关键词：

神经算子学习;深度学习;偏微分方程学习;图像分类;非局部微积分

引文：

Zbl 1507.65050号

软件：

展会。米;深度ONet;EikoNet公司;CIFAR公司
PDF格式BibTeX公司 XML格式引用
\textit{H.You}等人，J.Compute。物理学。469，文章ID 111536，22 p.（2022；Zbl 07592139）
全文： DOI程序 arXiv公司

参考文献：

[1] 卢，L。；Jin，P。；Karniadakis，G.E.，DeepONet：基于算子的普遍逼近定理学习用于识别微分方程的非线性算子，arXiv预印本
[2] 卢，L。；Jin，P。；庞，G。；张，Z。；Karniadakis，G.E.，基于算子的普遍逼近定理，通过deeponet学习非线性算子，Nat.Mach。智力。，3, 3, 218-229 (2021)
[3] 李，Z。；科瓦奇奇，N。；Azizzadenesheli，K。；刘，B。；巴塔查里亚，K。；斯图尔特，A。；Anandkumar，A.，《神经算子：偏微分方程的图核网络》，arXiv预印本
[4] 李，Z。；科瓦奇奇，N.B。；Azizzadenesheli，K。；刘，B。；Stuart，A。；巴塔查亚，K。；Anandkumar，A.，参数偏微分方程的多极图神经算子，（神经信息处理系统进展（2020））
[5] 李，Z。；科瓦奇奇，N.B。；Azizzadenesheli，K。；巴塔查亚，K。；Stuart，A。；Anandkumar，A.，参数偏微分方程的傅里叶神经算子（国际学习表征会议（2020））
[6] 科瓦奇奇，N。；李，Z。；刘，B。；Azizzadenesheli，K。；巴塔查亚，K。；Stuart，A。；Anandkumar，A.，《神经运算符：函数空间之间的学习映射》，arXiv预印本
[7] 卢，L。；X孟。；蔡，S。；毛，Z。；戈斯瓦米，S。；张，Z。；Karniadakis，G.E.，基于公平数据的两个神经算子（带实际扩展）的全面公平比较，arXiv预印本·Zbl 1507.65050号
[8] 哈伯，E。；鲁索托，L。；霍尔特姆，E。；Jun，S.-H.，《跨尺度学习——卷积神经网络的多尺度方法》（AAAI人工智能会议论文集，第32卷（2018））
[9] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《物理信息神经网络：解决涉及非线性偏微分方程的正向和反向问题的深度学习框架》，J.Comput。物理。，378, 686-707 (2019) ·Zbl 1415.68175号
[10] 郭，X。；李伟（Li，W.）。；Iorio，F.，用于稳定流近似的卷积神经网络，（第22届ACM SIGKDD国际知识发现和数据挖掘会议论文集（2016）），481-490
[11] 朱，Y。；Zabaras，N.，《替代建模和不确定性量化的贝叶斯深度卷积编解码网络》，J.Compute。物理。，366415-447（2018）·Zbl 1407.62091号
[12] 阿德勒，J。；Øktem，O.，使用迭代深度神经网络解决不适定逆问题，逆问题。，第33、12条，第124007页（2017年）·Zbl 1394.92070号
[13] Bhatnagar，S.公司。；阿夫沙尔，Y。；潘，S。；Duraisamy，K。；Kaushik，S.，使用卷积神经网络预测空气动力流场，计算。机械。，64, 2, 525-545 (2019) ·Zbl 1468.76051号
[14] Khoo，Y。；卢，J。；Ying，L.，用人工神经网络解决参数PDE问题，欧洲期刊应用。数学。，32, 3, 421-435 (2021) ·Zbl 1501.65154号
[15] De los Reyes，J.C.，《数值PDE-Constrained Optimization》（2015），施普林格出版社·Zbl 1312.65100号
[16] E.渭南。；Yu，B.，《Deep Ritz方法：求解变分问题的基于深度学习的数值算法》，Commun。数学。统计，6，1-12（2018）·Zbl 1392.35306号
[17] Bar，L。；Sochen，N.，基于PDE的正向和反向问题的无监督深度学习算法，arXiv预印本
[18] J.D.史密斯。；Azizzadenesheli，K。；Ross，Z.E.，EikoNet:用深度神经网络求解Eikonal方程，IEEE地球科学与遥感汇刊，59，12，10685-10696（2021）
[19] 潘，S。；Duraisamy，K.，《保证稳定性的非线性动力学线性嵌入的物理信息概率学习》，SIAM J.Appl。动态。系统。，19, 1, 480-509 (2020) ·Zbl 1442.37090号
[20] 阿维拉，P.H。；Tavares，A.R。；戈里，M。；Lamb，L.C.，图的离散和连续深度剩余学习，arXiv预印本
[21] Lefkimmiatis，S.，卷积神经网络用于非局部彩色图像去噪，（IEEE计算机视觉和模式识别会议论文集（2017）），3587-3596
[22] O'Shea，K。；Nash，R.，卷积神经网络简介，arXiv预印本
[23] 顾，F。；Chang，H。；朱，W。；Sojoudi，S。；Ghaoui，L.E.，隐式图形神经网络，arXiv预印本
[24] 伊亚科夫列夫。；海诺宁，M。；Lähdesmäki，H.，用图神经网络从稀疏数据学习连续时间PDE，arXiv预印本
[25] 波利，M。；马萨罗利，S。；Park，J。；Yamashita，A。；Asama，H。；Park，J.，《图形神经常微分方程》，arXiv预印本
[26] Xhonneux，L.-P。；曲，M。；Tang，J.，连续图神经网络，（机器学习国际会议，PMLR（2020）），10432-10441
[27] Tao，Y。；孙，Q。；杜琪。；Liu，W.，非局部神经网络、非局部扩散和非局部建模，（第32届神经信息处理系统国际会议论文集（2018）），494-504
[28] Alet，F。；Jeewajee，A.K。；维拉隆加，M.B。；罗德里格斯，A。；Lozano-Perez，T。；Kaelbling，L.，图元网络：自适应、结构化计算和记忆，（机器学习国际会议，PMLR（2019）），212-222
[29] 王，X。；吉尔希克，R。；古普塔，A。；He，K.，非局部神经网络，（IEEE计算机视觉和模式识别会议论文集（2018））
[30] 杜琪。；Gunzburger，M。；勒霍克，R。；Zhou，K.，体积约束下非局部扩散问题的分析与逼近，SIAM Rev.，54，4，667-696（2012）·Zbl 1422.76168号
[31] Modersitzki，J.，《FAIR：图像配准的灵活算法》（2009），SIAM·Zbl 1183.68695号
[32] LeVeque，R.J.，《常微分方程和偏微分方程的有限差分方法：稳态和时间相关问题》（2007），SIAM·兹比尔1127.65080
[33] 齐恩基维茨，O.C。；Taylor，R.L。；Nithiarasu，P。；Zhu，J.，《有限元法》，第3卷（1977年），McGraw-Hill:McGraw-Hill London·Zbl 0435.73072号
[34] 卡尼亚达基斯，G。；Sherwin，S.，《计算流体动力学的谱/HP元素方法》（2005），牛津大学出版社·Zbl 1116.76002号
[35] Ranade，R。；Gitushi，K。；Echekki，T.，使用deeponet，arXiv预印本的扰动燃烧广义联合概率密度函数公式
[36] Kim，M。；韦诺维奇，N。；林·G。；Jeong，W.，Peri-Net:使用深度神经网络分析裂纹模式，J.Peridyn。非本地模型。，1, 2, 131-142 (2019)
[37] Williams，C.K.I.，《无限网络计算》，（第九届神经信息处理系统国际会议论文集（1996），麻省理工学院出版社：麻省理学院出版社，美国马萨诸塞州剑桥）
[38] Roux，N.L。；Bengio，Y.，连续神经网络，（Meila，M.；Shen，X.，第十一届国际人工智能与统计会议论文集。第十一届国际人工智能与统计会议论文集，PMLR，第2卷（2007）），404-411
[39] He，K。；张，X。；任，S。；Sun，J.，图像识别的深度剩余学习，（IEEE计算机视觉和模式识别会议论文集（2016））
[40] El Ghaoui，L。；顾，F。；Travacca，B。；Askari，A。；蔡，A.，内隐深度学习，SIAM J.数学。数据科学。，3, 3, 930-958 (2021) ·Zbl 07419553号
[41] Bai，S。；Kolter，J.Z。；Koltun，V.，深度平衡模型，（第33届神经信息处理系统国际会议论文集（2019）），690-701
[42] 温斯顿，E。；Kolter，J.Z.，单调算子平衡网络，高级神经信息处理。系统。，33, 10718-10728 (2020)
[43] Bai，S。；科尔顿，V。；Kolter，J.Z.，多尺度深度平衡模型，高级神经网络信息过程。系统。，335238-5250（2020）
[44] D'Elia，M。；杜琪。；Glusa，C。；Gunzburger，M。；田，X。；Zhou，Z.，非局部和分数阶模型的数值方法，Acta Numer。，29, 1-124 (2020) ·Zbl 07674560号
[45] 杜琪。；Gunzburger，M。；Lehoucq，R.B。；Zhou，K.，《非局部向量演算、非局部体积约束问题和非局部平衡定律》，数学。模型方法应用。科学。，23, 03, 493-540 (2013) ·兹比尔1266.26020
[46] D'Elia，M。；M.古利安。；奥尔森·H。；Karniadakis，G.E.，走向分数和非局部向量演算的统一理论，分形。计算应用程序。分析。，24, 5, 1301-1355 (2021) ·Zbl 1498.26008号
[47] D'Elia，M。；杜琪。；Gunzburger，M。；Lehoucq，R.，有界区域上的非局部对流扩散问题和有限范围跳跃过程，计算。方法应用。数学。，29, 71-103 (2017)
[48] D'Elia，M。；Gulian，M.，各向异性非局部扩散模型分析：反常输运分数问题的适定性，arXiv预印本·Zbl 07672281号
[49] 孟格莎，T。；Du，Q.，带变号核的标量非局部周动力模型分析，离散Contin。动态。系统。，序列号。B、 18、5、1415-1437（2013）·兹比尔1278.45014
[50] Hochreiter，S.，学习递归神经网络和问题解决方案期间的消失梯度问题，Int.J.Uncertain。模糊知道-基于系统。，6, 02, 107-116 (1998) ·Zbl 1087.68616号
[51] LeCun，Y。；杰克尔，L.D。；博图，L。；科尔特斯，C。；Denker，J.S。；Drucker，H。；盖恩，I。；美国穆勒。；Sackinger，E。；Simard，P.，《分类学习算法：手写数字识别的比较》，神经网络。统计机械。展望。，261276，2（1995年）
[52] A.Krizhevsky，G.Hinton，《从微小图像中学习多层特征》，Citeser，2009年。
[53] 阿尔巴维，S。；穆罕默德，T.A。；Al-Zawi，S.，《卷积神经网络的理解》，（2017年国际工程技术会议（ICET）（2017年），IEEE），1-6
[54] He，K。；张，X。；任，S。；Sun，J.，深度剩余网络中的身份映射，（欧洲计算机视觉会议（2016），施普林格），630-645
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。