×
拉斯·鲁索托；埃尔达·哈伯

偏微分方程驱动的深层神经网络。 （英语） Zbl 1434.68522号

数学杂志。成像视觉。 62，第3期，352-364（2020年）.
概述：偏微分方程（PDE）是建模许多物理现象所必需的，也常用于解决图像处理任务。在后一个领域，基于PDE的方法将图像数据解释为多元函数的离散化，图像处理算法的输出解释为某些PDE的解。在无限维环境中提出图像处理问题为其分析和解决提供了强大的工具。在过去的几十年里，通过PDE透镜对经典图像处理问题的重新解释创造了多种著名的方法，这些方法有助于完成包括图像分割、去噪、配准和重建在内的广泛任务。在本文中，我们对一类深度卷积神经网络（CNN）建立了一种新的PDE解释，这些网络通常用于从语音、图像和视频数据中学习。我们的解释包括卷积残差神经网络（ResNet），它是最有前途的方法之一，用于图像分类等任务，在著名的基准挑战中提高了最先进的性能。尽管最近取得了成功，但deep ResNets仍然面临着一些与其设计、巨大的计算成本和内存需求以及对其推理缺乏理解相关的关键挑战。在成熟的PDE理论的指导下，我们导出了三种新的ResNet架构，它们分为两类：抛物线CNN和双曲线CNN。我们演示了PDE理论如何为深度学习提供新的见解和算法，并使用数值实验演示了三种新CNN架构的竞争力。

引用于51文件

MSC公司：

68T07型 人工神经网络与深度学习
35问68 与计算机科学相关的PDE
68单位10 图像处理的计算方法

关键词：

机器学习；深度神经网络；偏微分方程；PDE约束优化；图像分类

软件：

AlexNet公司；ImageNet公司；展会。米；PESC公司；DeepXlore公司；火炬差异；STL-10数据集；CIFAR公司
PDF格式BibTeX公司 XML格式引用
\textit{L.Ruthotto}和\textit{E.Haber}，J.数学。成像视觉。62，第3号，352--364（2020；Zbl 1434.68522）
全文： 内政部 arXiv公司

参考文献：

[1] Ambrosio，L。；Tortorelli，VM，通过伽玛收敛对依赖于椭圆泛函跳跃的泛函的逼近，Commun。纯应用程序。数学。，43, 8, 999-1036 (1990) ·Zbl 0722.49020号 ·doi:10.1002/cpa.3160430805
[2] Ascher，U.，《演化微分方程的数值方法》（2010），费城：SIAM，费城
[3] 美国阿斯彻。；马特海伊（Mattheij，R.）。；Russell，R.，常微分方程边值问题的数值解（1995），费城：SIAM，费城·Zbl 0843.65054号
[4] Bengio，Y.，《学习人工智能的深层架构》，Found。趋势马赫数。学习。，2, 1, 1-127 (2009) ·Zbl 1192.68503号 ·doi:101561/2200000006
[5] Y.本吉奥。；西马德，P。；Frasconi，P.，学习梯度下降的长期依赖性是困难的，IEEE Trans。神经网络。，5, 2, 157-166 (1994) ·doi:10.1109/72.279181
[6] 比格勒，LT；O.加塔斯。；Heinkenschloss，M。；凯斯，D。；van Bloemen Waanders，B.，《实时PDE-Constrained Optimization》（2007年），费城：工业和应用数学学会·Zbl 1117.49004号
[7] 波茨？，A。；Schulz，V.，偏微分方程控制系统的计算优化（2012），费城：工业和应用数学学会·Zbl 1240.90001号
[8] Chan，TF；Vese，LA，无边活动轮廓，IEEE Trans。图像处理。，10, 2, 266-277 (2001) ·Zbl 1039.68779号 ·数字对象标识代码：10.1109/83.902291
[9] Chang，B.、Meng，L.、Haber，E.、Ruthotto，L.，Begert，D.、Holtham，E.：任意深度剩余神经网络的可逆结构。In:AAAI人工智能会议（2018）
[10] Chaudhari，P.、Oberman，A.、Osher，S.、Soatto，S.和Carlier，G.：深度松弛：优化深度神经网络的偏微分方程。arXiv预印arXiv:1704.04932，（2017）·Zbl 1427.82032年
[11] Chen，T.Q.，Rubanova，Y.，Bettencourt，J.，Duvenaud，D.：神经常微分方程。arXiv预印arXiv:1806.07366（2018）
[12] 陈，Y。；Pock，T.，《可训练非线性反应扩散：快速有效图像恢复的灵活框架》，IEEE Trans。模式分析。机器。智力。，39, 6, 1256-1272 (2017) ·doi:10.1109/TPAMI.2016.2596743
[13] Cisse，M.，Bojanowski，P.，Grave，E.，Dauphin，Y.，Usunier，N.：Parseval网络：提高对抗性示例的鲁棒性。摘自：《第34届机器学习国际会议论文集》，第70卷，第854-863页。JMLR公司。组织，（2017）
[14] Coates，A.、Ng，A.、Lee，H.：无监督特征学习中单层网络的分析。摘自：《第十四届国际人工智能与统计会议论文集》，第215-223页（2011年）
[15] Combettes，P.L.，Pesquet，J.-C.：求解变分不等式的深层神经网络结构。arXiv预印arXiv:1808.07526（2018）·Zbl 1448.49014号
[16] Combettes，P.L.，Pesquet，J.-C.：平均激活算子驱动的神经网络结构的Lipschitz证书。arXiv预印本arXiv:1903.01014v2（2019）
[17] Dundar，A.，Jin，J.，Culurciello，E.：无监督学习的卷积聚类。致：ICLR（2015）
[18] Gomez，A.N.，Ren，M.，Urtasun，R.，Grosse，R.B.：可逆残差网络：不存储激活的反向传播。摘自：《神经信息处理系统进展》，第2211-2221页（2017年）
[19] 古德费罗，I。；Y.本吉奥。；Courville，A.，《深度学习》（2016），剑桥：麻省理工学院出版社，剑桥·Zbl 1373.68009号
[20] Goodfellow，I.J.，Shlens，J.，Szegedy，C.：解释和利用对抗性例子。arXiv预印本arXiv:1412.6572（2014）
[21] 哈伯，E。；Ruthotto，L.，深度神经网络的稳定架构，逆问题。，34, 014004 (2017) ·Zbl 1426.68236号 ·doi:10.1088/1361-6420/aa9a90
[22] Haber，E.，Ruthotto，L.，Holtham，E.：跨尺度学习——卷积神经网络的多尺度方法。摘自：AAAI人工智能会议，第1-8页，arXiv:1703.02009（2017）
[23] 汉森，PC；Nagy，JG；O'Leary，DP，《去模糊图像：矩阵、光谱和滤波》（2006），费城：SIAM，费城·Zbl 1112.68127号
[24] He，K.，Zhang，X.，Ren，S.，Sun，J.：图像识别的深度剩余学习。摘自：IEEE计算机视觉和模式识别会议记录，第770-778页（2016）
[25] He，K.，Zhang，X.，Ren，S.，Sun，J.：深度剩余网络中的同一映射。摘自：第36届机器学习国际会议，第630-645页（2016）
[26] 埃尔南德斯·洛巴托，JM；马萨诸塞州盖尔巴特；亚当斯，RP；霍夫曼，MW；Ghahramani，Z.，《使用基于信息的搜索进行约束贝叶斯优化的通用框架》，J.Mach。学习。研究，17，2-51（2016）·Zbl 1391.90641号
[27] Herzog，R。；Kunisch，K.，PDE约束优化算法，GAMM-Mitteilungen，33，2，163-176（2010）·Zbl 1207.49034号 ·doi:10.1002/gamm.201010013
[28] 辛顿，G。；邓，L。；Yu，D。；Dahl，通用电气；穆罕默德，A-R；北卡罗来纳州贾特利。；高级，A。；Vanhoucke，V。；Nguyen，P。；Sainath，TN，语音识别中声学建模的深度神经网络：四个研究小组的共同观点，IEEE信号处理。Mag.，29，6，82-97（2012）·doi:10.1109/MSP.2012.2205597
[29] 喇叭，黑色；Schunck，BG，《确定光流》，Artif。智力。，17, 1-3, 185-203 (1981) ·Zbl 1497.68488号 ·doi:10.1016/0004-3702（81）90024-2
[30] Ioffe，S.，Szegedy，C.：批量规范化：通过减少内部协变量的转移来加速深层网络训练。摘自：第32届机器学习国际会议，第448-456页（2015）
[31] Krizhevsky，A.，Hinton，G.：从微小图像中学习多层特征。多伦多大学技术报告（2009年）
[32] Krizhevsky，A。；Sutskever，I。；Hinton，G.，深度卷积神经网络的图像网络分类，高级神经网络信息处理。系统。，61, 1097-1105 (2012)
[33] LeCun，Y。；Bengio，Y.，图像、语音和时间序列的卷积网络，Handb。脑理论神经网络。，3361, 255-258 (1995)
[34] LeCun，Y。；Y.本吉奥。；Hinton，G.，深度学习，《自然》，52175533436-444（2015）·doi:10.1038/nature14539
[35] LeCun，Y.，Kavukcuoglu，K.，Farabet，C.：卷积网络及其在视觉中的应用。摘自：IEEE电路和系统国际研讨会：纳米生物电路结构和系统，第253-256页（2010年）
[36] 李，Q。；Chen，L。；Tai，C.等人。；Weinan，E.，深度学习的基于最大原理的算法，J.Mach。学习。研究，18，1，5998-6026（2017）·兹比尔1467.68156
[37] Modersitzki，J.，《FAIR：图像配准的灵活算法》（2009），费城：SIAM，费城·Zbl 1183.68695号
[38] Moosavi-Dezfuli，S.M.、Fawzi，A.、F、O.：arXiv和2017年。普遍的对抗性扰动。openaccess.thecvf.com
[39] 芒福德，D。；Shah，J.，分段光滑函数的最佳逼近和相关变量问题，Commun。纯应用程序。数学。，42, 5, 577-685 (1989) ·Zbl 0691.49036号 ·doi:10.1002/cpa.3160420503
[40] Pei，K.，Cao，Y.，Yang，J.，Jana，S.：深度探索：深度学习系统的自动白盒测试。第26届Oper研讨会。系统。普林克。，第1-18页。纽约ACM出版社（2017）
[41] 佩罗纳，P。；Malik，J.，使用各向异性扩散的尺度空间和边缘检测，IEEE Trans。模式分析。机器。智力。，12, 7, 629-639 (1990) ·doi:10.1109/34.56205
[42] Raina，R.、Madhavan，A.、Ng，A.Y.：使用图形处理器进行大规模深度无监督学习。摘自：第26届国际年会，第873-880页。ACM，纽约（2009）
[43] 罗杰斯，C。；Moodie，T.，《波动现象：现代理论与应用》（1984），北荷兰人：爱思唯尔科学，北荷兰·Zbl 0542.00018号
[44] Rosenblatt，F.，《感知器：大脑中信息存储和组织的概率模型》，《心理学》。修订版，65、6、386-408（1958年）·doi:10.1037/0042519
[45] 李鲁丁；奥舍，S。；Fatemi，E.，基于非线性总变差的噪声去除算法，Phys。D、 60、1-4、259-268（1992）·Zbl 0780.49028号 ·doi:10.1016/0167-2789（92）90242-F
[46] 谢泽尔，O。；Grasmair，M。；Grossauer，H。；Haltmeier，M。；Lenzen，F.，《成像中的变化方法》（2009），纽约：Springer，纽约·Zbl 1177.68245号
[47] 托拉尔巴，A。；弗格斯，R。；WT弗里曼，8000万张微小图像：非参数物体和场景识别的大型数据集，IEEE Trans。模式分析。机器。智力。，30, 11, 1958-1970 (2008) ·doi:10.1109/TPAMI.2008.128
[48] Weickert，J.：图像处理中的各向异性扩散。斯图加特（2009）·Zbl 0888.68120号
[49] Weinan，E.，《通过动态系统进行机器学习的建议》，Commun。数学。统计，5，1，1-11（2017）·Zbl 1380.37154号
[50] Yang，S.，Luo，P.，Loy，C.C.，Shum，W.K.，Tang，X.：使用目标编码进行深度视觉表征学习。在：AAAI人工智能会议，第3848-3854页（2015）
[51] Zagoruyko，S.，Komodakis，N.：宽剩余网络。arXiv预印arXiv:1605.07146（2016）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。