巴特·斯梅茨（Bart M.N.Smets）。;吉姆·波特基斯;埃里克·贝克斯。;雷姆科·杜伊斯 基于PDE的群等变卷积神经网络。 （英语） Zbl 07694854号 数学杂志。成像视觉。 65，编号1，209-239（2023）. 摘要：我们提出了一个基于PDE的框架，它推广了群等变卷积神经网络（G-CNN）。在此框架中，网络层被视为一组PDE解算器，其中具有几何意义的PDE系数成为层的可训练权重。在齐次空间上公式化我们的PDE可以使这些网络设计具有内置对称性，例如旋转，以及CNN的标准平移等方差。在设计中包含所有所需的对称性，无需通过数据增强等昂贵技术将其包含在内。我们将在一般齐次空间设置中讨论基于PDE-的G-CNN（PDE-G-CNN），同时还将讨论我们感兴趣的主要案例的具体情况：旋转平移等方差。我们通过将线性群卷积和非线性形态群卷积与解析核近似相结合来解决感兴趣的偏微分方程，我们以形式化定理为基础。我们的核近似允许PDE解算器的快速GPU实现；我们以LieTorch扩展到PyTorch的形式发布了本文的实现，可以在https://gitlab.com/bsmetsjr/lietorch网站与线性卷积一样，形态卷积由我们在PDE-G-CNN中训练的内核指定。在PDE-G-CNN中，我们不使用非线性，如max/min-pooling和ReLUs，因为它们已经被形态卷积所包含。我们提供了一组实验来证明所提出的PDE-G-CNN在提高基于深度学习的成像应用程序性能方面的优势，与传统CNN相比，其参数要少得多。 引用于7文件 MSC公司： 68倍 计算机科学 94-XX年 信息与通信理论、电路 关键词：产品开发工程师;群等方差;深度学习;形态尺度空间 软件：ScatNet公司;RotNIST公司;KerGNN公司;LieTorch公司;亚当;PyTorch公司;火炬差异;PDE-网络;github PDF格式BibTeX公司 XML格式引用 \textit{B.M.N.Smets}等人，《数学杂志》。成像视觉。65，编号1，209--239（2023；Zbl 07694854） 全文： 内政部 arXiv公司 OA许可证 参考文献： [1] Welk，M.，Weickert，J.：M-平滑器的PDE进化：从常见的神话到强大的数字。摘自：计算机视觉中尺度空间和变分方法国际会议，第236-248页。施普林格（2019） [2] 法迪利，J。；Kutyniok，G。；佩雷，G。；Plonka-Hoch，G。；Steidl，G.，客座编辑：数学和图像分析，J.Math。成像视觉。，52, 3, 315-316 (2015) [3] 佩雷，G。；佩绍德，M。；克里文，R。；Cohen，LD，计算机视觉和图形中的测地方法，Found。趋势。计算。图表。视觉。，5, 3, 197-397 (2010) ·Zbl 1217.65042号 [4] 杜布罗维纳·卡尼，A。；罗斯曼，G。；Kimmel，R.，《具有单水平集功能的多区域活动轮廓》，IEEE PAMI，37，8，1585-1601（2015） [5] 汉堡，M。；Sawatzky，A。；Steidl，G.，变分图像处理中的一阶算法（2016），Cham:Springer，Cham·Zbl 1372.65053号 [6] 杜兰，J。；穆勒，M。；斯伯特，C。；Cremers，D.，《协作全变差：矢量电视模型的一般框架》，SIAM SIIMS，9，1，116-151（2016）·Zbl 1381.94016号 [7] 威克特，J。；Grewenig，S。；施罗德斯，C。；Bruhn，A.，基于PDE的图像分析的循环方案，国际计算机杂志。视觉。，118, 3, 275-299 (2016) ·Zbl 1398.68600号 [8] Sapiro，G.，《几何偏微分方程和图像分析》（2001），剑桥：剑桥大学出版社，剑桥·Zbl 0968.35001号 ·doi:10.1017/CBO9780511626319 [9] Sethian，J.，水平集方法和快速行进方法（1999），剑桥：剑桥大学出版社，剑桥·兹比尔0973.76003 [10] Weickert，J.，图像处理中各向异性扩散的理论基础，计算机。补遗，11，221-236（1996） [11] 莫雷尔，J。；Solimini，S.，《图像分割中的变分方法：七个图像处理实验》。非线性微分方程及其应用进展（1995），巴塞尔：Birkhäuser，巴塞尔 [12] Duits，R.，Burgeth，B.：李群上的尺度空间。摘自：计算机视觉中尺度空间和变分方法国际会议，第300-312页。施普林格（2007） [13] Cohen，T.S.，Welling，M.：群等变卷积网络。摘自：机器学习国际会议，第2990-2999页（2016年） [14] Dieleman，S.、De Fauw，J.、Kavukcuoglu，K.：利用卷积神经网络中的循环对称性（2016）。arXiv预打印arXiv:1602.02660 [15] 迪尔曼，S。；威利特，KW；Dambre，J.，用于星系形态预测的旋转不变卷积神经网络，周一。不是。R.阿斯顿。Soc.，450，2，1441-1459（2015） [16] Winkels，M.，Cohen，T.S.：肺部结节检测的3D G-CNN（2018年）。arXiv预打印arXiv:1804.04656 [17] Worrall，D.，Brostow，G.：立方体：三维旋转和平移的等差。摘自：《欧洲计算机视觉会议记录》，第567-584页（2018年） [18] 别克斯，EJ；龙，M。；特哈尔·罗梅尼，BM；Duits，R.，通过旋转平移组上的密度进行模板匹配，IEEE Trans。模式分析。机器。智力。，40, 2, 452-466 (2017) [19] Oyallon，E.，Mallat，S.：用于对象分类的深度旋转平移散射。摘自：IEEE计算机视觉和模式识别会议记录，第2865-2873页（2015） [20] Bekkers，E.J.、Lafarge，M.W.、Veta，M.、Eppenhof，K.A.、Pluim，J.P.、Duits，R.：医学图像分析的旋转平移协变卷积网络。摘自：医学图像计算和计算机辅助干预国际会议，第440-448页。斯普林格（2018）。arXiv公司：1804.03393 [21] Weiler，M.，Hamprecht，F.A.，Storath，M.：学习旋转等变cnns的可操纵滤波器。摘自：IEEE计算机视觉和模式识别会议记录，第849-858页（2018年） [22] Cohen，T.S.，Geiger，M.，Weiler，M.：齐次空间上等变cnn的一般理论。In:神经信息处理系统进展，第32卷（2019年） [23] Worrall，D.E.，Garbin，S.J.，Turmukhambetov，D.，Brostow，G.J.：谐波网络：深度平移和旋转等方差。摘自：IEEE计算机视觉和模式识别会议记录，第5028-5037页（2017） [24] Kondor，R.，Trivedi，S.：关于神经网络中的等变和卷积对紧群作用的推广。收录：Dy，J.，Krause，A.（编辑）第35届国际机器学习大会论文集。机器学习研究论文集，第80卷，第2747-2755页。PMLR，瑞典斯德哥尔摩Stockholmsmässan（2018）。http://proceedings.mlr.press/v80/kondor18a.html [25] Esteves，C.、Allen-Blanchette，C.，Makadia，A.、Danilidis，K.：学习球面CNN的SO（3）等变表示。摘自：《欧洲计算机视觉会议记录》，第52-68页（2018年） [26] Akian，M.，Quadrat，J.P.，Viot，M.：Bellman过程。在：第11届系统分析与优化国际会议离散事件系统，第302-311页。斯普林格（1994）·Zbl 0826.49021号 [27] Burgeth，B.，Welk，M.，Feddern，C.，Weickert，J.：矩阵值图像的形态学操作。摘自：欧洲计算机视觉会议，第155-167页。斯普林格（2004）·Zbl 1098.68738号 [28] 杜伊茨，R。；TD Haije；克鲁森，E。；Ghosh，A.，DW-MRI中纤维增强的形态学和线性尺度空间，J.Math。成像视觉。，46, 3, 326-368 (2013) ·Zbl 1303.92049号 [29] 别克斯，EJ；杜伊茨，R。；马什塔科夫，A。；Sanguinetti，GR，SE中数据驱动的亚黎曼测地线的PDE方法（2），SIAM J.成像科学。，8, 4, 2740-2770 (2015) ·Zbl 1336.58014号 [30] Haije，T.C.D.，Duits，R.，Tax，C.M.：通过侵蚀在弥散加权MRI中锐化纤维。在：多值数据张量和高阶描述符的可视化和处理，第97-126页。斯普林格（2014） [31] 杜伊茨，R。；Smets，B。；别克斯，EJ；Portegies，JM，通过位置和方向空间上的形态和线性尺度空间PDE进行等变深度学习，LNCS，12679，27-39（2021）·Zbl 1484.68206号 [32] Citti，G。；弗朗西斯科耶罗，B。；Sanguinetti，G。；Sarti，A.，图像处理的Sub-Riemannian平均曲率流，SIAM J.成像科学。，9, 1, 212-237 (2016) ·兹比尔1352.68272 [33] Chambolle，A。；Pock，T.，凸问题的一阶原对偶算法及其在成像中的应用，J.Math。成像视觉。，40, 1, 120-145 (2011) ·Zbl 1255.68217号 [34] Chambolle，A。；Pock，T.，总旋转平移变化，数值。数学。，142, 3, 611-666 (2019) ·兹比尔1418.53004 ·doi:10.1007/s00211-019-01026-w [35] Smets，BM；Portegies，J。；圣昂热，E。；Duits，R.，齐次位置和方向空间上的总变差和平均曲率偏微分方程，J.Math。成像视觉。，63, 2, 237-262 (2021) ·Zbl 1502.94013号 [36] 杜伊茨，R。；杜伊茨，M。；van Almsick，M。；ter Haar Romeny，B.，作为广义小波理论应用的可逆方向分数，模式识别。图像分析。，17, 1, 42-75 (2007) [37] 简森，MHJ；AJEM詹森；别克斯，EJ；JO贝斯科斯；Duits，R.，《3D图像可逆方向分数的设计与处理》，J.Math。成像视觉。，60, 9, 1427-1458 (2018) ·兹比尔1433.94012 ·doi:10.1007/s10851-018-0806-0 [38] 弗朗西斯科耶罗，B。；马什塔科夫，A。；Citti，G。；Sarti，A.，旋转平移组中通过亚黎曼测地线的几何视错觉，Differ。地理。申请。，65, 55-77 (2019) ·Zbl 1418.53038号 [39] Citti，G。；Sarti，A.，旋转翻译空间中基于皮层的感知完成模型，J.Math。成像视觉。，24, 3, 307-326 (2006) ·兹比尔1478.92100 [40] 杜伊茨，R。；Franken，EM，SE（2）上的左不变抛物线演化方程和通过可逆方向分数增强轮廓，第一部分：SE（2。数学。，68, 255-292 (2010) ·Zbl 1202.35334号 [41] 杜伊茨，R。；Franken，EM，SE（2）上的左不变抛物线演化方程和通过可逆方向分数进行轮廓增强，第二部分：可逆方向分数上的非线性左变扩散方程，Q.Appl。数学。，68, 293-331 (2010) ·Zbl 1205.35326号 [42] 张杰。；杜伊茨，R。；ter Haar Romeny，B。；Sanguinetti，G.，SE（2）上线性左变扩散的数值方法，与精确解的比较，及其在视网膜成像中的应用，Numer。数学。理论方法应用。，9, 1, 1-50 (2016) ·Zbl 1363.65008号 [43] 博斯卡因，美国。；切尔托夫斯基，RA；Gauthier，JP；雷米佐夫，AO，亚椭圆扩散与人类视觉：一个半离散的新扭曲，SIAM J.成像科学。，7, 2, 669-695 (2014) ·兹比尔1343.94002 [44] 贝塔利奥，M。；Calatroni，L。；弗朗西斯科，V。；弗朗西斯科耶罗，B。；Prandi，D。；Lellmann，J。；汉堡，M。；Modersitzki，J.，《大脑皮层启发的方向依赖性对比感知模型：与Wilson-Cowan方程的联系》，《计算机视觉中的尺度空间和变化方法》，472-484（2019），Cham:Springer，Cham [45] 杜伊茨，R。；Fuehr，H。；詹森，B。；Florack，L。；van Assen，H.，Gabor变换的演化方程及其应用，ACHA，35，3，483-526（2013）·Zbl 1296.35204号 [46] Barbieri，D。；Citti，G。；科奇，G。；Sarti，A.，《轮廓感知和运动整合的皮质启发几何学》，J.Math。成像视觉。，49, 3, 511-529 (2014) ·兹比尔1291.92074 [47] Petitot，J.，《作为亚黎曼接触结构的风车的神经几何学》，J.Physiol。巴黎，97，265-309（2003） [48] 费尔斯伯格，M。；弗森，体育；Scharr，H.，《信道平滑：低电平信号特征的高效稳健平滑》，IEEE Trans。模式分析。机器。智力。，28, 209-222 (2006) [49] Savadjiev，P。；Strijkers，G。；贝克曼，A。；Piuze，E。；Zucker，S。；Siddiqi，K.，心壁肌纤维排列在最小的表面以优化器官功能，PNAS，109，24，9248-9253（2012） [50] 杜伊茨，R。；Bekkers，E。；Mashtakov，A.，线性偏微分方程精确解的三维位置和方向齐次空间上的傅里叶变换，熵，21，1，38（2019） [51] Momayyez-Siahkal，P.，Siddiqi，K.：纤维束成像的3D随机完成场。摘自：IEEE计算机学会计算机视觉和模式识别会议论文集（2009年）。doi:10.1109/CVPRW.2009.5204044 [52] 杜伊茨，R。；Führ，H。；詹森，B。；布鲁米恩，M。；Florack，L。；van Assen，H.，Gabor变换的演化方程及其应用，应用。计算。哈蒙。分析。，35, 3, 483-526 (2013) ·Zbl 1296.35204号 [53] 博斯卡因，美国。；Prandi，D。；萨切利，L。；Turco，G.，《声音重建的生物灵感几何模型》，J.Math。神经科学。，11, 1, 1-18 (2021) ·Zbl 1467.92013年9月 [54] 巴斯皮纳尔，E。；Citti，G。；Sarti，A.，通过Gabor函数的多尺度方位偏好图几何模型，J.Math。成像视觉。，60, 6, 900-912 (2018) ·兹比尔1437.94006 [55] 贝克斯，E.J.：李群上的B样条细胞神经网络。参加：国际学习代表大会（2019年） [56] Finzi，M.，Stanton，S.，Izmailov，P.，Wilson，A.G.：将卷积神经网络推广到任意连续数据上的李群的等方差。收录于：III，H.D.，Singh，A.（编辑）第37届机器学习国际会议论文集。机器学习研究论文集，第119卷，第3165-3176页。PMLR（2020）。http://proceedings.mlr.press/v119/finzi20a.html [57] Weiler，M.，Cesa，G.：一般E（2）-等变可操纵细胞神经网络。摘自：《神经信息处理系统进展》，第14334-14345页（2019年） [58] Chirikjian，GS；Kyatkin，AB，《欧几里德运动群的运算演算及其在机器人和聚合物科学中的应用》，J.Fourier Ana。申请。，6, 6, 583-606 (2000) ·兹比尔0974.22021 [59] Franken，E.，van Almsick，M.，Rongen，P.，Florack，L.，ter Haar Romeny，B.：使用可调节滤波器进行张量投票的有效方法。摘自：欧洲计算机视觉会议，第228-240页。斯普林格（2006） [60] Reisert，M.：模式分析中的组集成技术：内核视图。阿尔伯特·卢德维格斯弗赖堡大学博士论文（2008年） [61] 阿里，ST；安托万，JP；Gazeau，JP，相干态，小波及其推广（2000），柏林：Springer，柏林·Zbl 1064.81069号 [62] Sifre，L.，Mallat，S.：纹理分类的刚体运动散射（2014）。arXiv预打印arXiv:1403.1687 [63] Finzi，M.，Bondesan，R.，Welling，M.：概率数字卷积神经网络（2020）。arXiv预打印arXiv:2010.10876 [64] Montobbio，N.：视觉皮层的度量模型。博洛尼亚大学-索邦大学博士论文（2019年） [65] Montobbio，N.、Bonnasse-Gahot，L.、Citti，G.、Sarti，A.：《KerCNNs:腐败图像分类的生物启发横向连接》（2019年）。arXiv预打印arXiv:1910.08336 [66] Weinan，E.，《通过动态系统进行机器学习的建议》，Commun。数学。统计，5，1，1-11（2017）·Zbl 1380.37154号 [67] He，K.，Zhang，X.，Ren，S.，Sun，J.：图像识别的深度剩余学习。摘自：IEEE计算机视觉和模式识别会议记录，第770-778页（2016） [68] Lu，Y.，Zhong，A.，Li，Q.，Dong，B.：超越有限层神经网络：桥接深层结构和数值微分方程（2017）。arXiv预打印arXiv:1710.10121 [69] Chen，T.Q.，Rubanova，Y.，Bettencourt，J.，Duvenaud，D.K.：神经常微分方程。在：神经信息处理系统的进展，第6571-6583页（2018） [70] Chen，Y.，Yu，W.，Pock，T.：关于学习优化的反应扩散过程以有效恢复图像。摘自：IEEE计算机视觉和模式识别会议记录，第5261-5269页（2015） [71] Long，Z.，Lu，Y.，Ma，X.，Dong，B.：PDE-net：从数据中学习PDE（2017）。arXiv预打印arXiv:1710.09668 [72] 鲁索托，L。；Haber，E.，偏微分方程驱动的深层神经网络，J.Math。成像视觉。，62, 3, 352-364 (2020) ·Zbl 1434.68522号 [73] Shen，Z.、He，L.、Lin，Z.，Ma，J.：Pdo-econvs:基于偏微分算子的等变卷积。摘自：机器学习国际会议，第8697-8706页。PMLR（2020年） [74] Weiler，M.，Forré，P.，Verlinde，E.，Welling，M.：坐标独立卷积网络——黎曼流形上的等距和规范等变卷积（2021）。arXiv预打印arXiv:2106.06020 [75] Jenner，E.，Weiler，M.：等变神经网络的可操纵偏微分算子（2021）。arXiv预打印arXiv:2106.10163 [76] 哈伯，E。；Ruthotto，L.，深度神经网络的稳定架构，逆概率。，34, 1 (2017) [77] Alt，T.，Peter，P.，Weickert，J.，Schrader，K.：将偏微分方程的数值概念转化为神经架构（2021）。arXiv预打印arXiv:2103.15419·Zbl 1501.65059号 [78] Koda，T.：齐次空间几何简介。摘自：《第十三届微分几何国际研讨会论文集》，第13卷，第121-144页（2009年）·Zbl 1190.53048号 [79] 吉咪·李；Chow，B。；楚，南卡罗来纳州；Glickenstein，D。；Guenther，C。；伊森伯格，J。；艾维，T。；克诺普夫，D。；卢，P。；Luo，F.，流形和微分几何，拓扑，643658（2009） [80] Smets，B.：几何图像去噪和机器学习。TU Eindhoven（2019）硕士论文。https://bmnsmets.com/publication/smets2019msc网站/ [81] 阿伦特，W。；Bukhvalov，AV，预解式和半群的积分表示，论坛数学。，6, 111-136 (1994) ·Zbl 0803.47046号 [82] Führ，H.，连续小波变换的抽象谐波分析。1863年（2005年），柏林：施普林格，柏林·Zbl 1060.43002号 [83] 杜伊茨，R。；梅斯特斯，SP；吉咪·米雷博；Portegies，JM，《2D和3D Reeds-Shepp汽车变体的最佳路径及其在图像分析中的应用》，J.Math。成像视觉。，60, 1-33 (2018) [84] Portegies，J.、Sanguinetti，G.、Meesters，S.、Duits，R.：SE（3）上尺度空间核的新近似及其在神经成像中的应用。摘自：计算机视觉中尺度空间和变分方法国际会议，第40-52页。斯普林格（2015）·Zbl 1444.94022号 [85] Ter Elst，A。；Robinson，DW，李群上的加权次执行算子，J.Funct。分析。，157, 1, 88-163 (1998) ·Zbl 0910.22005号 [86] Maheux，P.，《表面均匀性估计》，ESAIM控制优化。计算变量，8，1，65-96（1998）·Zbl 1044.58029号 [87] Grigor'yan，A.，Hu，J.，Lau，K.S.：用加倍测度加热度量空间上的核。收录于：分形几何与随机IV，第3-44页。施普林格（2009）·Zbl 1197.35129号 [88] Yosida，K.，《功能分析》（1968），柏林：施普林格出版社，柏林 [89] Evans，LC，偏微分方程（2010），普罗维登斯：美国数学学会，普罗维登·Zbl 1194.35001号 [90] 巴洛赫，ZM；Engulatov，A。；Hunziker，L。；Maasalo，OE，测地空间中的函数不等式和Hamilton-Jacobi方程，势能分析。，36, 2, 317-337 (2012) ·Zbl 1330.70076号 [91] Dragoni，F.，具有半连续数据的公制Hopf-Lax公式，离散Contin。动态。系统。A、 2007年4月17日·兹比尔1122.35023 [92] 阿扎格拉，D。；费雷拉，J。；López-Mesas，F.，黎曼流形上的非光滑分析和Hamilton-Jacobi方程，J.Funct。分析。，220, 2, 304-361 (2005) ·Zbl 1067.49010号 [93] Rund，H.，《变分法中的哈密尔顿-雅可比理论：它在数学和物理中的作用》（1966），马拉巴：克里格出版社，马拉巴·兹比尔0141.10602 [94] 曼弗雷迪，JJ；Strofolini，B.，海森堡集团霍普夫·拉克斯公式的一个版本，Commun。部分差异。Equ.、。，27, 1139-1159 (2002) ·Zbl 1080.49023号 [95] 吉咪·米雷博；Portegies，J.，《哈密顿快速推进：各向异性和非完整轨道偏微分方程的数值解算器》，《图像处理》。在线，9，47-93（2019） [96] 斯塔尔，J。；医学博士Abrámoff；Niemeijer，M。；马萨诸塞州维耶格尔；Van Ginneken，B.，视网膜彩色图像中基于脊线的血管分割，IEEE Trans。医学成像，23，4，501-509（2004） [97] Baweja，C.：RotNIST（2018）。https://github.com/ChaitanyaBaweja/RotNIST [98] Paszke，A.、Gross，S.、Massa，F.、Lerer，A.、Bradbury，J.、Chanan，G.、Killeen，T.、Lin，Z.、Gimelshein，N.、Antiga，L.等人：Pytorch：一种命令式、高性能的深度学习库。摘自：《神经信息处理系统进展》，第8024-8035页（2019年）。网址：www.ytorch.org [99] Kingma，D.P.，Ba，J.：亚当：随机优化方法（2014）。arXiv预打印arXiv:1412.6980 [100] LeCun，Y。；Boser，B。；丹克，JS；亨德森·D·。；RE霍华德；Hubbard，W。；Jackel，LD，反向传播应用于手写邮政编码识别，神经计算。，1, 4, 541-551 (1989) [101] Lee，J.，光滑流形简介。数学研究生论文（2013），柏林：施普林格，柏林·兹比尔1258.53002 ·doi:10.1007/978-14419-9982-5_1 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。