×

并行传输卷积:流形结构数据上的可变形卷积网络。 (英语) Zbl 1524.68296号

摘要:卷积多年来在科学和工程的各种应用中发挥了突出的作用,并已成为许多神经网络中的关键操作。最近,人们对在三维曲面上推广卷积产生了兴趣,通常表示为紧流形。然而,现有的方法不能保持欧氏卷积的所有理想性质,即紧支撑滤波器、方向性和跨不同流形的可转移性。本文在黎曼流形及其离散对应物上推广了卷积运算,称为并行传输卷积(PTC)。PTC基于并行传输设计,可以沿流形传输信息,并在本质上保持方向性。此外,PTC允许构造紧密支撑的过滤器,并且对流形变形也很稳健。这使我们能够执行类小波运算,并在曲线域上定义卷积神经网络。

MSC公司:

68T05型 人工智能中的学习和自适应系统
68T09号 数据分析和大数据的计算方面
68单位05 计算机图形;计算几何(数字和算法方面)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Y.Bengio、I.J.Goodfellow和A.Courville,《深度学习》,《自然》,521(2015),第436-444页·Zbl 1373.68009号
[2] F.Bogo、J.Romero、M.Loper和M.J.Black,《浮士德:三维网格注册的数据集和评估》,摘自《IEEE计算机视觉和模式识别会议论文集》,2014年,第3794-3801页。
[3] D.Boscaini、J.Masci、E.Rodolà和M.Bronstein,《利用各向异性卷积神经网络学习形状对应关系》,《神经信息处理系统进展》,2016年,第3189-3197页。
[4] A.Bracha、O.Halim和R.Kimmel,《通过对齐尺度不变LBO本征函数的形状对应》,欧洲图形学会3D对象检索研讨会,T.Schreck、T.Theoharis、I.Pratikakis、M.Spagnuolo和R.C.Veltkamp编辑,欧洲图形协会,2020。
[5] M.M.Bronstein、J.Bruna、Y.LeCun、A.Szlam和P.Vandergheynst,《几何深度学习:超越欧几里德数据》,IEEE信号处理。Mag.,34(2017),第18-42页。
[6] J.Bruna、W.Zaremba、A.Szlam和Y.LeCun,图上的谱网络和局部连通网络,预印本,arXiv:1312.62032013。
[7] R.Chakraborty、M.Banerjee和B.C.Vemuri,《H-CNNs:黎曼齐次空间的卷积神经网络》,预印本,arXiv:1805.054872018年。
[8] I.Chavel,《黎曼几何:现代导论》,第98卷,剑桥大学出版社,剑桥,2006年·Zbl 1099.53001号
[9] D.Ciresan、A.Giusti、L.M.Gambardela和J.Schmidhuber,电子显微镜图像中的深层神经网络分段神经元膜,《神经信息处理系统进展》,2012年,第2843-2851页。
[10] T.S.Cohen、M.Geiger、J.Ko¨hler和M.Welling,《球形CNN》,预印本,arXiv:1801.10132018。
[11] I.Daubechies,《小波十讲》,第61卷,SIAM,费城,1992年·Zbl 0776.42018号
[12] 董斌,紧小波框架下图的稀疏表示及其应用,应用。计算。哈蒙。分析。,42(3)(2017),第452-479页·Zbl 1366.42033号
[13] X.Glrot和Y.Bengio,《理解深度前馈神经网络训练的困难》,载《第13届人工智能与统计国际会议论文集》,2010年,第249-256页。
[14] F.D.Goes、M.Desbrun和Y.Tong,向量场,摘自AMC SIGGRAPH Asia课程笔记,2015年。
[15] O.Halimi、O.Litany、E.Rodola、A.M.Bronstein和R.Kimmel,密集形状对应的无监督学习,《IEEE/CVF计算机视觉和模式识别会议论文集》,2019年,第4370-4379页。
[16] D.K.Hammond、P.Vandergheynst和R.Gribonval,通过谱图理论研究图上的小波,应用。计算。哈蒙。分析。,30(2011年),第129-150页·Zbl 1213.42091号
[17] M.Henaff、J.Bruna和Y.LeCun,《图结构数据上的深度卷积网络》,预印本,arXiv:1506.051632015年。
[18] G.Hinton、L.Deng、D.Yu、G.E.Dahl、A.-R.Mohamed、N.Jaitly、A.Senior、V.Vanhoucke、P.Nguyen和T.N.Sainath,语音识别中声学建模的深层神经网络:四个研究小组的共同观点,IEEE信号处理。Mag.,29(2012),第82-97页。
[19] D.P.Kingma和J.Ba,Adam:随机优化方法,预印本,arXiv:1412.69802014年。
[20] D.P.Kingma和M.Welling,《自动编码变异贝叶斯》,预印本,arXiv:1312.6114,2013年。
[21] M.Knebelman,相对平行空间,《数学年鉴》。,(1951年),第387-399页·Zbl 0042.40502号
[22] S.Kobayashi和K.Nomizu,《微分几何基础》,第2卷,跨学科出版社,纽约,1969年·Zbl 0175.48504号
[23] R.Kondor和S.Trivedi,《神经网络中的等方差和卷积对紧群作用的推广》,预印本,arXiv:1802.036902018年。
[24] A.Krizhevsky、I.Sutskever和G.E.Hinton,深度卷积神经网络的Imagenet分类,《神经信息处理系统进展》,2012年,第1097-1105页。
[25] M.Vestner、Z.Laöhner、A.Boyarski、O.Litany、R.Slossberg、T.Remez、E.Rodola、A.Bronstein、M.Bronsteim、R.Kimmel和D.Cremers,《通过内核匹配实现高效可变形形状对应》,2017年国际3D视觉会议,IEEE,2017年,第517-526页。
[26] R.Lai,J.Liang和H.Zhao,点云上求解偏微分方程的局部网格方法,逆问题。《成像》,第7期(2013年),第737-755页·Zbl 1273.65034号
[27] Y.LeCun、B.E.Boser、J.S.Denker、D.Henderson、R.E.Howard、W.E.Hubbard和L.D.Jackel,用反向传播网络进行手写数字识别,《神经信息处理系统进展》,1990年,第396-404页。
[28] Y.LeCun、L.Bottou、Y.Bengio和P.Haffner,基于梯度的学习应用于文档识别,Proc。IEEE,86(1998),第2278-2324页。
[29] M.K.Leung、H.Y.Xiong、L.J.Lee和B.J.Frey,组织调控剪接码的深度学习,生物信息学,30(2014),pp.i121-i129。
[30] O.Litany、T.Remez、E.Rodolà、A.Bronstein和M.Bronsteim,《深层函数图:密集形状对应的结构化预测》,《IEEE计算机视觉国际会议论文集》,2017年,第5659-5667页。
[31] S.Mallat,《信号处理的小波之旅:稀疏方法》,学术出版社,纽约,2008年·Zbl 1170.94003号
[32] J.Masci、D.Boscaini、M.Bronstein和P.Vandergheynst,黎曼流形上的测地卷积神经网络,《IEEE计算机视觉研讨会国际会议论文集》,2015年,第37-45页。
[33] C.Moening和N.A.Dodgeson,《快速行进最远点采样》,技术报告,剑桥大学,2003年。
[34] F.Monti、D.Boscaini、J.Masci、E.RodolaÉ、J.Svoboda和M.M.Bronstein,使用混合模型细胞神经网络对图和流形进行几何深度学习,预印本,arXiv:16110.8402016。
[35] A.Poulenard和M.Ovsjanikov,通过等变卷积的多向测地神经网络,ACM Trans。Graphics,37(2018),第1-14页。
[36] E.Rodolà、S.Rota Bulo、T.Windheuser、M.Vestner和D.Cremers,使用随机森林的密集非刚性形状对应,《IEEE计算机视觉和模式识别会议论文集》,2014年,第4177-4184页。
[37] R.Rustamov和L.J.Guibas,通过深度学习实现图上的小波,《神经信息处理系统进展》,2013年,第998-1006页。
[38] P.Sermanet、D.Eigen、X.Zhang、M.Mathieu、R.Fergus和Y.LeCun,《Overfeat:使用卷积网络的集成识别、定位和检测》,预印本,arXiv:1312.62292013年。
[39] J.Shotton、T.Sharp、A.Kipman、A.Fitzgibbon、M.Finocchio、A.Blake、M.Cook和R.Moore,单深度图像中部分实时人体姿势识别,Commun。ACM,56(2013),第116-124页。
[40] D.I.Shuman、B.Ricaud和P.Vandergheynst,图的顶点频率分析,应用。计算。哈蒙。分析。,40(2016),第260-291页·Zbl 1403.94031号
[41] I.Sutskever、O.Vinyals和Q.V.Le,《神经信息处理系统的进展》,2014年,第3104-3112页。
[42] Y.Wang、B.Liu和Y.Tong,基于三角形网格上离散基本形式的线性曲面重建,《计算机图形论坛》,第31卷,威利在线图书馆,纽约,2012年,第2277-2287页。
[43] Y.Yang、S.Liu、H.Pan、Y.Liu和X.Tong,PFCNN:使用平行框架的三维曲面上的卷积神经网络,《IEEE/CVF计算机视觉和模式识别会议论文集》,2020年。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。